成功案例 品牌网站,百度seo外包,中国做网站最大的公司,番禺品牌型网站作者#xff1a;Tom HardyDate#xff1a;2020-02-01来源#xff1a;MSFNet:多重空间融合网络进行实时语义分割#xff08;北航和旷视联合提出#xff09;原文链接#xff1a;https://arxiv.org/abs/1911.07217主要内容实时语义分割是一项具有挑战性的任务#xff0c;因…作者Tom HardyDate2020-02-01来源MSFNet:多重空间融合网络进行实时语义分割北航和旷视联合提出原文链接https://arxiv.org/abs/1911.07217主要内容实时语义分割是一项具有挑战性的任务因为需要同时考虑效率和性能其在自动驾驶、机器人等工业应用中发挥着重要的作用。针对这一复杂的任务论文提出了一种高效的卷积网络结构多重空间融合网络MSFNet来完成快速和准确的感知。MSFNet在多特征融合模块的基础上利用类边界监督来处理相关的边界信息从而获得空间信息扩大接收范围。网络最后对原始图像1/8大小的特征图进行上采样在保持较高速度的同时可以获得良好的分割结果。网络在Cityscapes和CAMVID数据集上的实验表明与现有方法相比所提出的方法具有明显的优势。更为具体地对于1024×2048输入图像它以41 FPS的速度在Cityscapes测试数据集上达到77.1%的mean IOU而在Camvid测试数据集上以91 FPS的速度达到75.4%的mean IOU。创新和改进点1、论文提出了一种新的多特征融合模块MFM利用精心设计的空间感知池SAP在保持较小计算开销的同时扩大接收范围恢复空间信息的丢失2、为了解决边缘相关空间信息的丢失问题论文提出了一种新的类边界监控方法。3、现有的分割方法主要集中在提高精度上但是低延时实现实时性能是实际应用中最关键的问题MSFNet主要针对速度进行改进。4、在两个基准数据集上的实验表明论文提出的方法在精度和推理时间上都优于大多数state-of-the-art方法。网络结构先前的大多数网络结构通过降低输入分辨率来加快推理速度但这会严重丢失空间信息尤其是和边缘相关的信息还有一些方法通过减少通道来降低计算成本但这会导致网络的精度急剧下降除此之外还有一些轻量级的浅层网络但这些网络有明显的缺陷因为它们通常太浅而无法获得足够的感受野。基于上述的种种缺陷MSFNet在结构上做了相关改进和优化。MSFNet网络结构MSFNet的这种结构扩大了感受野并重新弥补空间信息损失同时保持较小的计算成本。MSFNet中的两个核心MFM多特征融合和SAP空间感知池化。针对SAP1、多分支pooling进行处理论文分支数设为5个pooling和1个unpooling。2、输出多尺度feature map针对MFM1、将SAP模块中具有相同分辨率的特征图进行聚合输出最后一个32x down经过SAP处理后产生6个尺度的feature map其中第3~5个feature map分别和前面4x down、8x down、16x down经过SAP处理后与之对应相同分辨率的feature map进行concat。2、使用3x3的深度可分离卷积进行特征融合由于聚合后通道数量很多使用深度可分离卷积可以显著降低成本。类别边缘信息监督模块为了恢复边缘空间信息进一步提高分割效果论文提出了两个独立的上采样分支。在上采样过程中两个上采样分支不相互传递信息。在类别边缘方面利用Ground Truth边界来监督分割任务使得网络更加关注边缘类别信息降低像素级别的错分率。最后将类别边缘监督信息和上分支feature map进行concat然后使用深度可分离卷积进行特征融合输出最终分割结果。网络损失函数这里一共两类损失函数一个是基于边缘信息的一个是基于整体输出的两类损失构成最终的loss并用一个超参数λ来平衡实验结果论文给出的实验结果综合考虑速度和mIoUMSFNet效果最佳上述内容如有侵犯版权请联系作者会自行删文。 重磅3DCVer-学术交流群已成立欢迎加入我们公众号读者群一起和同行交流目前有3D视觉、CV深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别等微信群请扫描下面微信号加群备注”研究方向学校/公司昵称“例如”3D视觉 上海交大 静静“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。▲长按加群或投稿圈里有高质量教程资料、可答疑解惑、助你高效解决问题
