怎么把做的网站发布,河南省法制建设研究会网站,成都旅游住在哪个位置最方便,手机网站开发流程同学们#xff0c;你们觉得视觉经典四个任务中哪个最难#xff1f;我个人觉得是实例分割。
因为它既具备语义分割的特点#xff0c;需要做到像素层面上的分类#xff0c;也具备目标检测的一部分特点#xff0c;即需要定位出不同实例#xff0c;即使它们是同一种类。
但…同学们你们觉得视觉经典四个任务中哪个最难我个人觉得是实例分割。
因为它既具备语义分割的特点需要做到像素层面上的分类也具备目标检测的一部分特点即需要定位出不同实例即使它们是同一种类。
但尽管实例分割的复杂性和挑战性较高它仍然是计算机视觉领域一个很重要的研究主题对地理信息系统、医学影像、自动驾驶、机器人等领域有着很重要的应用技术支持作用。
为了帮助同学们学习这一重要主题今天我就来和大家分享各大顶会中实例分割方向的12篇高分论文包含今年最新的研究成果希望能帮助同学们更轻松地理解并掌握实例分割。
论文原文及代码需要的同学看文末
1.PatchDCT: Patch Refinement for High Quality Instance Segmentation 【ICLR2023】
PatchDCT用于高质量实例分割的Patch细化
简述PatchDCT是一种用于高质量实例分割的方法它通过将解码自DCT向量的掩码分解为多个补丁并使用分类器和回归器对每个补丁进行细化来提高分割质量。在实验中PatchDCT方法比Mask-RCNN和DCT-Mask方法表现更好也与其他最先进的方法相当。 2.Recurrent Contour-based Instance Segmentation with Progressive Learning 【TPAMI2023】
渐进式学习的循环轮廓基础实例分割
简述论文提出了一种名为PolySnake的新颖深度网络架构用于轮廓基础实例分割。通过迭代和渐进式轮廓细化策略实现了卓越而稳健的分割性能。具体来说PolySnake引入了循环更新操作符来迭代地估计物体轮廓并逐渐将其变形朝向物体边界。在每次迭代中PolySnake为当前轮廓构建了一个语义丰富的表示形式并将其输入到循环操作符中进行进一步的轮廓调整。 3.Instance Segmentation in the Dark 【IJCV2023】
暗光实例分割
简述论文发现低光图像中的噪声会引入高频率干扰到神经网络的特征图中从而降低性能。为了解决这个问题作者提出了一种新的学习方法通过自适应加权下采样层、平滑面向卷积块和干扰抑制学习来减少特征噪声。此外作者还发现使用高比特深度RAW图像可以更好地保留低光场景信息。通过采集现实世界的低光实例分割数据集并利用低光RAW合成管道生成逼真的低光数据该方法在无需任何图像预处理的情况下实现了令人满意的性能。 4.OpenMask3DOpen-Vocabulary 3D Instance Segmentation 【NeurIPS2023】
开放词汇表的3D实例分割
简述论文介绍了一种名为OpenMask3D的开放词汇表的3D实例分割方法。现有的3D实例分割方法只能识别预先定义的封闭类别集合中的物体而OpenMask3D通过学习场景中每个点的可查询特征来解决这一问题。该方法使用基于CLIP的图像嵌入的多视角融合来聚合每个掩码的特征并通过预测的类无关3D实例掩码指导模型。实验表明OpenMask3D优于其他开放词汇表方法尤其是在长尾分布上。 5.ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution 【CVPR2023】
一种具有实例感知采样和框感知动态卷积的3D点云实例分割网络
简述该文介绍了一种新的无聚类3D实例分割方法ISBNet它将实例表示为内核并通过动态卷积解码实例掩码。该方法采用实例感知最远点采样策略来高效地生成高召回率和有区别性的内核并利用局部聚合层编码候选特征。此外作者还展示了在动态卷积中预测和利用3D轴对齐边界框可以进一步提高性能。 6.Betrayed by Captions: Joint Caption Grounding and Generation for Open Vocabulary Instance Segmentation 【ICCV2023】
开放词汇实例分割的联合标题基础和生成
简述作者提出了一种名为Caption Grounding and GenerationCGG的框架用于开放词汇实例分割以扩展分割模型来分类和分割新的实例级别类别。CGG通过仅关注匹配对象名词的基础损失函数提高学习效率并引入标题生成头提供额外的监督和上下文建模。实验结果表明基础和生成组件相互补充显著提高了新类别的分割性能。 7.DVIS: Decoupled Video Instance Segmentation Framework 【ICCV2023】
解耦的视频实例分割框架
简述论文介绍了一种名为DVIS的解耦视频实例分割框架将VIS分为三个子任务分割、跟踪和细化。作者引入了一个新颖的引用跟踪器和时序细化器来构建DVIS框架以解决现有方法在复杂和长视频上表现不佳的问题。DVIS在VIS和VPS上都取得了新的最先进的性能并具有轻量级的优点允许在单个GPU上进行高效训练和推理。 8.FastInst: A Simple Query-Based Model for Real-Time Instance Segmentation 【CVPR2023】
一种用于实时实例分割的简单查询模型
简述论文提出了一种用于实时实例分割的简单查询模型框架FastInst它可以在不使用非最大抑制NMS的情况下以端到端的方式执行并在COCO测试集上达到超过40的AP和32.5 FPS的实时速度。作者提出了三个关键设计实例激活引导查询、双路径更新策略和真实掩码引导学习这些设计使得我们可以使用更轻量级的像素解码器和更少的Transformer解码器层同时实现更好的性能。 9.E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation【CVPR2022】
一种基于端到端轮廓的高质量高速实例分割方法
简述E2EC是一种全新的端到端轮廓基础的实例分割方法它通过使用可学习的轮廓初始化、多方向对齐标签采样和动态匹配损失实现了高质量的高速实例分割。在这种方法中首先应用了一种新的可学习轮廓初始化架构来替代手动设计的轮廓初始化该架构包括一个轮廓初始化模块用于构建更明确的学习目标以及一个全局轮廓变形模块可以更好地利用所有顶点的特征。其次该方法还提出了一种名为多方向对齐的新型标签采样方案以降低学习难度。最后为了提高边界细节的质量动态匹配预测的地面真实顶点对并提出了相应的动态匹配损失函数。 10.Mask Transfiner for High-Quality Instance Segmentation【CVPR2022】
基于Transformer的高质量实例分割方法
简述Mask Transfiner是一种用于高质量实例分割的方法它将图像区域表示为四叉树并使用Transformer处理易出错的节点。该方法可以以低计算成本预测高度准确的实例掩码并在三个基准测试中优于当前实例分割方法。 11.SoftGroup for 3D Instance Segmentation on Point Clouds 【CVPR2022】
用于点云的三维实例分割SoftGroup
简述作者提出了一种新的三维实例分割方法SoftGroup它通过自底向上的软分组和自上而下的细化来解决现有方法中的问题。现有的最先进方法通常先进行语义分割然后将每个点与单个类别相关联但这些硬预测在执行语义分割时会产生误差导致预测的实例与地面真实值之间的重叠度低以及大量的误报。SoftGroup允许每个点与多个类别相关联以减轻语义预测错误带来的问题并通过学习将误报实例分类为背景来抑制误报实例。 12.OGC: Unsupervised 3D Object Segmentation from Rigid Dynamics of Point Clouds 【NeurIPS2022】
基于点云刚体动力学的无监督三维物体分割
简述论文介绍了一种名为OGC的无监督三维物体分割方法可以从原始点云中同时识别多个三维物体。该方法利用动态运动模式作为监督信号来自动发现刚体对象不需要大量的人工注释来进行完全监督。该方法由三个主要组件组成对象分割网络、辅助的自我监督场景流估计器和核心的对象几何一致性组件。通过精心设计一系列损失函数该方法有效地考虑了多对象刚体一致性和对象形状不变性在时间和空间尺度上的影响。 关注下方《学姐带你玩AI》
回复“实例分割”领取论文原文及源码
码字不易欢迎大家点赞评论收藏
