网站建设专用图形库,网站建设项目开发书,wordpress 添加menu,网站后台地址忘记了目标跟踪分为单目标跟踪和多目标跟踪#xff0c;单目标跟踪较为简单#xff0c;这里我们只讨论多目标跟踪。多目标跟踪的遮挡问题多目标跟踪时特别容易发生目标间的相互遮挡#xff0c;从而导致严重的预测偏移问题#xff0c;如下图所示#xff1a;红色框的行人在和蓝色框…目标跟踪分为单目标跟踪和多目标跟踪单目标跟踪较为简单这里我们只讨论多目标跟踪。多目标跟踪的遮挡问题多目标跟踪时特别容易发生目标间的相互遮挡从而导致严重的预测偏移问题如下图所示红色框的行人在和蓝色框行人交错而过时由于外观模型的持续更新红色框就学到了另一个人的外观特征从而导致跟踪错误。这种情况在多目标跟踪中并不少见所以如何解决遮挡问题就成了重中之重。这里介绍一种采用时空注意力机制Spatial-Temporal Attention Mechanism来尽可能解决目标间遮挡的深度模型。Online Multi-Object Tracking Using CNN-based Single Object Tracker with Spatial-Temporal Attention Mechanismarxiv.org模型总体架构这种时空注意力深度模型的总体架构如下所示空间注意力对特征进行加权从而对每个候选框进行分类而时间注意力通过调节第t帧样本和历史样本的权重从而辅助损失函数进行参数更新。空间注意力我们接下来具体看一看空间注意力机制如何发挥作用。输入图片先通过一个共享卷积层提取高维特征CNN Feature Map接着各个目标均在此CNN Feature Map上进行预测即可每个特定目标CNN分支都对应跟踪一个目标即有多少行人就有多少CNN分支。值得一提的是对于每个目标来说其候选框BBox由两部分组成运动模型的预测框和检测模型的检测框组成接着对此目标的所有候选框进行评分得分最高的且大于一定阈值的候选框即为此帧此目标的预测跟踪框。得到ROI-Pooling特征时注意一个细节因为BBox框的大小不一样所以引入ROI池化统一ROI Features的尺寸从而保证后序全连接层正常运行。特定目标分支中分为空间注意力提取阶段和二分类阶段1空间注意力使用可视图来得到ROI-Pooling特征经过卷积层和全连阶层后reshape成可视图越接近于1即为目标像素越接近0则为非目标像素可视化如下红色区域为目标蓝色区域为被遮挡部分。这里的可视图既辅助产生空间注意力也在时间注意力中发挥作用在更新参数时决定使用当前帧的程度2二分类阶段较为简单明了每个ROI-Pooling都对应这一个得分对于一个分支来说得分最高的且大于一定阈值的ROI-Pooling即为此帧此目标的预测跟踪框。时间注意力时间注意力其实反映的是我们更新参数时考虑此帧预测跟踪框占总损失的权重。 参数就是我们需要学习的权重。其中 即可视图Visibility Map的均值 是此目标与其他目标的最大IOU值其它参数均需要学习。总损失也就是由第t帧负样本第t帧正样本历史正样本三部分构成均采用交叉熵损失。实验结果消融实验可以得出每个部分都是有效的。时空注意力机制STAM和其他多目标跟踪方法比效果确实得到了一定的提升。IDS评价指标最优也体现出此模型能较好地处理遮挡问题减少了ID错误切换的频率。总结归纳1.前半部分网络使用共享卷积层减少了参数量并且参数固定住减少反向传播的计算量2.引入运动模型相比起其他只使用Detector的MOT算法增加了稳定性3.使用时空注意力机制更准确地跟踪遮挡情况。问题讨论一般空间注意力都是全连接层进行全局Softmax实现大家知道空间注意力的局部连接形式是什么样的吗
