网站建设了,互联网建站网站,淮北叶红军,自己怎么制作公众号与普通的视频跟踪网络不同的是#xff0c;SiamMask可以同时完成视频跟踪和实例级分割的任务。如下图所示#xff0c;与传统的对象跟踪器一样#xff0c;依赖于一个简单的边界框初始化#xff08;蓝色#xff09;并在线操作。与ECO#xff08;红色#xff09;等最先进的跟…与普通的视频跟踪网络不同的是SiamMask可以同时完成视频跟踪和实例级分割的任务。如下图所示与传统的对象跟踪器一样依赖于一个简单的边界框初始化蓝色并在线操作。与ECO红色等最先进的跟踪器不同SiamMask绿色能够生成二进制分割从而更准确地描述目标对象。 3.5.1 网络结构
SiamMask的网络结构提出了三分支的SiamMask网络。与之前的孪生网络十分相似的是将模板图像与搜索图像输入网络两者经过特征提取网络特征提取网络如下表所示生成15×15×256和31×31×256的featuremap与SiamFC相似的是将两个featuremap逐通道相互卷积生成17×17×256的featuremap将这个过程生成的像素值叫做RoW如下图所示蓝色的1×1×256的featuremap为heatmap的最大值代表目标最有可能出现的位置。之后将featuremap输入三个分支中图中h_{\psi}hψ,b_{\psi}bψ,s_{\psi}sψ 是1×1的卷积层作用是改变通道的数量。 网络结构如下表所示 在box分支中17×17×256的featuremap经过1×1×(4k)的卷积层后生成17×17×4k的featuremap这里k是每一个RoW生成k个anchors这里实际上和SiamRPN相同每四个一组分别对应dx、dy、dw、dh四个值代表着与groundtruth的距离。
在score分支中17×17×256的featuremap经过1×1×(2k)的卷积层后生成17×17×2k的featuremap这里k是每一个RoW生成k个anchors这里实际上和SiamRPN相同每两个一组分别对应分类为目标和背景的标签结果。
在Mask分支中。17×17×256的featuremap经过1×1×(63×63)的卷积层后生成17×17×(63×63)的featuremap从featuremap中取出与RoW位置相同的像素值为1×1×(63×63)对其做上采样生成127×127×1的图像在这个图像中所有的像素值都取0或1生成的相当于是一个二进制掩码目标像素值为1背景像素值为0这样就完成了实例级分割的任务。
三分支中的网络结构如下表所示 除了三分支的SiamMask之外作者还提出了二分支的SiamMask网络,如上图所示删掉了box分支只保留score和Mask分支: 通过Mask分支生成的二进制掩码来生成相对应的bounding box二分支中的网络结构如下表所示 3.5.2 模型创新
改进的bounding box生成策略
设计了三种生成bounding box的策略如下图所示的红色、绿色和蓝色框 在之前的视频跟踪网络中生成的都是平行于图片的x轴y轴的bounding box。当然SiamMask也能完成这样的任务如图中红色框所示,在三分支的SiamMask网络中box分支负责生成这样的bounding box。而在二分支的SiamMask网络中利用Mask分支生成的二进制掩码取出目标所在的最小和最大的像素值来生成Min-max的bounding box。
为了能够将bounding box尽可能的贴合物体设计了MBR的生成策略,如图绿色框所示。同样利用Mask分支生成的二进制掩码求目标的最小包闭矩形这样会导致生成的bounding box会有一定的倾斜。
还设计了一种策略Opt如图中蓝色框所示。通过Mask分支生成的二进制掩码求一个矩形区域使得矩形与目标像素的IoU最大通过这种策略在一些计算目标与bounding box之间IoU的比赛中会提高SiamMask的成绩。
掩膜细化模型
下图为特征提取网络和Mask分支的结构图网络忽略了box分支和score分支经过特征提取网络生成的1×1×256的featuremap首先经过反卷积生成15×15×32的featuremap之后每一次反卷积都通过Ui 结合多层的特征最后经过一个3×3的卷积层和Sigmoid层生成127×127×1的二进制掩码。 下图为细化模型的结构图经过细化模型可以实现上采样的过程中结合特征提取的featuremap信息。 3.5.3 损失函数
Mask分支的损失函数 在Mask分支最后生成一个127×127×1的二进制掩码也需要对其进行标记目标像素标记为1背景像素标记为-1所以假设一个RoW中会有w×h个像素cij为Mask中第n个RoW中第ij个像素的真实标记mij为对应的网络的输出。所以这里的Mask分支只会计算一个目标RoW在二进制掩码中的所有像素。
二分支
二分支的SiamMask的损失函数如下式所示其中λ1与λ2为超参数λ132λ21L_{mask}Lmask 是上面讲的Mask分支的损失函数L_{sim}Lsim是SiamFC的损失函数 三分支
三分支的SiamMask的损失函数如下式所示其中λ1与λ2为超参数λ132λ2λ31 L_{mask}Lmask是Mask分支的损失函数L_{score}Lscore和L_{box}Lbox是SiamRPN的损失函数 L_{cls}Lcls和L_{reg}Lreg. 3.5.4 模型训练
siamMask是端到端训练模型训练参数如下表所示
