企业网站建设公司丰台,商业网站开发需求,WordPress页面置顶菜单,网站建设在哪里找客户一般的卷积神经网络的参数量和计算量都很大#xff0c;很难应用在资源有限的场景中。为了解决这个问题#xff0c;通常是在训练好的模型上进行优化#xff0c;如通过对模型压缩减少计算量和存储成本#xff0c;也可以通过剪枝连接方法去掉了不重要的神经元连接或者通道修剪…一般的卷积神经网络的参数量和计算量都很大很难应用在资源有限的场景中。为了解决这个问题通常是在训练好的模型上进行优化如通过对模型压缩减少计算量和存储成本也可以通过剪枝连接方法去掉了不重要的神经元连接或者通道修剪去掉非必要的通道实现加速还可以将浮点模型转为定点的量化方法实现模型压缩和计算加速。知识蒸馏也是不错的办法用大模型作为老师通过知识蒸馏让大模型教导出小模型来实现参数量和计算量的减少。但是这些方法的性能上线取决于原始模型。除了以上方法研发轻量级模型是减少参数量和计算量的一种很优秀的方法。神经网络的主要参数量和计算量是因为矩阵乘法共享的轻量的神经网络架构应当去构建参数量和计算量更少的、更高效的深度网络。
MobileNets 图图1 标准卷积和深度可分离卷积
MobileNetV1将普通卷积替换为深度卷积和逐点卷积。普通卷积的卷积核是直接用在所有的输入通道上而深度卷积分为两部分进行计算首先按照通道分别对特征图分别进行卷积并将输出特征图进行拼接随后使用逐点卷积进行通道卷积得到特征图逐点卷积是卷积核为1x1的卷积通道数和输入特征图一致。理论上如果MobileNetV1采用3x3卷积核那么深度可分离卷积相较普通卷积可以降低大约9倍的计算量。
普通的残差结构先用1x1的卷积降维再升维的操作。在MobileNetV2却是相反的操作原因是将残差块替换为了深度可分离卷积之后参数减少提取的特征也相对减少如果再进行压缩的话能提取的特征就更少了MobileNetV2为了避免特征减少需要先扩张高维再经过深度可分离卷积提取特征随后将卷积提取的特征降到低维。因此残差结构是先升维再降维的操作。由于ReLU6激活函数对于低维的信息可能会造成比较大的瞬损失对于高维的特征信息造成的损失很小。所以使用一个线性的激活函数避免特征损失。
MobileNetV3进一步使用AutoML技术用更少的FLOPs获得了更好的性能。MobileNeX重新思考了反向瓶颈的必要性并声称经典的瓶颈结构也可以实现高性能。
ShuffleNet
ShuffleNetV1认为在轻量级网络中过多的使用1x1卷积导致严重损害网络的准确性将1x1卷积替换为分组卷积分组卷积就是将输入特征图分成不同的组每个组由单独的卷积核进行组内做卷积如图3所示图中分组卷积表示特征图只和对应的卷积核做卷积。每组卷积都生成一个特征图共生和组数相同个数的特征图。分组卷积可以用少量的参数量和运算量就能生成大量的特征图。由于分组卷积只会在组内进行卷积这导致特征图组和组之间无法实现信息的交互,通过扰动通道操作打乱原有特征顺序再进行重组可以实现不同组之间信息交互。
图3 分组卷积
ShuffleNetV2分析FLOPs和方法在目标硬件上的实际速度差异原因首先是 MAC (memory access cost)存储访问成本这时导致分组卷积运行时间有着很大的运行成本的直接原因。在相同计算量下并行程度高的网络要比其他的网络速度快很多。在计算量相等的情况网络部署实现平台的不同最后所呈现的网络运行时间也有差异。此外在早期的一些工作通过张量分解来实现矩阵乘法加速后来的工作证实尽管计算量降低了75%但是图像处理器上的运行时间却变慢了原因是硬件供应商通过软件算法硬件化对3x3卷积进行优化。ShuffleNetV2总结了4条高效网络准则
相等的信道宽度使内存访问成本最小化。过多的分组卷积会增加内存访问成本。网络分支过多会降低其并行化程度元素级别操作是不可忽略的尽管它们具有较小的计算复杂度但内存访问成本相对较重。
根据上述四条。ShuffleNet V2引入了通道分离操作如图4(a)所示。在每个单元开始之前输入通道c被分成两个分支 。根据准则三其中一个分支保持恒等映射。另外的分支包括三个具有相同输入输出通道卷积。两个1x1卷积不再分组因为开始的分支结构已经产生了两个分组。然后两个分支进行通道级别的融合操作。最后在进行通道打乱操作用来网络增强信息交互能力。对于空间下采样操作如图4(b)所示通道分离操作被移除然后输出通道的数量翻倍。 图4 ShuffleNetV2模块
一般的深度神经网络的特征图为了保证了对输入数据的全面理解通常都会拥有冗余的信息因此在普通卷积构成的网络中生成特征图中存在许多类似的特征图对假设能够不使过多的卷积核生产这些类似的特征层就可以有效减少卷积操作。GhostNetV1基于这个假设使用一种线性变化的方式产生冗余的特征图来有效降低模型参数量和计算复杂度。具体操作Ghost模块同样将一个普通的卷积层分成两个部分。第一个部分使用普通的卷积操作但是卷积核总的数量会需要严格地控制。随后对第一个部分得到的原始特征图进行简单的线性运算来生成更多的冗余特征图。由于没有需改变输出特征图的尺寸Ghost模块需要的参数量和计算复杂度与普通卷积相比下降了很多。基于Ghost模块构建了一个高效的网络架构即GhostNet。 由于卷积的轻量级模型在建模长程依赖性方面较弱这限制了进一步的性能改进。最近引发自然语言处理上变革的自注意机制的模型被引入到计算机视觉中尽管自注意力机制模块可以捕捉全局信息但是计算量随着输入分辨率的增加以二次方的速度增长。虽然面对对象问题产生了局部注意力模块将图像切分为多个区域在每个区域内分别部署注意力模块能够降低了理论复杂度但前处理进行图像切分需要进行大量变换张量形状的操作比如调整图片大小转置操作等在计算资源不富裕的设备上会产生很高的时延。比如将局部注意力模块和轻量化模型GhostNet结合理论上复杂度只增加了20%但是实际的推理时延却翻了2倍。目前经过自注意力机制在图像领域确实带来了惊喜在多个大型数据集中也超过了不少卷积神经网络但是在小数据集和少量的计算资源下短时间还无法取代卷积神经网络。因此GhostNetV2提出了一种新的全连接注意力机制来捕获长距离空间信息同时保持轻量级卷积神经网络的实现效率。具体地全连接层被分解为水平全连接和垂直全连接以聚集卷积神经网络中2维特征图中的像素形成全局感受野的注意力矩阵。并且将该注意力机制用来改造GhostNet的残差组件通过增加全连接注意力机制来增强中间特征。与现有其他架构相比GhostNetV2可以在精度和推理速度之间实现更好的平衡。但是全连接层会增加参数量和计算量。
