网站建设兼职薪酬怎么样,怎么在网上做广告,wordpress主题微博,wordpress 主题更换同学你好#xff01;本文章于2021年末编写#xff0c;获得广泛的好评#xff01;
故在2022年末对本系列进行填充与更新#xff0c;欢迎大家订阅最新的专栏#xff0c;获取基于Pytorch1.10版本的理论代码(2023版)实现#xff0c;
Pytorch深度学习理论篇(2023版)目录地址…同学你好本文章于2021年末编写获得广泛的好评
故在2022年末对本系列进行填充与更新欢迎大家订阅最新的专栏获取基于Pytorch1.10版本的理论代码(2023版)实现
Pytorch深度学习·理论篇(2023版)目录地址为
CSDN独家 | 全网首发 | Pytorch深度学习·理论篇(2023版)目录本专栏将通过系统的深度学习实例从可解释性的角度对深度学习的原理进行讲解与分析通过将深度学习知识与Pytorch的高效结合帮助各位新入门的读者理解深度学习各个模板之间的关系这些均是在Pytorch上实现的可以有效的结合当前各位研究生的研究方向设计人工智能的各个领域是经过一年时间打磨的精品专栏https://v9999.blog.csdn.net/article/details/127587345欢迎大家订阅(2023版)理论篇 以下为2021版原文~~~~ 代码
【Pytorch神经网络实战案例】28 GitSet模型进行步态与身份识别(CASIA-B数据集)_LiBiGor的博客-CSDN博客1 CASIA-B数据集本例使用的是预处理后的CASIA-B数据集 数据集下载网址如下。 http//www.cbsr.ia.ac.cn/china/Gait%20Databases%20cH.asp该数据集是一个大规模的、多视角的步态库。其中包括124个人每个人有11个视角(01836...180)在3种行走条件(普通、穿大衣、携带包裹)下采集。1.1 CASIA-B数据集的两种形式CASIA-B数据集有视频和轮廓两种形式。1.1.1 案例讲解本例直接..https://blog.csdn.net/qq_39237205/article/details/124141716
1 步态识别思路
1.1 步态识别的本质
步态特征的距离匹配对人在多拍摄角度、多行走条件下进行特征提取得到基于个体的步态特征再用该特征与其他个体进行比较从而识别出该个体的具体身份。 1.2 步态识别的主体思路 1.2.1 神经网络的角度看待步态识别的数据集
在步态识别中需要将一组图片作为一个样本。
从神经网络的角度来看步态识别的组图片也只是在代表图片[HWC]的基础之上多出一个张数的维度而已。
1.2.2 步态识别模型的数据处理的三种方式
整体处理将输入数据当作一个完整的3D图片数据来计算输入数据在三维空间里所表现的整体特征。如对整体的输入数据做3D卷积。
分散处理将输入数据当作由多张图片组成的序列数据先对单张图片进行特征处理再对序列数据特征进行处理。在分散处理的过程中又可以分为重视序列顺序关系如基于惯性的步态识别和不重视序列顺序关系两种做法。
混合处理先对单张图片进行基于人形特征的预处理如提取人形轮廓数据、人的姿态数据)再将预处理后的数据当作原始输入进行二次处理可以使用整体处理或分散处理)。混合处理模式更为细致也更为灵活。
1.2 CASIA-B数据集
CASIA-B是使用最广泛的步态数据集 包含124人的RGB和轮廓形式的多视角步态数据。从11个不同的视角进行采集范围从0到180度增量为18度。该数据集考虑了三种不同的行走条件即正常行走(NM)、穿外套行走(CL)和携包行走(BG)每个人每个视角分别有6、2和2个步态序列。
CASIA-B最常用的测试协议是受试者无关协议该协议使用前74名受试者的数据进行训练其余50名受试者进行测试。然后将测试数据拆分为一个注册集其中包括NM步态数据中的前四个步态序列验证集由其余序列组成即每个受试者每个视角的剩余2个NM、2个CL和2个BG序列结果主要针对所有视角报告。 2 GaitSet模型
GaitSet模型属于混合处理方式该模型的二次处理部分使用了分散处理。
2.1 预处理
GaitSet模型的预处理部分需要对视频中抽离的图片进行基于人物识别的语义分割得到基于人形的黑白轮廓图如图所示。 2.1.1 轮廓图的优点
通过将轮廓图看作单通道图片实现基于人的多帧图片被当作多通道图片进行处理即其形状可以描述为[批次个数帧数高度宽度] 与RGB状为[批次个数通道数高度宽度]相似。
2.2 特征处理
2.2.1 GitSet模型分散处理
GitSet模型采用分散处理对每一张图片计算特征再对多个特征做聚合处理。
2.2.2 GitSet模型分散处理的核心部分
①多层全流程管线(Multlayer Global PipelineMGP)是一个类似FPN结构的网络模型通过两个分支进行下采样处理并在每次下采样之后进行特征融合。
②水平金字塔池化HorizontalPyramid MatchingHPM)按照不同的水平尺度对特征数据进行池化并将池化结果汇集起来从而丰富数据的鉴别特征。
2.2.3 GitSet模型分散处理的训练
在训练时将模型计算出的特征用三元损失Triplet Loss进行优化使其计算出的特征与同类别特征距离更近与非同类别特征距离更远。 在使用时具体步骤如下。 1对人物视频进行抽帧采样。 2对采样数据进行处理生成轮廓图。 3将多张轮廓图输入模型得到特征。 4将该特征与数据库中已有的特征进行比较找到与其距离最近的特征从而识别出人物身份。 3 完整GitSet模型流程图 4 多层全流程管线
主要分为两个分支一个是主分支另一个是辅助分支。
4.1 主分支
主分支用于对从视频分离出来的多帧数据基于全部图片的特征进行处理。
采用两次卷积一次下采样的操作进行特征计算与降维处理。
4.2 辅助分支
辅助分支用于对从视频分离出来的多帧数据某于帧的特征进行处理。
辅助分支与主分支的处理同步并对每次下采样后的数据讲行特征提取将提取后的帧特征融合到主分支的特征处理结果里。
4.3 多层全流程管线处理流程图 (1)在主分支中对每一帧数据进行卷积外理。 (2)在主分支中对卷积处理的结果进行下采样处理。 (3)将下采样结果分为两份一份用于主分支另一份用干辅助分支。 (4)在主分支中对下采样结果进行基于帖特征的提取。 (5)在主分支中对第(4)步的结果做卷积损作。 (6)在辅助分支中继续对下采样结果做卷积操作。 (7)在辅助分支的卷积操作之后进行一次下采样并对下采样结果讲行基于特征的提取。 (8)在主分支中也同步做一次下采样。 (9)将第(6)和(7)步的结果融合起来。 (10)继续重复第(5)~(9)步的步骤。重复次数与网络规模和输入尺寸右关其中第(4) 和(7) 步基于帧的特征提取部分使用了多特征集合池化(Set Pool in a)方法。经过测试发现直接使用取最天值池化的方法效果更好而且该方法更为简单。 第(9) 步融合特征的方式使用的是直接相加 也可以用cat函数将其拼接在一起 在本例中使用的是简单相加。 卷积神经网络的不同层能够识别不同的特征通过深层卷积的组合可以增大模型在图片中的理解区域。同时在主管道中融合了从不同层提取的帧级特征使得模型计算的特征中含有更丰富的整体特征。 5 水平金字塔池化
水平金字塔池化是来自行人再识别(Person Re-l dentification) 任务中的一种技术。它充分地利用了行人的不同局部空间信息使得在重要部件丢失的情况下仍能正确识别出候选行人 增强了行人识别的健壮性(参见arXiv网站上编号为“1811.06186”的论文)。
5.1 行人再识别任务
行人再识别任务是从图片或者视频序列中找到特定行人的任务。
该任务属于图像检索任务中的一种常常与行人检测、行人跟踪任务一起被应用在智能视频监控、智能安保等领域。
5.2 HPM模型的做法和原理
5.2.1 HPM模型的做法
将图片按照不同的水平尺度分成多个部分 然后将每个部分的全局平均池化和全局最大池化特征融合到一起。
5.2.2 HPM模型的结构 这种做法相当于引入了多尺度的局部信息互助作用来缓解不对齐引起的离群值问题。其中每个局部的信息通过全局平均池化与全局最大池化策略结合得到的融合特征更具有判别能力。 全局平均池化可以感知空间条的全局信息并将背景上下文考虑进去。 全局最大池化实现提取最具判别性的信息并忽略无关信息(如背景、衣服等)。 5.2.3 HPM模型在步态识别实例的作用
使用HPM模型作为整个网络的最后部分 对全连接层的特征进行优化提升了特征的整体鉴别性。 6 三元损失
三元损失是根据3张图片组成的三元组计算而得的损失 常用于基于样本特征进行匹配的模型中如人脸识别、步态识别、行人再识别等任务的模型中。
6.1 三元损失算法图解
在每次提取特征时同步输入与该样本相同类别和不同类别的两个样本。利用监督学习使该样本特征与相同类别的样本特征间的差异越来越小与不同类别的样本特征间的差异越来越大。 如上图所示通过监督学习可以让输入样本经过网络计算之后的特征与相同类别的样本特征距离更近与不同类别的样本特征距离更远。
三元损失训练的模型最终将使相同类别的特征会更加相似解决样本特征指向不明确的问题。
6.2 三元损失的使用
在使用三元损失时常会直接将一批次的输入数据进行内部两两交叉并从中分出正向样本类内距离和负向样本类间距离。这种方式可以保证与其他损失计算的接口统一而又不需要额处开发选取正/负样本的功能。
6.2.1 三元损失中的间隔margin 6.2.2 三元损失的模式hard与full
full模式默认 对所有的正向样本和负向样本进行损失值的计算。
hard模式只对最小的正向样本和最大的负向样本进行损失值的计算 目的在于优化特征并使其指向偏离最大的样本运算量会更小。
