东莞知名网站推广,wordpress左边栏,网站后台文章字体,河南网页设计文章目录 标准化与池化1. 标准化/归一化1.1 归一化归一化的作用 1.2 标准化批标准化方法 Batch Normailzation标准化方法的对比自动学习标准化方法 2. 池化2.1 池化的作用2.2 常见的池化方法2.3 池化方法的差异2.4 池化的必要性 标准化与池化
1. 标准化/归一化
1.1 归一化 归… 文章目录 标准化与池化1. 标准化/归一化1.1 归一化归一化的作用 1.2 标准化批标准化方法 Batch Normailzation标准化方法的对比自动学习标准化方法 2. 池化2.1 池化的作用2.2 常见的池化方法2.3 池化方法的差异2.4 池化的必要性 标准化与池化
1. 标准化/归一化
1.1 归一化 归一化的作用 去除量纲的干扰防止数值过小的特征被淹没保证数据的有效性稳定数据分布 1.2 标准化
批标准化方法 Batch Normailzation 批标准化的好处 提高训练速度稳定模型训练 批标准化的缺点与改进 要求固定的Batch长度与均匀采样batch过小数值计算不稳定 标准化方法的对比 Batch Normalization批标准化、Layer Normalization层标准化、Group Normalization组标准化、Instance Normalization实例标准化都是用于深度神经网络的归一化技术用于改善训练的稳定性和收敛速度。它们在归一化的对象和方式上有一些不同之处 Batch Normalization批标准化 归一化对象Batch Normalization是在每个神经层的输入上进行归一化通常是对每个mini-batch的样本进行统计。归一化方式它通过计算每个神经元的均值和方差然后对每个神经元的输出进行归一化以确保网络的中间层保持稳定。 Layer Normalization层标准化 归一化对象Layer Normalization是在每个神经层的输入上进行归一化但不考虑mini-batch内的样本而是考虑单层的所有神经元。归一化方式它通过计算每个神经元的均值和方差然后对单层内的所有神经元的输出进行归一化。 Group Normalization组标准化 归一化对象Group Normalization是在每个神经层的输入上进行归一化但不是针对整个层或整个mini-batch而是将神经元分成多个组然后对每个组内的神经元进行归一化。归一化方式它通过计算每个组内神经元的均值和方差然后对每个组内的神经元的输出进行归一化。 Instance Normalization实例标准化 归一化对象Instance Normalization是在每个神经元的输入上进行归一化针对每个神经元的输出进行归一化而不考虑层内、mini-batch内的其他神经元。归一化方式它通过计算每个神经元的均值和方差然后对每个神经元的输出进行归一化。 总的来说这些归一化方法都有类似的目标即减少内部协变量偏移Internal Covariate Shift以提高深度神经网络的训练稳定性和收敛速度。它们的不同之处在于归一化的对象和方式。选择哪种归一化方法通常取决于网络的结构、任务和实验表现。 Batch Normalization通常用于深度卷积神经网络中而Layer Normalization、Group Normalization和Instance Normalization可能更适用于其他类型的网络或特定的任务。 当涉及到Batch Normalization批标准化、Layer Normalization层标准化、Group Normalization组标准化、Instance Normalization实例标准化时它们之间的差异在于归一化的对象和方式。下面是一个图示示例以帮助理解它们的区别 Batch Normalization (BN) Layer Normalization (LN) Group Normalization (GN) Instance Normalization (IN)
_______________ _______________ _______________ _______________
| Layer 1 | | Layer 1 | | Layer 1 | | Layer 1 |
| --------------| | --------------| | --------------| | --------------|
| Neuron 1 | | Neuron 1 | | Group 1 | | Neuron 1 |
| Neuron 2 | | Neuron 2 | | Group 2 | | Neuron 2 |
| Neuron 3 | | Neuron 3 | | Group 3 | | Neuron 3 |
| ... | | ... | | ... | | ... |
| Neuron N | | Neuron N | | Group N | | Neuron N |
| --------------| | --------------| | --------------| | --------------|
| Layer 2 | | Layer 2 | | Layer 2 | | Layer 2 |
| --------------| | --------------| | --------------| | --------------|
| Neuron 1 | | Neuron 1 | | Group 1 | | Neuron 1 |
| Neuron 2 | | Neuron 2 | | Group 2 | | Neuron 2 |
| Neuron 3 | | Neuron 3 | | Group 3 | | Neuron 3 |
| ... | | ... | | ... | | ... |
| Neuron N | | Neuron N | | Group N | | Neuron N |
| _______________| | _______________| | ______________| | ______________|Batch Normalization每个层内的神经元在整个mini-batch中进行归一化。Layer Normalization每一层的神经元在层内进行归一化但不考虑mini-batch内的样本。Group Normalization每一层的神经元被分成多个组每个组内的神经元进行归一化不考虑mini-batch内的样本。Instance Normalization每个神经元单独进行归一化不考虑层内、mini-batch内的其他神经元。 这个示例说明了它们之间在归一化对象和方式上的区别希望有助于理解它们的工作原理。这些方法都是用于改善神经网络训练的稳定性和收敛速度但在不同情况下选择适当的方法可能会有所不同。 自动学习标准化方法 2. 池化
2.1 池化的作用
作用 信息的抽象去除非细节部分一些噪声的信息获得不同程度上的不变性旋转不变性平移不变性 2.2 常见的池化方法 2.3 池化方法的差异 不同的池化方法是用来降低特征图维度的方式它们在计算输出时有不同的策略。以下是最大值池化、均值池化、随机池化、最小值池化、中值池化和混合池化等池化方法之间的主要区别 最大值池化Max Pooling 操作方式在每个池化窗口内选择最大值作为输出。特点Max Pooling突出最显著的特征通常用于提取重要的特征。 均值池化Average Pooling 操作方式在每个池化窗口内计算所有值的平均值作为输出。特点Average Pooling平滑特征图并减小尺寸用于降低计算量。 随机池化Random Pooling 操作方式在每个池化窗口内随机选择一个值作为输出。特点Random Pooling引入了随机性有助于提高网络的鲁棒性和泛化性能。 最小值池化Min Pooling 操作方式在每个池化窗口内选择最小值作为输出。特点Min Pooling可用于强调较小的特征值用于特定任务。 中值池化Median Pooling 操作方式在每个池化窗口内选择中值中间值作为输出。特点Median Pooling可以在一定程度上抵御异常值的影响适用于一些异常值敏感的任务。 混合池化Mixed Pooling 操作方式结合多种池化策略可能以一定的权重混合它们的输出。特点Mixed Pooling允许根据任务的需要结合不同的池化策略提高网络的灵活性。 这些池化方法之间的选择通常取决于具体的任务和数据以及希望突出的特征。混合池化则允许根据需求结合多种池化策略以实现更大的灵活性。在实际应用中通常需要进行实验和调整以确定哪种池化方法最适合特定任务。 2.4 池化的必要性 注意现阶段常常采用带步长的卷积代替池化操作
部分内容来自 阿里云天池
