最新网站开发技术,宿州做网站,wordpress数字添加链接,医药类网站怎么做seo文章目录欠拟合一、什么是欠拟合#xff1f;二、欠拟合出现原因三、解决欠拟合(高偏差)的方法过拟合一、什么是过拟合#xff1f;二、过拟合出现原因三、解决过拟合(高方差)的方法欠拟合
一、什么是欠拟合#xff1f;
欠拟合是指模型不能在训练集上获得足够低的误差。换句…
文章目录欠拟合一、什么是欠拟合二、欠拟合出现原因三、解决欠拟合(高偏差)的方法过拟合一、什么是过拟合二、过拟合出现原因三、解决过拟合(高方差)的方法欠拟合
一、什么是欠拟合
欠拟合是指模型不能在训练集上获得足够低的误差。换句换说就是模型复杂度低模型在训练集上就表现很差没法学习到数据背后的规律。
二、欠拟合出现原因
模型复杂度过低 特征量过少
三、解决欠拟合(高偏差)的方法
1. 模型复杂化• 对同一个算法复杂化。例如回归模型添加更多的高次项增加决策树的深度增加神经网络的隐藏层数和隐藏单元数等• 弃用原来的算法使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归用随机森林来代替决策树等2. 增加更多的特征使输入数据具有更强的表达能力• 特征挖掘十分重要尤其是具有强表达能力的特征往往可以抵过大量的弱表达能力的特征• 特征的数量往往并非重点质量才是总之强特最重要• 能否挖掘出强特还在于对数据本身以及具体应用场景的深刻理解往往依赖于经验3. 调整参数和超参数• 超参数包括- 神经网络中学习率、学习衰减率、隐藏层数、隐藏层的单元数、Adam优化算法中的β1和β2参数、batch_size数值等- 其他算法中随机森林的树数量k-means中的cluster数正则化参数λ等4. 增加训练数据往往没有用• 欠拟合本来就是模型的学习能力不足增加再多的数据给它训练它也没能力学习好5. 降低正则化约束• 正则化约束是为了防止模型过拟合如果模型压根不存在过拟合而是欠拟合了那么就考虑是否降低正则化参数λ或者直接去除正则化项过拟合
一、什么是过拟合
过拟合是指训练误差和测试误差之间的差距太大。换句换说就是模型复杂度高于实际问题模型在训练集上表现很好但在测试集上却表现很差。模型对训练集死记硬背记住了不适用于测试集的训练集性质或特点没有理解数据背后的规律泛化能力差。
二、过拟合出现原因
建模样本选取有误如样本数量太少选样方法错误样本标签错误等导致选取的样本数据不足以代表预定的分类规则样本噪音干扰过大使得机器将部分噪音认为是特征从而扰乱了预设的分类规则假设的模型无法合理存在或者说是假设成立的条件实际并不成立参数太多模型复杂度过高对于决策树模型如果我们对于其生长没有合理的限制其自由生长有可能使节点只包含单纯的事件数据(event)或非事件数据(no event)使其虽然可以完美匹配拟合训练数据但是无法适应其他数据集对于神经网络模型a)对样本数据可能存在分类决策面不唯一随着学习的进行,BP算法使权值可能收敛过于复杂的决策面b)权值学习迭代次数足够多(Overtraining)拟合了训练数据中的噪声和训练样例中没有代表性的特征
三、解决过拟合(高方差)的方法
1. 增加训练数据数• 发生过拟合最常见的现象就是数据量太少而模型太复杂• 过拟合是由于模型学习到了数据的一些噪声特征导致增加训练数据的量能够减少噪声的影响让模型更多地学习数据的一般特征• 增加数据量有时可能不是那么容易需要花费一定的时间和精力去搜集处理数据• 利用现有数据进行扩充或许也是一个好办法。例如在图像识别中如果没有足够的图片训练可以把已有的图片进行旋转拉伸镜像对称等这样就可以把数据量扩大好几倍而不需要额外补充数据• 注意保证训练数据的分布和测试数据的分布要保持一致二者要是分布完全不同那模型预测真可谓是对牛弹琴了2. 使用正则化约束• 在代价函数后面添加正则化项可以避免训练出来的参数过大从而使模型过拟合。使用正则化缓解过拟合的手段广泛应用不论是在线性回归还是在神经网络的梯度下降计算过程中都应用到了正则化的方法。常用的正则化有l1正则和l2正则具体使用哪个视具体情况而定一般l2正则应用比较多3. 减少特征数• 欠拟合需要增加特征数那么过拟合自然就要减少特征数。去除那些非共性特征可以提高模型的泛化能力4. 调整参数和超参数• 不论什么情况调参是必须的5. 降低模型的复杂度• 欠拟合要增加模型的复杂度那么过拟合正好反过来6. 使用Dropout• 这一方法只适用于神经网络中即按一定的比例去除隐藏层的神经单元使神经网络的结构简单化7. 提前结束训练• 即early stopping在模型迭代训练时候记录训练精度(或损失)和验证精度(或损失)倘若模型训练的效果不再提高比如训练误差一直在降低但是验证误差却不再降低甚至上升这时候便可以结束模型训练了
