网站开发教程 视频教程,随身办app下载,设计类专业考研考什么,如何创建网站推广产品推荐守门员应该将球踢到哪个位置#xff0c;才能让自己的队员用头击中。1.无正则化模型判别是否有正则化与调用其他计算函数。准确率#xff1a;0.948/0.915明显过拟合overfiting了。2.L2正则化公式如下#xff0c;在原有cost函数基础上增加L2项#xff0c;L2为参数w的均方…推荐守门员应该将球踢到哪个位置才能让自己的队员用头击中。1.无正则化模型判别是否有正则化与调用其他计算函数。准确率0.948/0.915明显过拟合overfiting了。2.L2正则化公式如下在原有cost函数基础上增加L2项L2为参数w的均方根根据公式书写代码增加正则项后反向传播的导数也会对应改变其余参数不变。准确率0.938/0.93相比没有正则化变好了一些并且过拟合现象消失。 增加超参数 越大越平滑。L2正则认为权重越小的函数越简单越平滑因此在cost成本函数中增加L2项。需要改的只有成本函数与反向传播的导数计算公式。3.Dropout在深度网络中每次迭代都以1-keep_prob的概率关闭一些神经元。keep_prob保留神经元的概率。Dropout每次迭代关闭的神经元都不同因此每次训练的模型其实是不同的这相当于是另一种神经网络的集成。步骤(1)建立随机数矩阵D其维度和A输出一样。(2)将随机数矩阵转化为0,1矩阵随机数大于keep_prob转换为0小于keep_prob转换为1。(3)让矩阵D与矩阵A相乘(对应位置相乘而不是矩阵相乘)得到新的矩阵A相乘后为0的那些神经元被关闭。(4)新的矩阵A除以keep_prob为了使期望值不变。前向传播dropout记得最后计算得到的A要除以keep_prob哦反向传播dropout反向传播时对A求导数dA需要乘上同一层的D在得到新的dA后还需要除以keep_prob。准确率0.929/0.95比之前效果更好。dropout是一种正则化技术dropout只在训练时使用不在测试中使用dropout在前向传播与反向传播中均需要参与切记除以keep_prob小结正则化帮助处理过拟合问题正则化会减小参数简化模型L2、dropout是一种很好的正则化手段。
