用cms做网站的具体步骤,东莞网站建设aj博客,成都搜索引擎优化推广维护,深圳市宝安网站建设最速下降法的影子在机器学习中正是无处不在#xff0c;它简单实用。 一、表示 在最速下降法中#xff0c;对权值向量w的连续调整是在最速下降的方向上#xff0c;即它是与梯度向量方向相反的#xff0c;梯度向量记为#xff08;1#xff09;#xff0c;简记#xff08;… 最速下降法的影子在机器学习中正是无处不在它简单实用。 一、表示 在最速下降法中对权值向量w的连续调整是在最速下降的方向上即它是与梯度向量方向相反的梯度向量记为1简记2 其中η是一个正常数称为步长或学习率参数。g(n)是在w(n)处的梯度向量值。在从迭代n到n1的过程中算法应用修正。 二、证明 用w(n)附近的一阶泰勒级数展开来逼近可写成4式 由1式得到5式将5式代入4式得到6式。显然是梯度下降的。 三、优缺点 缺点局部极小值而不是全局优化。只有目标函数是凸函数才是全局优化。 参考文献《神经网络与机器学习》P59 转载于:https://www.cnblogs.com/Wanggcong/p/4701703.html
