ps怎么做华为网站界面,江西建设周记网站,做斗图的网站,机构编制网站建设因为在一般情况下#xff0c;每次minibatch之后#xff0c;都会计算得到一个loss#xff0c;进而计算该loss关于全局参数的梯度。如果在下一次minibatch 进入模型#xff0c;计算得到相应的loss和梯度之前#xff0c;不对优化器的梯度进行置0操作#xff0c;那么几次batc… 因为在一般情况下每次minibatch之后都会计算得到一个loss进而计算该loss关于全局参数的梯度。如果在下一次minibatch 进入模型计算得到相应的loss和梯度之前不对优化器的梯度进行置0操作那么几次batch的梯度会有一个累积效应影响模型参数的优化。 在每一次batch训练完之后计算得到loss损失函数和相应梯度都会对模型参数进行调整那么该batch数据在这一轮训练里面的作用已经完成了。我们不希望这些优化过模型参数的batch的loss梯度累积起来继续对模型参数优化产生影响。
