聚名网官网入口,seo搜索引擎优化方案,网站的开发建设要做什么,长春网站排名推广常规训练方式
for x,y in train_loader:pred model(x)loss criterion(pred, label)# 反向传播loss.backward()# 根据新的梯度更新网络参数optimizer.step()# 清空以往梯度#xff0c;通过下面反向传播重新计算梯度optimizer.zero_grad()
pytorch每次forward完都会得到一个…常规训练方式
for x,y in train_loader:pred model(x)loss criterion(pred, label)# 反向传播loss.backward()# 根据新的梯度更新网络参数optimizer.step()# 清空以往梯度通过下面反向传播重新计算梯度optimizer.zero_grad()
pytorch每次forward完都会得到一个用于梯度回传的计算图pytorch构建的计算图是动态的其实在每次backward后计算图都会从内存中释放掉但是梯度不会清空的。所以若不显示的进行optimizer.zero_grad()清空过往梯度这一步操作backward()的时候就会累加过往梯度。
梯度累加方法
accumulation_steps 4
for i,(x,y) in enumerate(train_loader):pred model(x)loss criterion(pred, label)# 相当于对累加后的梯度取平均loss loss/accumulation_steps# 反向传播loss.backward()if (i1) % accumulation_steps 0:# 根据新的梯度更新网络参数optimizer.step()# 清空以往梯度通过下面反向传播重新计算梯度optimizer.zero_grad() 代码中设置accumulation_steps 4意思就是变相扩大batch_size四倍。因为代码中每隔4次迭代才清空梯度更新参数。 loss loss/accumulation_steps梯度累加了四次那就要取平均除以4。每次loss取4其实就相当于最后将累加后的梯度除4。同时因为累计了4个batch那学习率也应该扩大4倍让更新的步子跨大点。 看网上的帖子有讨论对BN层是否有影响因为BN的估算阶段计算batch内均值、方差是在forward阶段完成的那真实的batch_size放大4倍效果肯定是比通过梯度累加放大4倍效果好的毕竟计算真实的大batch_size内的均值、方差肯定更精确。 还有讨论说通过调低BN参数momentum可以得到更长序列的统计信息应该意思是能够记忆更久远的统计信息均值、方差以逼近真实的扩大batch_size的效果。
参考
pytorch骚操作之梯度累加变相增大batch size
pytorch里巧用optimizer.zero_grad增大batchsize
