训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）
moonlove_:
“随着 Batch_Size 增大，达到相同精度所需要的 epoch 数量越来越多。”是不是写错了，应该是需要的epoch数量减少了吧
训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）
穆清plus:
有答案了吗
训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）
qq_45915612:
我的理解是在一阶优化器的时候用小的batchsize，二阶优化器的时候用大的batchsize。博主的意思应该是，batchsize小的时候，数据方差大，相对大的batchsize来说噪声大 梯度下降的波动大，在一阶优化器中还是可以接受的，甚至这些波动是让网络模型跳出局部最优点的一个闪光点，但是如果使用二阶优化器的话，梯度下降的波动会更剧烈（一顿乱跳，跳出了局部最优点，也跳过了全局最优点），就会比一阶更不稳定，loss可能会直接炸了。
当然，这是我很粗浅的理解，不一定对。
训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）
qq_45915612:
我想到的是不同的batchsize结果数据保存下来，再画图（我的理解是每次训练完一个网络只能设置一个batchsize，所以要等不同的结果出来了才能画在一张图上）
常用度量--MAE(平均绝对误差)和RMSE(均方根误差)
whitenightwu:
都是相对的。一般是与应用的benchmark相比，才有实际意义。