Batch_size总结

1 定义

单次训练用的样本数，通常为2^N，如32、64、128

2 提出背景

在batch_size概念没提出之前，神经网络的训练每一个epoch需要将所有的数据一次性加载训练，使得内存负载加大。这样会准确计算梯度方向更准确，但不同梯度值差异过大，无法确定全局的学习率。在这样的条件下，batch_size被提出来了。

3 合适的batch_size训练的优点

• 使内存利用率增大，加快训练速度
• 使梯度方向计算更准确，收敛快。