Batch_size總結

1 定義

單次訓練用的樣本數，通常爲2^N，如32、64、128

2 提出背景

在batch_size概念沒提出之前，神經網絡的訓練每一個epoch需要將所有的數據一次性加載訓練，使得內存負載加大。這樣會準確計算梯度方向更準確，但不同梯度值差異過大，無法確定全局的學習率。在這樣的條件下，batch_size被提出來了。

3 合適的batch_size訓練的優點

• 使內存利用率增大，加快訓練速度
• 使梯度方向計算更準確，收斂快。