很大batch size的缺點
1、很大batch size的優點：
- 允許更大的學習率
- 更快的收斂
- 極限情況是，整個數據集作爲一個
batch，更新應該是全局最優的，這時候就不是隨機梯度下降了，就是梯度下降。
在這裏我們要知道，爲什麼需要隨機梯度下降，因爲訓練數據太多了，參數更新太慢，因此我們在這裏直接就圖省事了，隨機取幾個數據更新參數，這樣就能夠
2、很大batch size缺點：
batch size越大，參數更新的次數越少（不是很重要，因爲如果batch size很小的話，即使參數更新的次數很多，但是並沒有用，因爲更新的都是沒用的，要他幹啥）
3、很小batch size的缺點：
- 在隨機梯度下降中，損失函數的梯度是在整個
batch上計算的。如果batch size很小，梯度就會在很小的範圍內計算，甚至可能是一個隨機值（極限情況是每次一張圖片） batch size越大，梯度越精確，因爲是在更大的圖片集上進行梯度計算
