https://blog.csdn.net/meanme/article/details/48679785
1：背景
由於在訓練神經網絡的過程中，每一層的 params是不斷更新的，由於params的更新會導致下一層輸入的分佈情況發生改變，所以這就要求我們進行權重初始化，減小學習率。這個現象就叫做internal covariate shift。
2：idea思想
雖然可以通過whitening來加速收斂，但是需要的計算資源會很大。
而Batch Normalizationn的思想則是對於每一組batch，在網絡的每一層中，分feature對輸入進行normalization，對各個feature分別normalization，即對網絡中每一層的單個神經元輸入，計算均值和方差後，再進行normalization。
對於CNN來說normalize “Wx+b”而非 “x”，也可以忽略掉b，即normalize “Wx”，而計算均值和方差的時候，是在feature map的基礎上（原來是每一個feature）
3：算法流程（對network進行normalize）
