Batch Normalization

優點：
不再依賴精細的參數初始化過程，可以調大學習率加快模型收斂速度，同時引入的隨機噪聲能夠起到對模型參數進行正則化的作用，可以不使用或者較少對dropout和LI、L2$LI、L2$ 正則化的依賴，有利於增強模型泛化能力。
缺點：
1、如果 Batch Size 太小，噪聲太大，BN 效果明顯下降；
2、對於有些像素級圖片生成任務來說，BN 效果不佳；（這很可能是因爲在 Mini-Batch 內多張無關的圖片之間計算統計量，弱化了單張圖片本身特有的一些細節信息）
3、訓練和測試時統計量不一致（訓練時在 Mini-Batch 內來計算統計量，測試時爲單個樣本）

參考：
Batch Normalization 學習筆記
深度學習中的Normalization模型