Batch Norm的作用

BN做的是歸一化某一層隱層的激活單元,使得下一層參數的訓練更加快。

做法:給定神經網絡中間隱層的值,假設某一層所有的隱層單元爲z^{(1)}-z^{(m)}

1. 計算均值:\mu =\frac{1}{m}\sum_{i=1}^{m}z^{(i)}

2. 計算方差:\sigma ^{2}=\frac{1}{m}\sum_{i=1}^{m}(z^{(i)}-\mu )^{2}

3. z_{norm}^{(i)}=\frac{z^{(i)-\mu}}{\sqrt{\sigma ^{2}+\varepsilon} }

4. \tilde{z}^{(i)}=\gamma z_{norm}^{(i)}+\beta  (所以\gamma =\sqrt{\sigma ^{2}+\varepsilon }, \beta =\mu

5. 用\tilde{z}^{(i)}代替代替z^{(i)}

 

未完待續……

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章