Batch Normalization 的拆解操作

第一步:創建數據,這裏是兩個樣本,每個樣本是兩個通道的三乘四矩陣

第二步: 求解所有樣本每個通道的均值, 注意維度

第三步: 求解所有樣本的每個通道的方差, 注意維度

第四步: 標準化處理

第五步:整合成函數,並做處理

注:這個函數是從 https://zhuanlan.zhihu.com/p/81891467 抄來的

第六步: 試驗一把

其實畫圖更好理解:

先求出每個通道的平均值和方差,然後每個樣本的該通道的每個值都需要根據這個均值和方差進行歸一化, 可以把每個通道看做一個特徵, 然後對特徵進行歸一化處理

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章