深度學習基礎--正則化與norm--instance normalization

instance normalization

  instance normalization的方法,IN可以理解成爲每個圖片自己做BN,這樣比BN能保留更多scale信息。更新的研究表明如果訓練收斂不是問題的話,進一步去掉IN的效果也會更好。

分析

  scale和mean包含了圖片style的信息,當用一個網絡transfer一種style的時候,IN可以把原圖的style丟掉換上新的style(由gamma和beta encode),所以結果有提升。
  當然,如果要一個網絡transfer任意style,IN反而會hurt performance (因爲IN把所有圖都轉成了同樣的scale和mean)。
  故我們提出了一種新的normalization來解決這個問題。(?忘記是哪篇論文了)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章