instance normalization
instance normalization的方法,IN可以理解成爲每個圖片自己做BN,這樣比BN能保留更多scale信息。更新的研究表明如果訓練收斂不是問題的話,進一步去掉IN的效果也會更好。
分析
scale和mean包含了圖片style的信息,當用一個網絡transfer一種style的時候,IN可以把原圖的style丟掉換上新的style(由gamma和beta encode),所以結果有提升。
當然,如果要一個網絡transfer任意style,IN反而會hurt performance (因爲IN把所有圖都轉成了同樣的scale和mean)。
故我們提出了一種新的normalization來解決這個問題。(?忘記是哪篇論文了)