Adaptive Instance Normalization (AdaIN Normalization) ICCV 2017

paper: Huang, Xun, and Serge Belongie. “Arbitrary style transfer in real-time with adaptive instance normalization.” ICCV 2017.

論文首先回顧了Batch Normalization和Instance Normalization

1. Batch Normalization

NHW

2. Instance Normalization

IN

3. Adain Normalization

AdaIN receives a content input x and a style input y, and simply aligns the channelwise mean and variance of x to match those of y.

$x$爲內容輸入，$y$爲風格輸入。對於每個channel，將$x$的均值和方差與$y$對齊。

4. overall diagram

$f$是encoder, $g$是decoder

5. 訓練損失函數

5.1 content loss $L_c$

5.2 style loss $L_s$

其中$u$和$\sigma$代表均值和標準差, $\phi_i$是指經過預訓練的VGG-19網絡的某一層提取的特徵。

AdaIN normalization的作用：

文章對norm和batch norm進行了對比，發現就style loss而言，圖(a) (b) 中使用IN norm 明顯優於使用batch norm (style loss較低)。但是圖像經過了style normalization之後再來對比( 圖（c）)，IN和batch的差距變得微乎其微。文章想通過這個實驗證明instance normalization的作用是對特徵的統計特性進行normalization。文章還解釋了微小的差異是由於訓練之前對圖像進行的style normalization實施的不夠完美。

Our results indicate that IN does perform a kind of style normalization.
我們的實驗表明了IN normalization 實施了一種style normalization。

we argue that instance normalization performs a form of style normalization by normalizing feature statistics, namely the mean and variance.

感覺文章這一段挺重要的，簡略翻譯一遍：

衆所周知，深度神經網絡卷積特徵的統計特性可以反映出一幅圖像的風格特徵。
Gatys使用二階統計量作爲他們的優化目標（我們知道是格拉姆矩陣）。Li 最近證明了匹配一些其它的統計量也能對風格遷移起效，例如：逐通道均值和方差。受到這些觀察結果的啓發，我們認爲IN norm通過對特徵統計量的normalization起到了一個風格normlization的效果。雖然深度神經網絡起到了一個圖像描述符的作用，我們相信生成網絡的特徵的統計量仍然可以控制生成圖像的風格。