關於Conditional Normalization的文章總結

ICLR 2017

論文標題	Modulating early visual processing by language
研究問題	VQA
前提假設	More and more evidence accumulates that words set visual priors which alter how visual information is processed from the very beginning it is observed that P1 signals, which are related to low-level visual features, are modulated while hearing specific words
創新點	率先將CBN引入到VQA的問題當中，通過MLP對輸入的question進行embedding，然後再基於得到的embedding來調控ResNet每個BN層的參數，進而使得模型能在訓練前期實現對圖像信息的調控

ECCV 2016

論文標題	Perceptual Losses for Real-Time Style Transfer and Super-Resolution
研究問題	Style transfer
前提假設	high-quality images can be generated by defining and optimizing perceptual loss functions based on high-level features extracted from pre-trained networks.
創新點	將perceptual loss作用在預訓練好的VGG網絡所提取到的高層語義特徵中，確保了模型能在最後生成與content image語義相一致的圖片
解決方案	整個網絡結構主要由兩個部分構成： Image Transformation Networks （採用了類似ResNet的Encoder-Decoder結構） Perceptual Loss Functions Feature Reconstruction Loss（作用在relu3_3,確保網絡生成的圖片能與content image在high-level feature上保持一致，但是在low-level上可以存在差異） Style Reconstruction Loss.(作用在每一層）
不足之處	每次訓練只能完成一種分割的遷移，不能並行完成多種圖片風格的遷移

ICLR 2017 

論文標題	A Learned Representation For Artistic Style
研究問題	Style transfer
前提假設	Two images are similar in content if their high-level features as extracted by a trained classifier are close in Euclidian distance. Two images are similar in style if their low-level features as extracted by a trained classifier share the same statistics or, more concretely, if the difference between the features’ Gram matrices has a small Frobenius norm
創新點	將CIN引入到了style transfer中，通過style image對應的IN層參數來替換content image對應的IN參數
不足之處	無法進行任意風格的圖像遷移

ICCV 2017 

論文標題	Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
研究問題	Style transfer
前提假設	the affine parameters in IN can completely change the style of the output image Motivated by these observations, we argue that instance normalization performs a form of style normalization by normalizing feature statistics, namely the mean and variance
創新點	將AdaINy引入到了style transfer任務中。AdaIN層不存在需要學習的參數，每個affine parameters都從輸入的style image中計算得到，從而實現了任意風格的圖片轉換
解決方案	通過實驗驗證了IN能夠起到風格歸一化的作用 每個affine parameters都從輸入的style image中計算得到

AAAI 2020

論文標題	Dynamic Instance Normalization for Arbitrary Style Transfer
研究問題	Style Transfer
前提假設	文章主要基於AdaIN的兩個缺點提出 content rncoder與style encoder的結構許保持一致 encoder的結構得足夠複雜，以確保其能夠提取出更具代表性的圖像特徵
創新點	設計了一個動態的卷積算子來自適應地學習IN層的參數
解決方案	content image對應的encoder由Depthwise Separable Convolutional layer構成，屬於一個輕量級的特徵提取網絡 DIN的輸入爲一張style image,其輸出爲convolution operator的weight與bias,然後基於學得的weight與bias對IN層輸出的feature map進行調整

NurIPS 2019

論文標題	Positional Normalization
研究問題	Style Transfer
前提假設	基於feature map的每個位置來進行通道歸一化。採用這種方式所得到的一階統計量和二階統計量在一定程度上能夠捕獲圖片的空間結構信息
創新點	PONO: processes each position independently, and compute both statistics across the channels Moment Shortcut: 將encoder中每個PONO輸出的參數通過shortcut的方式傳到decoder中，以使得decoder上採樣得到的deature map能更好地保留原始圖片的空間結構信息 Dynamic Moment Shortcut: 和MS不同的一點在於，decoder反捲積層的PONO參數是通過一個額外的網絡（值得注意的是，該網絡以相應的encoder層輸出的mean和standard deviation作爲輸入）學習得到的

CVPR 2019

論文標題	Semantic Image Synthesis with Spatially-Adaptive Normalization
研究問題	Semantic Image Synthesis
前提假設	在語義圖像合成的任務中，採用instance normalization會丟失掉segmentaion mask的語義信息，而空間自適應歸一化的方法則能夠很好地保留segmentation mask的語義信息
創新點	提出了空間自適應歸一化方法，能夠在Image Synthesis task中很好地保留輸入圖像的語義信息

ICLR 2018

論文標題	cGANs with Projection Discriminator
研究問題	GAN
前提假設
創新點
解決方案
不足之處