Paper：https://arxiv.org/abs/1807.09441
Code：https://github.com/XingangPan/IBN-Net
文章摘要：卷積神經網絡(CNNs)在許多計算機視覺問題上取得了巨大的成功。與現有爲提高某一場景的性能設計的CNN不同，論文的IBN-Net顯著增強了CNN的建模能力，並且具有較強的泛化能力，可以不經過netuning即可在另一場景取得不錯結果。IBN-Net集成了IN(實例規範化)和BN(批處理規範化)作爲構建塊，並可以封裝到當前先進的深度CNN中，以提高其性能。本論文主要有三個貢獻。1）：通過對IN和BN進行深入研究，論文發現IN學習的特徵不受外觀變化的影響，如顏色、樣式和虛擬/現實；而BN對於保存內容相關信息至關重要。2）：IBN-Net可以集成到當前高級的深層CNN中，如DenseNet、ResNet和SENet等，並且不增加計算成本的情況下持續改進他們的性能。3）：當把訓練好的模型應用到新的場景時，即使不使用目標領域的數據，IBN-Net也取得了不錯的結果。綜上所述，論文通過對IN和BN的深入研究，通過利用IN學習的特徵不受外觀變化的影響和BN可以保存特徵的內容的性質，將IN和BN組合成IBN block，並且可以將其集成到當前的先進的深度CNNs中，在不增加計算能力和參數量的情況下，實現模型優異的泛化能力。
知識點解析：論文通過實驗發現，隨着網絡深度增加特徵的KL散度逐漸變小，而內容散度逐漸變大。即網絡淺層學習到的特徵主要是外觀特徵，深層主要學習內容信息。而IN是常應用於風格轉換中，消除外觀變化對學習到的特徵的影響。根據先驗知識，常規的外邊變化，如顏色、光照等，可以通過BN或增加數據來消除影響，而當外觀方差複雜且未知時，如圖像樣式多樣和虛擬/現實等，最近的研究顯示上述變化可以被編碼在特徵圖的像素值中，需要設計固定的結構以消除其影響。在先前的工作中，IN已經展現了消除這種外觀差異的潛力。雖然IN可以消除外觀變化，但是會影響特徵內容信息。
根據以上觀察，論文將IN和BN進行組合成IBN block，使得提取的特徵既可以消除外觀影響又可以保留特徵內容信息。但是爲了不損害特徵內容信息，論文只在先進網絡的淺層集成IBN block。由此得到下圖的網絡結構：a)：因乾淨的shortcuts對ResNet的訓練和優化至關重要。所以只能講IN添加在residual path。b)：爲避免失調，將IN放在residual path中的第一個正則化層。c)：half IN和BN的設計來源於以上觀察。
結果展示：
周郎有話說：IBN block在不增加參數和計算量的情況下，可以輕易的集成到先進的深度CNNs中，並且可以消除外觀變化的影響。值得應用嘗試。