語義分割是計算機視覺領域的關鍵問題之一，更是圖像、場景理解的基石性技術，在自動駕駛、無人機及穿戴計算設備應用中舉足輕重，甚至在很大程度上直接影響了實際應用的效果，任何舊方法的優化、新方法的提出，都將對相關產業產生積極作用。正因如此，相關從業者對國際上重大CV峯會中關於語義分割的論文格外看重。
在本次的CVPR 2019峯會論文評選中，來自於全球知名高校、實驗室、科技巨頭的50餘篇語義分割相關論文被CVPR 2019接受，其中來自華爲方舟實驗室的《Knowledge Adaptation for Efficient Semantic Segmentation》爲我們提供了一種新的知識蒸餾和高效語義分割新方法。
論文原文鏈接：https://arxiv.org/abs/1903.04688
方法亮點
提出了一個爲高效語義分割設計的知識蒸餾方法幫助教師網絡輸出重新解釋到新表達的潛在域，使緊湊型學生網絡更容易學習。
提出了一個親和性知識蒸餾模塊，幫助學生網絡從教師網絡捕獲長期依賴。
驗證了本方法在各種設置下的有效性，在不引入額外參數設置或計算量的情況下，本方法的學生模型性能提升2%；與大分辨率輸出的模型相比，本方法在使用它們8%的FLOPS的情況下便可得到相同或更好的效果。
方法解析
本方法框架包含兩個獨立的網絡：一個是輸出大分辨特徵的教師網絡，另一個是輸出較小分辨率特徵的學生網絡。知識轉化的定義分爲兩個部分：一是通過自動編碼將知識壓縮成緊湊格式實現從教師網絡到更具信息的壓縮空間的知識轉化遷移；二是從教師網絡獲取長期的依賴關係，這是比較困難的，具體做法如下：
1. 知識轉化與自適應
得益於卷積計算，FCNs能在獲取大量信息的同時維護信息視覺感受野，雖然性能有所提升，但計算成本也隨之增長，並且隨着輸出步幅變小時，計算成本還將繼續增加，具體如下圖所示：
因此，作者團隊建議使用具有高特徵分辨率的大型教師模型來教授具有低特徵分辨率的輕量級學生網絡，並重新訓練一個自動編碼器來挖掘隱含的結構信息，將知識轉換成更容易被學生網絡理解和複製的格式。自動編碼器將教師模型的最後一個卷積特徵輸入，由三層卷積層和對稱反褶層組成。
2. 親和蒸餾模塊
通過從大型教師模型中提取大範圍非本地依賴性，提出了一個新的親和蒸餾模塊。通過直接計算任意兩個位置之間的互相關係來定義網絡中的親和力，而不管它們之間空間距離。結果，具有不同標籤的像素將對具有相同標籤的像素產生低響應和高響應。在實際測試中，沒有親和蒸餾模塊的(b)列明顯沒有帶有親和蒸餾模塊的©列對語義的響應敏感。
3. 訓練過程
提出的方法設計教師和學生網絡，教師網絡經過預先訓練，參數在訓練過程中保持固定狀態（如下圖），學生網絡則由標註信息的交叉熵損失、自適應損失以及親和力損失三個損失函數加權後訓練。
方法驗證
爲了驗證提出方法的有效性，作者團隊選擇Pascal VOC、Cityscapes和Pascal Context三個數據集作爲測試集，具體結果如下：
注：T爲教師模型；S爲學生模型；KA代表知識自適應；affinit代表親和知識蒸餾模塊。
1. 知識自適應和親和知識蒸餾模塊測試
2. 不同學生、教師網絡結構測試
3. 不同知識蒸餾測試
結論
論文中提出的通過將高級特徵轉化爲學生網絡更容易理解學習的格式，提高了學生模型的性能，通過上述實驗測試可以看出，在採用同標準的對比測試方法，本文論中提出的方法在不引入額外參數設定或計算的情況下，實現了大幅度提高學生模型的性能的同時大幅降低了計算成本。