無監督領域自適應（Unsupervised Domain Adaptation）介紹

背景

• 爲了解決傳統監督學習需要大量人工標註的問題。顧名思義，就是將某個領域或者任務學習好的知識或模式，應用到到新的不同但相關？的領域中，達到可觀的效果。比如我們最常見的fine-tuning。

• 根據目前已有的研究顯示，1）深度神經網絡可以很好地學習到數據間的可遷移特徵，或者叫做域不變（domain invariant）特徵； 2）但由於層數的增加，特徵由general到task-specific，越來越不適合遷移，但同時也要保證特徵足夠。

• 領域自適應（Domain Adaptation）：遷移學習的一種。域適應是一種針對解決源域集和目標域分佈偏移（domain shift）？的機器學習算法。各式各樣的域適應方法旨在通過學習源域和目標域的域不變（domain invariant）特徵，從而在目標域沒有或少量標籤的情況下，將從源域學到的分類器應用於目標域。

• 域適應方法：

1. find a mapping from representations of the source domain to those of the target；
2. find domain-invariant representations that are shared between the two domains；
   

相關概念

• 領域差異（Domain Discrepancy）
  • 域定義：由d維特徵空間X和邊緣概率分佈P(X)組成，即D={X, P(x)}, x∈X，領域差異就是說Ps != Pt；
  • 不同域中pixel distributions可以各種各樣。我們定義Low-level分佈的不同表現在噪聲、分辨率、光和顏色等，High-level分佈的不同表現在類別數量、目標類型和幾何形變等；
  • 不同但相關：源域和目標域的分佈在Low-level不同但在High-level相同；
  • 域不變特徵：用作High-level segment alignment。將源域和目標域特徵分爲domain invariant和domain specify。domain invariant爲兩個域共有特徵，而domain specify爲私有。

相關工作

• 常用深度域適應網絡結構（以GRL[5]爲例）
  • 特徵提取器：feature extraction & domain confusion
  • 分類器：object classification
  • 域差異度量器：domain discrepancy measure

• 常用深度域適應loss function
  • 目標分類： CrossEntropy Loss
    
  • 域適應（distribution discrepancy measure）
    • MMD：Maximum Mean Discrepancy
      
    • DAA：Domain Adversarial Adaptation
      
• 常用深度域適應方法
  • 領域分佈差異度量常用的方法有MMD和Jensen–Shannon距離。通過拉近分佈差異，來學習到域不變特徵（domain invariant）；
  • MMD-based：1）將特徵映射到一個有意義的空間；2）在該空間中拉近分佈距離；
  • DAA-based：1）domain classification；2）domain confusion。
• MMD-based（以RTN爲例）
  • 將特徵映射到一個有意義空間
  • 在該空間中拉近分佈距離，使抽取到域不變（domain invariant）特徵

• DAA-based（以ADDA[6]爲例）
  • domain discrimination：區分源域和目標域
  • domain confusion：confuse源域和目標域，使抽取到域不變（domain invariant）特徵
    

總結

這個是我2017年年尾總結的一份PPT，舉的例子都是2017年前的方法，相對陳舊，但是概念性的東西依然可以參考。

UDA的發展先是用MMD提取域不變特徵，之後是神經網絡和MMD結合，之後神經網絡和對抗學習結合，總而言之都是在拉近兩個域的距離。現在18和19年爲了更細緻的拉近，用僞標籤或者條件GAN按類別拉近已經成爲了主流。

參考

【1】M. Long, H. Zhu, J. Wang, and M. I. Jordan. Unsupervised domain adaptation with residual transfer networks. In
NeurIPS, pages 136–144, 2016.
【2】M. Long, J. Wang, and M. I. Jordan. Deep transfer learning with joint adaptation networks. ICML, pages 2208–2217, 2017.
【3】S. J. Pan, I. W. Tsang, J. T. Kwok, and Q. Yang. Domain adaptation via transfer component analysis. IEEE Transactions on Neural Networks, 22(2):199–210, 2011.
【4】Z. Pei, Z. Cao, M. Long, and J. Wang. Multi-adversarial domain adaptation. In AAAI, 2018.
【5】 Y. Ganin, E. Ustinova, H. Ajakan, P. Germain, H. Larochelle, F. Laviolette, M. Marchand, and V. Lempitsky. Domainadversarial training of neural networks. JMLR, 17(1):2096–2030, 2016.
【6】E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell. Adversarial discriminative domain adaptation. In CVPR, pages 7167–
7176, 2017