一、綜述
最近由於交流的需要，讀了幾篇關於Domain adaptation的文章，其中一種名叫Domain generalization的技術引起了我的注意，這種技術可以在target domain未知的情況下訓練出分類器而且性能還相當不錯，下面就對這種技術進行一下簡單的介紹。
二、遷移學習
提到Domain adaptation，就不得不提到遷移學習（transfer learning），按照我的理解，Domain adaptation算是遷移學習中的一種特殊算法，在介紹Domain adaptation之前，先對遷移學習進行簡單的介紹。
遷移學習出現的背景如下：在一些新興領域很難得到我們需要的大量的訓練數據，另外，傳統的機器學習需要對每個領域都標定大量訓練數據，這將會耗費大量的人力與物力。而遷移學習的目標是將從一個環境中學到的知識用來幫助新環境中的學習任務。因此，相對於傳統的機器學習假設訓練數據與測試數據服從相同的數據分佈，遷移學習不會像傳統機器學習那樣作同分布假設。
遷移學習是指一個學習算法可以利用不同學習任務之間的共性來共享統計的優點和在任務間遷移知識。傳統的機器學習假設訓練數據與測試數據服從相同的數據分佈。如果我們有了大量的、在不同分佈下的訓練數據，完全丟棄這些數據也是非常浪費的。如何合理的利用這些數據就是遷移學習主要解決的問題。遷移學習可以從現有的數據中遷移知識，用來幫助將來的學習。
三、Domain adaptation
Domain adaptation中文名稱是域自適應學習，可以有效處理訓練數據與測試數據具有不同分佈的問題。拿經典的垃圾郵件分類問題來說，分類器是在某個用戶的郵箱數據上訓練完成的，再將分類器用到另一個與訓練用戶郵箱中的郵件內容很大程度上不相關的另一個用戶的郵件上面，就可以用域自適應學習來解決。再介紹Domain adaptation中的兩個概念：source domain 和 target domain；中文名稱是源域和目標域，分別對應於普通機器學習任務的訓練集和測試集。下面引用自動化學報《域自適應學習研究進展》這篇文章對域自適應學習的描述：
域自適應學習能夠有效地解決訓練樣本和測試樣本概率分佈不一致的學習問題, 作爲機器學習新出現的研究領域在近幾年受到了廣泛的關注。傳統的機器學習算法中, 通常假設訓練樣本和測試樣本來自同一概率分佈, 然後設計相應的模型和判別準則對待測試的樣例的輸出進行預測.。但是實際上當前很多學習場景下訓練樣本的概率分佈和測試樣本的概率分佈是不同的, 例如如何根據老用戶的郵件信息設計一種面向新用戶的垃圾郵件過濾系統、自然語言處理方面的情感分析、依存句法分析、跨語言處理等都屬於域自適應學習問題.。如何在這種源域和目標域概率分佈不一致的情況下進行學習即爲域自適應學習問題。 因此, 域自適應學習的重點在於如何克服源域分佈和目標域分佈不同, 實現目標域上的學習任務。
四、Domain generalization
終於進入到我們的正題 domain generalization了，domain generalization是domain adaptation中的一種特殊的技術，其目的是基於domain adaptation技術學習對於任何不可見的target domain的具有很強魯棒性的分類器。所謂不可見的target domain是指在分類器的訓練過程中，我們並不知道target domain的任何情況。與傳統的機器學習方法不同，由於目標域和源域是具有不同的概率分佈的，如果在訓練過程中我們無法獲得目標域的任何信息就代表着訓練出的分類器可能無法在目標域上取得良好的表現，而在現實應用中，目標域往往是不可知的，在這種背景下domain generalization應運而生。
從其目的上看，這項技術有兩個主要的難點：1.目標域不可見 2.要對任何目標域都起作用。按照我個人的理解，第二項難點中的“任何”二字應該還是有侷限的，比如說源域爲圖像分類任務，目標域應該也和圖像分類有關而不能是自然語言理解之類的任務，所以在這裏的“任何”並不是廣義上的任何。在這個層面上來講，我們剩下的難點就可以融合成一個，即目標域不可知。
目前成熟的domain generalization方法基本可以分爲三類，分別是：
1.feature-based method [1,2,3,4,5]
2.classifier-based method [6,7,8,9,10]
3.instance-reweighting method
在第一類方法中，主要通過設計跨域不變特徵來實現domain generalization；第二類方法往往是針對每個數據集也就是源域中的每一個子域對子分類器進行設計，然後將子分類器結合成一個融合分類器來實現domain generalization；最後一類方法我不是很瞭解，有想深入瞭解的讀者可以讀一下《Correcting sample selection bias by unlabeled data》這篇文章。
五、參考資料
[1] Unsupervised domain adaptation by domain invariant projection
[2] Unsupervised visual domain adaptation using subspace alignment
[3] Geodesic flow kernel for unsupervised domain adaptation
[4] Domain adaptation for object recognition: An unsupervised approach
[5] What you saw is not what you get: Domain adaptation using asymmetric kernel transforms
[6] Domain adaptation problems: A DASVM classification technique and a circular validation strategy
[7] Domain adaptation from multiple sources: A domain-dependent regularization approach
[8] Domain transfer multiple kernel learning
[9] Multi-view Domain Generalization for Visual Recognition
[10] Visual Recognition by Learning from Web Data: A Weakly Supervised Domain Generalization Approach
