[1]A Survey on Transfer Learning:CUHK的楊強教授於2010年發表在IEEE的Transactions on knowledge and data engineering上關於遷移學習的綜述性論文。
在許多機器學習和數據挖掘算法中，一個主要的假設是訓練和未來的數據必須在相同的特徵空間中，並且具有相同的分佈。然而，在許多實際應用程序中，這種假設可能不成立。例如，我們有時在一個感興趣的領域中有一個分類任務，但是在另一個感興趣的領域中我們只有足夠的訓練數據，在另一個領域中，後者可能位於不同的特徵空間或遵循不同的數據分佈。
在這種情況下，如果成功地進行知識遷移，就可以避免昂貴的數據標記工作，從而大大提高學習性能。近年來，遷移學習作爲一種新的學習框架應運而生。本研究的重點是分類和回顧目前遷移學習在分類、迴歸和聚類問題上的進展。在本研究中，我們討論了遷移學習與其他相關機器學習技術的關係，如領域適應domain adaptation、多任務學習multitask learning、樣本選擇偏差sample selection bias以及co-variate shift。同時，我們也探討了遷移學習研究中一些潛在的未來問題。
[2]Domain Adaptation via Transfer Component Analysis:CUHK的楊強教授於2011年發表在AAAI的提出的應用在Domain Adaption上的TCA。
領域自適應Domain Adaptation通過利用不同但相關的源領域中的訓練數據來解決目標領域中的學習問題。直觀地說，發現一個好的特徵表示是至關重要的。在本文中，我們提出了一種新的學習方法，遷移成分分析Transfer Component Analysis(TCA)來尋找這種表示形式，用於Domain Adaptation。
TCA嘗試使用最大平均偏差Maximum Mean Discrepancy(MMD)學習在一個可複製核希爾伯特空間Reproducing Kernel Hilbert Space(RKHS)中跨域的Transfer Component。在這些傳輸分量所張成的子空間中，不同區域的數據分佈比較接近。因此，利用該子空間中的新表示，我們可以應用標準的機器學習方法來訓練源域中的分類器或迴歸模型，以便在目標域中使用。研究的主要貢獻是提出了一種新的特徵表示方法，該方法利用特徵提取方法，通過新的參數核進行域自適應，將數據投影到所學習的Transfer Component上，極大地減小了域分佈之間的距離。此外，我們的方法可以處理大型數據集，並自然地導致樣本外泛化。通過跨域室內WiFi定位和跨域文本分類兩個實際應用的實驗，驗證了該方法的有效性和有效性。
[3]Transfer Feature Learning with Joint Distribution Adaptation：JDA方法首次發表於2013年的ICCV，它的作者是清華大學的博士生（現爲清華大學助理教授）龍明盛。本篇介紹的JDA相當於TCA的增強算法。前作：Domain Adaptation via Transfer Component Analysis。
遷移學習是一種有效的計算機視覺技術，它利用源域中豐富的標記數據爲目標域構建精確的分類器。然而，以往的方法並沒有同時減小域間的邊界分佈和條件分佈的差異。在本文中，我們提出了一種新的遷移學習方法，稱爲Joint Distribution Adaptation聯合分佈適配(JDA)。具體地說，JDA的目標是在一個有原則的降維過程中，聯合適配jointly adapt邊緣分佈和條件分佈，並構造新的特徵表示，對於較大的分佈差異，該特徵表示是有效和魯棒的。大量的實驗證明，JDA在四種類型的跨域圖像分類問題上可以顯著優於幾種最先進的方法。
[4]How transferable are features in deep neural networks?：發表於NIPS 2014，本篇論文的作者是Jason Yosinski博士（當時是康奈爾大學的博士生），Uber AI聯合創始人。同時三作是Yoshua Bengio，也是剛剛獲得了圖靈獎。
許多以自然圖像爲訓練對象的深度神經網絡都表現出一個奇怪的共同現象：在第一層，它們學習到類似Gabor過濾器和色塊的特徵。這些第一層特性似乎不是特定於特定的數據集或任務，而是通用的，因爲它們適用於許多數據集和任務。特性最終必須由網絡的最後一層從一般特性過渡到特定特性，但是這種過渡還沒有得到廣泛的研究。本文對深卷積神經網絡各層神經元的通用性和特異性進行了實驗量化，得到了一些令人驚訝的結果。可遷移性受到兩個不同問題的負面影響：
較高層次神經元對其原始任務的專門化，以犧牲目標任務的性能爲代價，這是預期的；
與共適應神經元之間的網絡分裂相關的優化困難，這是預期不到的。在一個基於ImageNet的示例網絡中，我們演示了這兩個問題中的一個可能占主導地位，這取決於特性是從網絡的底部、中部還是頂部傳輸的。
我們還記錄了隨着基本任務和目標任務之間距離的增加，特徵的可移植性降低，但是即使是從遙遠的任務遷移特徵也比使用隨機特徵要好。最後一個令人驚訝的結果是，初始化一個具有幾乎任意層傳輸的特性的網絡可以提高泛化能力，即使在對目標數據集進行微調之後，泛化仍然存在。
[5]Domain Adaptive Neural Networks for Object Recognition：PRICAI 2014的DaNN（Domain Adaptive Neural Network）。
提出了一種簡單的神經網絡模型來處理目標識別中的Domain Adaptive問題。我們的模型將Maximum Mean Discrepancy(MMD)作爲正則化方法引入監督學習中，以減少潛在空間中源域和目標域的分佈不匹配。從實驗中，我們證明MMD正則化是一種有效的工具同時在SURF選取特徵和原始圖像像素的一個特定的圖像數據集上，來提供良好的領域適應模型。我們還表明，提出的模型中，之前denoising auto-encoder預訓練，達到更好的性能比最近的基準模型在相同的數據集。這項工作代表了在神經網絡背景下對MMD測量的首次研究。
[6]Deep domain confusion: Maximizing for domain invariance：來自來自加州大學伯克利分校的Eric Tzeng等人發表在arXiv 2014的DDC（Deep Domain Confusion）。DDC針對預訓練的AlexNet（8層）網絡，在第7層（也就是feature層，softmax的上一層）加入了MMD距離來減小source和target之間的差異。這個方法簡稱爲DDC。
最近的報告表明，在大規模數據集上訓練的通用監督深度CNN模型減少了(但沒有消除)標準benchmark上的數據集bias。在一個新的領域中對深度模型進行微調可能需要大量的數據，而對於許多應用來說，這些數據是不可用的。我們提出一種新的CNN架構，它引入了一個適應層和一個額外的domain confusion損失，以學習一個語義上有意義和域不變的表示。此外，我們還展示了一個domain confusion度量可以用於模型選擇，以確定自適應層的維數和該層在CNN體系結構中的最佳位置。我們提出的適應方法提供了經驗的表現，這超過了以前發表的標準benchmark視覺領域適應任務的結果。
[7]Learning Transferable Features with Deep Adaptation Networks：清華大學助理教授Mingsheng Long (龍明盛)發表在國際機器學習頂級會議JMLR 2015上的深度適配網絡(Deep Adaptation Network, DAN)。前作DDC：Deep domain confusion: Maximizing for domain invariance。
最近的研究表明，深度神經網絡可以學習可轉移的特徵，這些特徵可以很好地推廣到新的領域適應任務。然而，隨着深度特徵在網絡中最終由一般特徵向特定特徵過渡，隨着domain差異的增大，深度特徵在更高層次上的可移植性顯著下降。因此，形式化地減少數據集偏差，增強任務特定層的可移植性是非常重要的。
本文提出了一種新的深度自適應網絡(DAN)結構，將深度卷積神經網絡推廣到領域自適應場景。在DAN中，所有特定於任務的層的隱藏表示都嵌入到一個可複製的內核Hilbert空間中，在這個空間中可以顯式匹配不同域分佈的平均嵌入。採用均值嵌入匹配的多核優化選擇方法，進一步減小了domain間的差異。DAN可以在有統計保證的情況下學習可轉移的特性，並且可以通過核嵌入的無偏估計進行線性擴展。大量的經驗證據表明，該架構在標準域適應基準上產生了最先進的圖像分類錯誤率。
[8]Geodesic flow kernel for unsupervised domain adaptation：2012年發表在CVPR，GFK作爲子空間變換方面是最爲經典的遷移學習方法，它建立在2011年發表在ICCV上的另一篇開創性質的文章（SGF）。
在視覺識別的實際應用中，許多因素，如姿態、光照或圖像質量，都可能導致訓練分類器的源域與應用分類器的目標域之間的嚴重不匹配。因此，分類器在目標域中的性能通常很差。Domain Adaption技術旨在糾正這種不匹配。現有的方法側重於學習跨域不變的特性表示，它們通常不直接利用許多視覺數據集固有的低維結構。
在本文中，我們提出了一種新的基於核的方法來利用這種結構。我們的測地線流內核Geodesic flow kernel通過集成無窮多個子空間來模擬域的移動，這些子空間描述了從源到目標域的幾何和統計特性的變化。我們的方法在計算上是有利的，自動推斷重要的算法參數，而不需要廣泛的交叉驗證或來自任何領域的標記數據。我們還引入了一個可靠的度量方法來度量一對源域和目標域之間的適應性。對於給定的目標域和多個源域，可以使用該度量自動選擇最優的源域，以適應和避免不太理想的源域。對標準數據集的實證研究表明，我們的方法優於競爭的方法。
[9]Conditional Adversarial Domain Adaptation：清華大學助理教授Mingsheng Long (龍明盛)發表在國際機器學習頂級會議Neural2018上提出的新的Domain Adaptation的條件對抗網絡。
對抗性學習已被嵌入到深層網絡中，用於學習解糾纏和可轉移的領域適應表示。在分類問題中，現有的對抗性域自適應方法可能無法有效地對齊多模態分佈的不同域。在本文中，我們提出了一個條件對抗性域適應的原則框架，該框架對分類器預測中所傳遞的判別信息建立了對抗性適應模型。條件域對抗性網絡(CDANs)採用了兩種新的條件調節策略：多線性條件調節和熵條件調節。前者通過捕獲特徵表示與分類器預測之間的交叉方差來提高分類器的識別率，後者通過控制分類器預測的不確定性來保證分類器的可移植性。有了理論保證和幾行代碼，這種方法在5個數據集上已經超過了最先進的結果。
[10]Transfer Learning via Learning to Transfer：最近有一篇叫做《Learning To Transfer》的文章火了，被ICML 2018接收。後來一篇《Transfer Learning via Learning to Transfer》被PMLR2018接受。
在遷移學習中，要解決的兩個主要問題是什麼和如何遷移，因爲在源域和目標域之間應用不同的遷移學習算法會導致不同的知識遷移，從而提高目標域的性能。確定最大限度地提高性能的最佳方案需要進行徹底的探索或大量的專業知識。同時，教育心理學普遍認爲，人類通過對歸納遷移學習實踐的元認知反思，提高了決定遷移內容的遷移學習技能。
基於此，我們提出了一種新的遷移學習框架，即學習遷移(learning to transfer, L2T)，通過利用以前的遷移學習經驗，自動確定什麼遷移是最好的，以及如何遷移。我們建立了L2T框架，分兩個階段進行:
通過從經驗中加密遷移學習技巧，學習一個反射函數，；
通過對反射函數的優化，推導出未來一對域的最佳傳輸方式和最佳傳輸方式。從理論上分析了L2T算法的穩定性和推廣界，並通過實驗證明了其相對於幾種最先進的遷移學習算法的優越性。
[11]Open Set Domain Adaptation：本專欄專門講Domain Adaptation的第一篇論文。這篇文章是接受於ICCV 2017，文章的setting是特別新穎的，獲得了ICCV Marr Prize 提名。所以很值得一看。
當訓練和測試數據屬於不同的領域時，對象分類器的精度會顯著降低。因此，爲了減少數據集之間的域轉移，近年來提出了幾種算法。然而，所有可用的域適應評估協議都描述了一個封閉的集合識別任務，其中兩個域，即源和目標，都包含完全相同的對象類。在這項工作中，我們還探索了開放集中的域適應領域，這是一個更現實的場景，其中源數據和目標數據之間只共享幾個感興趣的類別。因此，我們提出了一種同時適用於閉集和開集場景的方法。該方法通過聯合解決一個賦值問題來學習從源到目標域的映射，該問題爲那些可能屬於源數據集中出現的感興趣類別的目標實例貼上標籤。全面的評估表明，我們的方法優於最先進的。
[12]Partial Transfer Learning with Selective Adversarial Networks：清華大學助理教授Mingsheng Long (龍明盛)發表在國際機器學習頂級會議CVPR2018。
對抗性學習已經成功地嵌入到深度網絡中，以學習可遷移的特徵，從而減少源域和目標域之間的分佈差異。現有的域對抗網絡假設跨域完全共享標籤空間。在大數據的存在下，將分類和表示模型從現有的大規模域遷移到未知的小規模域具有很強的動力。引入部分遷移學習，將共享標籤空間的假設鬆弛爲目標標籤空間僅是源標籤空間的一個子空間。以往的方法一般都是將整個源域與目標域匹配，對於局部遷移問題，容易產生負遷移。我們提出了選擇性對抗性網絡Selective Adversarial Networks(SAN)，它通過選擇離羣源類來避免負遷移，通過最大程度匹配共享標籤空間中的數據分佈來促進正遷移。實驗表明，我們的模型在多個基準數據集上的局部遷移學習任務的性能優於最先進的結果。
[13]Importance Weighted Adversarial Nets for Partial Domain Adaptation：計算機視覺頂會CVPR 2018接收：《Importance Weighted Adversarial Nets for Partial Domain Adaptation》。文章作者團隊來自澳大利亞臥龍崗大(University of Wollongong)
本文提出了一種基於權重加權對抗網絡的無監督域自適應方法，特別適用於目標域類數少於源域的局部域自適應。以往的領域自適應方法一般採用相同的標籤空間，從而減小了分佈的差異，實現了可行的知識遷移。然而，在更現實的場景中，這種假設不再有效，該場景需要從更大、更多樣化的源域適應到更小、類數更少的目標域。本文擴展了基於對抗性網絡的域自適應方法，提出了一種新的基於對抗性網絡的局部域自適應方法來識別可能來自異常類的源樣本，同時減少了域間共享類的遷移。
[14]DANN：Unsupervised Domain Adaptation by Backpropagation：發表在ICML15上。論文提出了用對抗的思想進行domain adaptation，該方法名叫DANN(或RevGrad)。核心的問題是同時學習分類器 、特徵提取器 以及領域判別器 。通過最小化分類器誤差，最大化判別器誤差，使得學習到的特徵表達具有跨領域不變性。
高性能的深層體系結構是針對大量標記數據進行訓練的。在缺少特定任務的標記數據的情況下，域自適應通常提供了一個有吸引力的選項，因爲具有類似性質但來自不同域的標記數據(例如合成圖像)是可用的。在此，我們提出了一種在深層體系結構中進行域自適應的新方法，該方法可以訓練來自源域的大量標記數據和來自目標域的大量未標記數據(不需要標記的target domain數據)。
隨着訓練的進行，該方法促進了
- 對源域上的主要學習任務具有鑑別性的深層特徵的出現
- 關於域之間的遷移具有不變性
我們證明，這種自適應行爲幾乎可以在任何前饋模型中實現，通過增加幾個標準層和一個簡單的新的梯度逆轉層。生成的增強體系結構可以使用標準的反向傳播進行訓練。
總的來說，使用任何深度學習包都可以輕鬆地實現該方法。該方法在一系列的圖像分類實驗中取得了良好的效果，在存在較大的域遷移的情況下，取得了較好的自適應效果，在Office數據集上的性能優於以往的先進方法。
[15]Domain Adaptation for Large-Scale Sentiment Classification: A Deep Learning Approach：由Yoshua Bengio領導完成發表在ICML2011上，引用量超1000+的論文，算是domain adaptation發表較早的論文。
在線評論online reviews和推薦recommendations的指數增長使得情感分類成爲學術和工業研究中一個有趣的話題。評審可以跨越許多不同的領域，因此很難爲所有這些領域收集帶註釋的訓練數據。因此，本文研究了情緒分類器的域適配問題，在此基礎上，設計了一個基於一個源域的帶標記評論訓練系統，並將其應用於另一個源域。我們提出了一種深度學習方法，該方法學習以一種無監督的方式爲每個評審提取有意義的表示。在一個由4種亞馬遜產品評論組成的基準測試中，使用這種高級特徵表示訓練的情感分類器明顯優於最先進的方法。此外，該方法具有良好的可擴展性，使我們能夠在22個域的更大的工業強度數據集上成功地進行域適應。
[16]Domain Adaptation for Object Recognition: An Unsupervised Approach：由馬里蘭大學帕克分校完成發表在ICCV2011上，引用量超600+的論文，算是domain adaptation發表較早的論文。
將訓練在源域上的分類器用於識別來自新目標域的實例是最近受到關注的一個重要問題。在本文中，我們提出了在對象識別上下文中關於無監督域適應的首批研究之一，其中我們只標記了來自源域的數據(因此沒有跨域的對象類別之間的對應關係)。出於增量學習,我們創建中介表示兩個域之間的數據通過查看生成子空間維度(相同的)從這些領域創建點Grassmann歧管,沿着測地線和採樣點之間獲取子空間,提供一個有意義的描述底層域的轉變。然後我們得到標記源域數據在這些子空間上的投影，從中學習一個判別分類器對目標域上的投影數據進行分類。我們討論了我們的方法的擴展，用於半監督自適應，以及用於多個源和目標域的情況，並在標準數據集上報告競爭結果。
[17]Deep CORAL: Correlation Alignment for Deep Domain Adaptation
深度神經網絡能夠從大量標記的輸入數據中學習強大的表示，但是它們不能很好地概括輸入分佈的變化。提出了一種域自適應算法來補償由於域移動而導致的性能下降。在本文中，我們解決了目標域未標記的情況，需要無監督的自適應。CORAL[1]是一種非常簡單的無監督域自適應方法，它用線性變換對源和目標分佈的二階統計量進行對齊。在這裏，我們將CORAL擴展到學習一個非線性轉換，該轉換將深層神經網絡(deep CORAL)中的層激活關聯對齊。在標準基準數據集上的實驗顯示了最先進的性能。
[18]Simultaneous Deep Transfer Across Domains and Tasks：由Eric Tzeng, Judy Hoffman等完成發表在ICCV2016上，引用量高達400+，也算是遷移學習領域相當高引的一篇好文章。
最近的報告表明，一個訓練在大規模數據集上的通用監督深度CNN模型減少了數據集bias，但沒有完全消除。在一個新領域中對深度模型進行微調可能需要大量的標記數據，這對於許多應用程序來說根本不可用。我們提出一種新的CNN架構來利用未標記和稀疏標記的目標域數據。我們的方法同時對域不變性進行優化，以方便域遷移，並使用軟標籤分佈匹配soft label distribution matching損失在任務之間傳遞信息。我們提出的適應方法提供了經驗性能，超過了之前發表的兩個標準基準視覺領域適應任務的結果，評估跨監督和半監督適應設置。
[19]Domain-Adversarial Training of Neural Networks
提出了一種新的領域適應表示學習方法，即訓練和測試時的數據來自相似但不同的分佈。我們的方法直接受到域適應理論的啓發，該理論認爲，要實現有效的域轉移，必須基於不能區分訓練(源)域和測試(目標)域的特徵進行預測。
該方法在神經網絡體系結構的上下文中實現了這一思想，神經網絡體系結構的訓練對象是源域的標記數據和目標域的未標記數據(不需要標記目標域數據)。隨着培訓的進展，該方法促進了(i)對源領域的主要學習任務具有任意的特徵的出現，(ii)對域之間的轉換具有不加區別的特徵。
我們證明，這種自適應行爲幾乎可以在任何前饋模型中實現，通過增加幾個標準層和一個新的梯度反轉層。生成的增強架構可以使用標準的反向傳播和隨機梯度下降進行訓練，因此可以使用任何深度學習包輕鬆實現。我們證明了我們的方法成功地解決了兩個不同的分類問題(文檔情感分析和圖像分類)，其中在標準基準上實現了最先進的領域適應性能。我們還驗證了描述符學習任務在人員再識別應用中的方法。