“Generalizing to Unseen Domains via Adversarial Data Augmentation” 論文翻譯 正文
純手打，相互學習，如有問題還望指正。
部分英文術語屬於最新提出，會直接貼出英文，抱歉。
深度學習，文本分析等問題可以加QQ交流，相互學習。有好的論文也可推薦：QQ：1307629084
留學黨有時差，回覆不及時還請見諒。
論文歸類：遷移學習
原文鏈接： link.
相關源碼： link.
本篇論文作者：Riccardo Volpi, Hongseok Namkoong, Ozan Sener, John Duchi, Vittorio Murino, Silvio Savarese
論文發表時間：2018.11.6
論文題目：通過對抗數據增強泛化到未知域
1 .導入
在許多機器學習的現代應用中，我們希望學習一種能夠在多個人羣中均勻表現的系統。但由於數據採集成本高，所以數據集中的人口來源通常有限。在對數據集進行驗證評估時表現良好的標準模型，通常從相同人羣中的訓練數據集中收集，所以一般對不同於訓練數據集的人羣表現不佳。在本文中，我們關注的是在我們無法訪問來自未知目標分佈的任何數據的環境中，對不同於訓練分佈的人羣進行推廣。例如，考慮一個自動駕駛汽車的模塊，需要在整個天氣條件和培訓期間未開發的城市環境中進行泛化。
許多作者在設置中提出了自適應領域的方法，其中可以獲得完全標記的源數據集和來自固定目標分佈的未標記（或部分標記）的一組示例數據集。雖然這樣的算法可以成功地學習在已知目標分佈上表現良好的模型，但是在實際場景中先驗固定目標分佈的假設可能是限制性的。例如，考慮機器人使用的語義分割算法：每個任務，機器人，環境和攝像機配置將產生不同的目標分佈，並且只有在訓練和部署模型之後才能識別這些不同的場景，這使得他們收集樣本變得困難。
在這項工作中，我們開發的方法可以更好地學習推廣到新的未知領域。我們考慮了限制性設置，其中訓練數據僅來自單個源領域。受到分佈式強大優化和對抗性訓練的最新發展的啓發，我們考慮圍繞源分佈（訓練）P0的以下最壞情況問題
（1）
這裏，
是模型，
是一個帶有標籤的源數據點，
是損失函數，D（P，Q）是概率分佈空間上的距離度量。
最壞情況問題的解決方案（1）保證了針對遠離源域P0的距離ρ的數據分佈的良好性能。 爲了允許對源P0具有不同支持的數據分佈，我們使用Wasserstein距離作爲我們的度量D。我們的距離將在語義空間3上定義，因此滿足D（P，P0）小於等於 ρ 的目標羣體P代表真實的協變量 保留源的相同語義表示的移位（例如，向灰度圖像添加顏色）。 在這方面，我們期望解決最壞情況問題（1） - 我們希望學習的模型在語義空間中的協變量變化中具有良好的性能。
我們提出了一個迭代過程，旨在解決問題（1）一次得到一個小的 ρ 值，並對模型 θ 進行關於這些虛構的最壞情況目標分佈的隨機梯度更新（第2節）。 我們方法的每次迭代都使用小的ρ 值，我們提供了許多方法的理論解釋。 首先，我們證明了我們的迭代算法是一種自適應數據增強方法，我們在當前模型中將對側擾動樣本添加到數據集（第3節）。 更準確地說，我們的對手生成的樣本大致對應於Tikhonov正則化Newton-steps 關於語義空間中的損失。 此外，我們表明，對於softmax損失，我們方法的每次迭代都可以被認爲是一種依賴於數據的正則化方案，其中我們向與真實標籤相對應的參數向量進行正則化，而不是像經典正則化器那樣向零正則化，例如ridge 或者lasso。
從實際的角度來看，應用最壞情況公式（1）的關鍵難點在於協變量偏移ρ的大小是先驗未知的。 我們提出學習一組對應於不同距離ρ的模型。 換句話說，我們的迭代方法生成一組數據集，每個數據集對應一個不同的數據集間距離水平ρ，我們爲每個數據集學習一個模型。 在測試時，我們使用啓發式方法從集合中選擇合適的模型。
我們在簡單的數字識別任務上測試我們的方法，並在不同的季節和天氣條件下測試更現實的語義分割任務。 在這兩種設置中，我們觀察到我們的方法允許學習能夠改善與原始源域具有不同距離的先驗未知目標分佈的性能的模型。
相關工作
關於對抗性訓練的文獻[10,34,20,12]與我們的工作密切相關，因爲主要目標是設計訓練程序，學習對輸入波動具有魯棒性的模型。與對抗性訓練中考慮的難以察覺的攻擊不同，我們的目標是學習抵抗較大擾動的模型，即分佈式樣本。 Sinha等。 [34]提出了一種原則性的對抗性訓練程序，其中生成最大化某些風險的新圖像，並且針對那些對抗性圖像優化模型參數。設計用於防禦難以察覺的對抗性攻擊，新的圖像是在損失的情況下學習的，這種損失會懲罰原始圖像和新圖像之間的差異。在這項工作中，我們依賴於類似於Sinha等人提出的極小極大遊戲。 在[34]中，是我們在語義空間中強加了約束，以便允許來自虛擬分佈的對抗樣本在像素級別上不同，同時共享相同的語義。
關於領域適應的大量工作[15,3,32,9,39,36,26,40]旨在更好地推廣到在訓練時標識未知的先驗固定目標領域。這種設置與我們的不同之處在於這些算法需要在訓練期間從目標分佈訪問樣本。領域概括方法[28,22,27,33,24]提出了更好地推廣到未知領域的不同方法，這也與我們的工作有關。這些算法要求從不同的域中提取訓練樣本（同時在訓練期間可以訪問域標籤），而不是單個源，這是我們的方法沒有的限制。從這個意義上講，人們可以將我們的問題設置解釋爲無監督域概括。託賓等人。 [37]提出了域隨機化，它適用於模擬數據並使用模擬器創建各種隨機渲染，希望現實世界將被解釋爲其中之一。我們的目標是相同的，因爲我們的目標是獲得更類似於現實世界的數據分佈，但我們通過實際學習新數據點來實現它，從而使我們的方法適用於任何數據源而無需模擬器。
Hendrycks和Gimpel [13]認爲，檢測測試樣本是否超出給定模型的分佈的一種好的經驗方法是評估softmax輸出的統計數據。我們在我們的設置中調整這個想法，學習用我們的方法訓練的模型的集合，並在測試時選擇具有最大最大softmax值的模型。
2.模型方法
3.理論思想
4.實驗
5.結論
更新中。。。