Generalizing to Unseen Domains via Adversarial Data Augmentation

“Generalizing to Unseen Domains via Adversarial Data Augmentation” 論文翻譯 簡介


純手打,相互學習,如有問題還望指正。
部分英文術語屬於最新提出,會直接貼出英文,抱歉。
深度學習,文本分析等問題可以加QQ交流,相互學習。QQ:1307629084

論文歸類:遷移學習
簡要說明:本文是斯坦福大學發表於NIPS 2018的工作,論文研究的問題是比域自適應(Domain Adaptation)更前沿的一個方向——Domain Generalization。在遷移學習領域,數據主要分爲源域和目標域,源域的數據和標籤是可獲得的,而目標域的數據標籤獲得成本高,現有的一些遷移學習方法主要是在做源域和目標域的數據特徵分佈的對齊對源域用監督訓練,而對於目標域任務應用無監督學習。但對於有些目標任務,目標領域的數據可能非常缺失或者獲得成本非常高,以至於只有很少的目標域數據,甚至沒有目標域數據。
爲了應對這種目標領域數據缺失或收集成本高的挑戰,作者提出了用於Domain Generalization(領域泛化?)的對抗增強遷移方法。該方法的大致思路介紹如下:這是一種無監督的對抗數據增強遷移學習方法,在該方法中,作者利用了樣本級和特徵級的表徵,以及語義損失和循環一致性,使得模型在樣本層面和特徵層面都能進行適應,在利用任務損失的同時能保持循環一致性,而且無需對齊的配對。

原文鏈接: link.
相關源碼: link.
本篇論文作者:Riccardo Volpi, Hongseok Namkoong, Ozan Sener, John Duchi, Vittorio Murino, Silvio Savarese
論文發表時間:2018.11.6

論文題目:通過對抗數據增強泛化到未知域

簡介

我們提到了一個能更好地對 不同的\emph{unseen}域進行泛化的學習模型。
我們考慮了一個最壞情況公式是關於:特徵空間中靠近源領域的數據分佈。
僅對使用來自於訓練數據中的單個源分佈,我們提出了一個迭代過程,該過程使用來自當前模型下“硬”的虛構目標域的示例來擴充數據集。
我們證明了我們的迭代方案是一種自適應數據增強方法,我們在每次迭代時附加對抗性示例。
對於softmax損失,我們表明我們的方法是一種數據依賴的正則化方案,其行爲不同於規則化爲零的經典正則化器(e.g., ridge or lasso)。
在數字識別和語義分割任務上,我們的方法學習模型可以提高一系列先驗未知目標域的性能。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章