2020-06-22 02:19:23
本文介紹的是ICML2020論文《Few-Shot Learning as Domain Adaptation: Algorithm and Analysis》，論文作者來自中國人民大學盧志武老師組。
作者 | 管界超
編輯 | 叢 末
論文地址：
https://arxiv.org/pdf/2002.02050.pdf
代碼地址：
https://github.com/JiechaoGuan/FSL-DAPNA
1
前言
爲了利用少量標註樣本實現對未見類圖片的識別，小樣本學習希望從可見類圖片中學習先驗知識。小樣本學習的難點是未見類別的數據分佈與可見類別的不同，從而導致在可見類上訓練好的模型無法較好地遷移到未見類別領域。這種由於類別不同導致的數據分佈差異可以看作是一種特殊的領域遷移問題。
在這篇論文中，我們提出了一種基於注意力機制的領域遷移原型網絡 (DAPNA)，去解決在元學習框架下的領域遷移問題。具體來說是在訓練過程中，我們將可見類的一個紀元 (episode，訓練單位)分拆成兩個類別完全不重合的子紀元（sub-episode)，用以模擬從可見類到未見類的領域遷移。在假定所有紀元都採樣於同一個分佈的情況下，我們在理論上給出了該模型的期望損失上界，我們也根據該期望損失上界進行損失函數的設計與模型的優化。諸多實驗表明，我們所提出的DAPNA模型能比已有小樣本學習模型取得更好的效果。
2
介紹
小樣本學習（Few-ShotLearning）可以看作是從可見類圖片到未見類圖片的遷移學習。每一個可見類包含大量訓練樣本，而每一未見類僅僅包含極少量的標註樣本。未見類提供的訓練樣本稀少，以及可見類與未見類之間的數據分佈不同，是小樣本學習面臨的主要問題。
針對未見類樣本少這一特點，我們一般採用元學習方法（meta learning）來解決。即在訓練過程中，在可見類上構造出多個訓練任務（task/episode），用以模擬未見類上可能出現的新任務的環境。通過在可見類上多個任務當中的訓練，元學習方法希望訓練得到的模型能夠快速遷移到未見類上新的任務去。但小樣本學習中可見類與不可見類之間數據分佈不同這一問題，目前還沒有模型進行有效解決。
我們所提出的模型旨在元學習訓練過程中，在每一個可見類任務中模擬領域遷移的過程，以增強模型跨領域的能力，解決小樣本學習中的領域遷移問題。具體來說，我們將可見類的一個紀元 (episode)分拆成兩個類別完全不重合的子紀元(sub-episode)，一個子紀元作爲源領域（source domain），另一個子紀元作爲目標領域（target domain），用兩個子紀元之間的領域遷移來模擬從可見類到未見類的領域遷移。我們採用領域遷移研究中的間隔差異（Margin Discrepancy Disparity， MDD）指標來度量兩個子紀元之間的領域差異（domain gap），並希望通過減小兩個子紀元之間的間隔差異（MDD）來增強模型的跨領域能力。
需要強調的是，爲了與之前的小樣本學習方法進行公平比較，我們在訓練過程當中沒有用到任何未見類的數據，僅僅是用可見類的數據進行領域遷移的模擬和模型的訓練。
這篇論文的貢獻主要有三點：
（1）首次將領域遷移技術引入到小樣本學習中，用以增強小樣本學習模型的跨領域能力。
（2）在假定所有任務採自同一分佈時，我們推導出了小樣本學習模型的泛化誤差上界，爲小樣本學習提供了理論保證。
（3）我們所提出的DAPNA模型在小樣本學習領域的諸多標準數據集上取得了新的state-of-the-art 效果。
3
模型方法
我們的模型主要由兩大子模塊構成：小樣本學習模塊和領域遷移模塊。流程圖中的AutoEncoder是兩個簡單的線性層，爲了讓圖片特徵的領域歸屬更模糊，在這裏不做詳細介紹。
1、小樣本學習模塊
（1）基本模型爲原型網絡（ProtoNet）。我們選擇了最具有代表性的小樣本學習模型原型網絡作爲我們的基礎網絡。在訓練過程中，每一個任務包含支持集（support set）與查詢集（query set）。原型網絡用支持集中的給定樣本計算每一個可見類的類中心（prototype），再計算出查詢集中每個可見類樣本到每個類中心的距離，將距離轉換爲分數後計算損失函數進行誤差反傳。
（2）引入注意力機制增強圖片特徵的表達能力。此外，我們還引入了注意力機制，在每個給定訓練任務中，將所有圖片特徵輸入到注意力機制網絡中得到新的圖片特徵（用以作爲原型網絡的輸入），從而增強圖片特徵在該任務中的表達能力和適應性。
（3）在兩個子紀元中同樣應用原型網絡方法進行學習。計算損失函數並反傳。
2、領域遷移模塊
我們用間隔差異（MDD）來衡量兩個子紀元之間的領域差，並通過減小兩個子紀元之間的領域差來增強模型的跨領域能力。間隔差異定義如下：
最終的領域遷移損失函數由間隔損失函數（Margin loss）和間隔差異（MDD）構成：
領域遷移的損失函數形式是由以下領域遷移定理給出的：
我們最終的Domain Adaptation ProtoNet with Attention （DAPNA）模型的損失函數如下：
我們還給出了關於小樣本學習的泛化誤差和本文模型DAPNA的泛化誤差。並且注意到，當我們將上式總損失函數中的超參數
與
都設置爲1的時候，總損失函數就是我們所提算法的泛化誤差上界。由此，我們爲DAPNA算法建立了理論分析。
4
實驗
（1）傳統小樣本學習實驗。
我們在小樣本學習的3個公開數據集上（miniImageNet，tieredImageNet， CUB）進行了傳統小樣本學習實驗（特徵提取網絡是WRN，有預訓練）。並在跨領域小樣本學習數據集（miniImageNet->CUB）進行了跨域小樣本學習實驗（特徵提取網絡是ResNet18，無預訓練）。
實驗結果表明我們提出的算法能夠取得新的SOTA結果，而且在跨領域小樣本學習實驗中這種優勢更爲明顯，顯示出我們的算法模型的確具有較強的跨領域能力。
（2）消融實驗和對 DAPNA效果好的進一步解釋。
我們還做了消融實驗去驗證我們模型每一部分的有效性。
此外，在測試過程中，我們不僅僅計算了未見類數據每個任務的小樣本學習識別正確率，也把未見類中的每個任務（紀元）拆分成兩個子紀元，一個當作源領域，另一個當作目標領域，用以計算這兩個子紀元之間的間隔差異（MDD），以揭示小樣本學習中分類正確率與領域差異之間的關係。
我們可以看到，（1）間隔差異（MDD）越小，模型識別準確率越高。（2）即使我們在訓練過程當中沒有使用任何未見類的數據、僅僅用了可見類的數據進行模型訓練和領域遷移模擬，訓練得到的模型仍然能在未見類數據上實現領域間隔（MDD）的減小，並且MDD的減小能比對照組下降地更快、更低，對應的小樣本識別準確率也比對照組更高。這證明了將領域遷移技術引入到元學習框架中、用以提高小樣本學習能力策略的有效性。
5
總結
本文第一次將領域遷移技術引入到小樣本學習當中，用以減少小樣本學習中可見類與不可見類之間真實存在的領域間隔，以此來提高模型的跨領域能力。在假定所有訓練任務都採樣於同一分佈的情況下，我們給出了小樣本學習算法模型的泛化誤差上界，同時我們也根據該誤差上界進行模型的優化。在傳統小樣本學習和跨領域小樣本學習實驗中，我們的模型都取得了新的好結果，從實踐層面驗證了我們算法的有效性。