論文閱讀筆記《Low-Shot Learning from Imaginary Data》

核心思想

  本文提出一種基於數據增強的小樣本學習算法，可以對Prototypical Network和Matching Network等算法進行改進。作者的想法非常直接，對於如何合成圖像對數據集進行擴充，本文的主旨是合成的圖像既不追求真實，又不追求虛擬，而是儘可能滿足分類器的需要。具體來講，就是把圖像合成器（hallucinator）與特徵提取網絡和分類器放到一個網絡中，進行端到端的訓練。利用分類的損失，引導圖像合成器的訓練，使其輸出能夠滿足分類需要的圖像，整個流程如下圖所示。

  首先，從訓練集$S_{train}$中採樣得到圖片$x$，然後將其與隨機噪聲$z$一起輸入到圖像合成器$G$中，生成合成圖像$x'$；將合成圖像構成的數據集$S^G_{train}$與原始的訓練集$S_{train}$合併起來，構成擴充數據集$S_{train}^{aug}$，對模型進行訓練。得到的損失不僅對模型$h$的參數進行更新，同時也對圖像合成器$G$的參數進行更新。
  本文提出的圖像合成器可以很容易地與Prototypical Network和Matching Network等算法進行結合，不僅如此，作者還在二者的基礎上進行改進，提出了Prototype matching networks（PMN）模型。作者指出Matching Network採用的attention LSTM結構不適用於稀有類別，而Prototypical Network不存在這個問題，因爲他把類別都壓縮爲一個原型了。因此作者想結合二者的優勢，提出了以下算法

由上式可以看到，在利用AttLSTM進行匹配之前，先對$g(x_i)$按照PN網絡中原型計算的方式進行了壓縮，這樣就避免了MN算法存在的問題，又充分利用了其優勢。

實現過程

網絡結構

  PN和MN網絡結構不再贅述，本文提出的圖像合成器就是一個簡單的3層MLP。

損失函數

  與PN和MN算法相同。

訓練策略

  整個訓練過程基本沿用了常見的方法，略有不同的是作者提出可以將“圖片屬於基礎類別還是新類別”作爲一種先驗知識，引入到類別預測過程中，這樣可以提高分類的準確性。

創新點

• 在原有算法的基礎上增加了圖像合成器，以端到端訓練的方式，引導生成器合成出所需要的圖像，並利用該圖像對原數據集進行擴充，達到數據增強的效果
• 提出PMN模型，充分結合PN和MN算法的優勢，並解決了MN算法存在的內部問題

算法評價

  本文算是較早採用數據增強方式的小樣本學習算法了，現在看起來其思想和網絡結構都非常簡單，但許多算法都是受其啓發，並在其基礎進一步改進而來的，因此本文也具有里程碑式的意義。

如果大家對於深度學習與計算機視覺領域感興趣，希望獲得更多的知識分享與最新的論文解讀，歡迎關注我的個人公衆號“深視”。