論文閱讀筆記《Dynamic Few-Shot Visual Learning without Forgetting》

核心思想

  本文提出一種不會遺忘的動態小樣本學習算法，嚴格來講應該也屬於基於外部記憶的小樣本學習算法。本文的主體結構依舊是特徵提取+分類器的組合，但作者提出了兩點改進。傳統的分類器通常是計算類別權重向量與圖像對應的特徵向量之間的點乘積，作爲相似性得分，並以此進行分類預測，本文采用餘弦相似性度量函數取代點乘積計算方式。此外對於新的類別樣本，本文並沒有採用SGD的方法訓練分類器得到對應的類別權重向量，而是設計了一個小樣本權重向量生成器，根據基礎類別的權重向量生成新類別的權重向量。網絡的整體結構如下圖所示。

  首先作者將訓練集分爲基礎類別部分和新類別部分，基礎類別部分包含大量的圖像，而新類別部分每個類別僅有少量樣本，而且兩個部分之間是沒有相同類別的，測試圖片通常來自新類別部分對應的樣本。通常的方法是將模型現在基礎類別數據集上進行預訓練，然後在新類別數據集上做微調訓練，但這樣做一方面會導致分類器忘記基礎類別部分的樣本，失去對基礎類別的分類能力；另一方面，由於新類別樣本數量較少，因此微調後的分類效果仍然較差。作者提出將分類器的類別權重向量分成兩部分，分別對應基礎類別和新類別，其中基礎類別對應的權重向量還是按照常規的訓練方式獲得（也就是慢權重），而新類別對應的權重向量則是由權重生成器輸出（也就是快權重），這樣分類器就同時具備對基礎類別和新類別進行分類的能力，對應題目中的“without Forgetting”。但是兩種方法獲得的權重可能在數值上存在較大的差異，如果還採用傳統的點乘積方式來計算與測試圖片的相似性得分的話，會存在較大的誤差，因此作者提出使用餘弦相似性度量方法

式中$\tau$表示一個放縮係數，$\bar{z}^T$表示經過L2規範化處理的測試圖片對應的特徵向量，$\bar{w}^*_k$表示經過L2規範化處理的類別權重向量。與點乘積相比，該方法增加了L2規範化處理，消除了基礎類別權重和新類別權重在數值上的量級差異，分類效果更好。
  至於類別權重生成器，常見的方式是計算所有類別特徵向量的平均值$w_{avg}'$，然後再乘以一個可以學習的權重向量$\phi_{avg}$，最後計算二者的哈達瑪積（逐元素對位相乘），如下式所示


但是該方法不能充分利用特徵提取網絡獲取的信息，而且在新類別只包含一個樣本（one-shot情形）時，平均操作就不能夠準確的推測類別權重信息。因此作者提出一種採用注意力機制的權重生成方法，計算過程如下

式中$N'$表示新類別樣本的數量，$\phi_q$表示一個可學習的變換矩陣，將新樣本對應的特徵向量$\bar{z}_i'$轉化爲查詢向量，$k_b$表示基礎類別對應的可學習的“鍵”，每個“鍵”對應一個類別，$\bar{w}_b$表示基礎類別對應的權重向量，$Att()$操作也就是注意力機制，先利用餘弦相似性度量計算二者之間的相似程度，再用softmax函數將其轉化爲權重值。最後將$w_{att}'$和通過平均方式計算得到的$w_{avg}'$進行加權求和，就得到新類別樣本對應的類別權重向量了，過程如下

  該方法的內在假設是新類別和基礎類別雖然沒用相同的類別，但是類別之間還是有相似的，或者說有一定聯繫的，藉助這一相似性對新類別的權重向量進行預測。

實現過程

網絡結構

  無具體介紹

損失函數

  式中$K_{base}$表示基礎類別的類別數量，$N_b$表示每個類別的樣本數量，$loss()$表示交叉熵損失函數

訓練策略

  本文的訓練過程分爲兩個階段，第一個階段只學習特徵提取網絡的參數$\theta$和基礎類別的權重向量$W_{base}$。第二個階段學習權重生成器的參數$\phi$，同時繼續訓練基礎類別的權重向量$W_{base}$。

創新點

• 設計了採用注意力機制的權重生成模塊，根據基礎類別的權重向量，推測新類別的權重向量
• 將分類器中的點乘積計算方式，替換爲餘弦相似性度量方式

算法評價

  本文一開始很難劃分爲某一類小樣本學習算法，但由於在權重生成時利用了基礎類別對應的權重向量，那麼就肯定要在訓練過程中保存該向量，並且快權重和慢權重更新方式常見於基於外部記憶的算法，因此將其劃分爲這一類別。實際上本文並沒有顯式的提供一個外部記憶模塊，所用的“記憶”其實就是網絡訓練得到的權重。

如果大家對於深度學習與計算機視覺領域感興趣，希望獲得更多的知識分享與最新的論文解讀，歡迎關注我的個人公衆號“深視”。