論文閱讀筆記《Adversarial Feature Hallucination Networks for Few-Shot Learning》

原創

2020-07-02 15:26

核心思想

本文提出一種基於數據增強的小樣本學習算法（AFHN），利用生成對抗網絡（GAN）實現數據集的擴充。數據增強的方法被認爲可以增強類內樣本方差的多樣化，從而實現更加清晰地分類界限。先前的數據增強方法主要包含兩類：一類是通過在基礎數據集上學習一種變換映射，並將其直接應用到新的數據集上，得到映射後的合成圖像用於數據擴充，這一類方法會破壞合成圖像的區分能力（因爲合成圖像很粗糙，與原始類別並不相似）；另一類方法是根據特定的任務生成對應的合成圖像，這類方法保證了合成圖像的區分能力，但特定的任務約束使得合成的圖像容易陷入一種特定的模式，從而喪失了多樣性（在GAN中這種情況稱之爲Mode Collapse，就是指生成的圖像之間太過於相似，不具備多樣性）。本文利用conditional Wasserstein Gener- ative Adversarial Networks ，cWGAN（與普通的GAN相比，cWGAN就是通過改進目標函數，進而提高訓練穩定性的一個變種，此處不再詳細介紹）生成樣本，並通過增加分類正則項（classification regularizer）和 “反陷入”正則項（anti-collapse regularizer），解決了生成樣本缺少區分能力和多樣性的問題。本文提出算法的處理流程如下圖

首先支持集圖像和查詢集圖像經過特徵提取網絡 $F$ 得到對應的特徵向量，支持集對應的特徵向量爲 $s$ （如果有多個樣本則取平均值），從[0,1]的均勻分佈中採樣得到兩個隨機變量 $z_1,z_2$ 。然後將特徵向量 $s$ 和 $z_1,z_2$ 輸入到cWGAN的生成器 $G$ 中，得到合成的向量 $\tilde{s}_1,\tilde{s}_2$ ，過程如下

將生成的 $\tilde{s}_1,\tilde{s}_2$ 與原始的 $s$ 和 $z_1,z_2$ 輸入到區分器 $D$ 中，並計算GAN損失 ${L}_{GAN}$ ，過程如下

而單純的GAN損失並不能解決生成樣本缺少區分能力和多樣性的問題，因此本文又設計了兩個正則化項：分類正則項（classification regularizer）和 “反陷入”正則項（anti-collapse regularizer）。其中分類正則項很好理解，首先利用softmax函數根據生成的樣本 $\tilde{s}$ 得到查詢樣本 $x_q$ 對應類別的概率，計算過程如下

式中 $q=F(x_q)$ ，然後再利用交叉熵損失函數計算分類損失，作爲分類正則項 $L_{cr_i}$ ，該正則項的目的是爲了增強生成樣本的區分能力

而“反陷入”正則項則是直接對兩個合成特徵向量的不相似度和產生它們的兩個噪聲向量的不相似度的比值進行懲罰，文字表述比較複雜，我們直接看公式

式中，分子部分表示了兩個合成特徵向量之間的不相似度，而分母表示兩個噪聲向量之間的不相似度。有研究表明 $z_1$ 和 $z_2$ 越相似，則 $\tilde{s}_1$ 和 $\tilde{s}_2$ 越容易陷入同一種模式。當 $z_1$ 和 $z_2$ 很相似時，也就是分母很小時，上式則相當於放大了 $\tilde{s}_1$ 和 $\tilde{s}_2$ 之間的不相似度（因爲要除以一個遠小於1的數字）。該正則項的目的時爲了增強生成樣本的多樣性。
最後，將生成的樣本 $\tilde{s}$ 與原始樣本 $s$ 一起輸入到分類器 $C$ 中，進而實現對於查詢樣本 $x_q$ 的分類。