寫在前面：
在本章中，首先，我們詳細地總結和分析了生成對抗網絡在主動學習方法中的應用價值。然後，圍繞提高生成圖像的質量、提升篩選樣本的價值以及減少樣本篩選的時間成本等方面，我們提出了一種基於生成對抗網絡的二階段主動學習方法。
主動學習系列博文：
【Active Learning - 00】主動學習重要資源總結、分享（提供源碼的論文、一些AL相關的研究者）：https://blog.csdn.net/Houchaoqun_XMU/article/details/85245714
【Active Learning - 01】深入學習“主動學習”：如何顯著地減少標註代價：https://blog.csdn.net/Houchaoqun_XMU/article/details/80146710
【Active Learning - 02】Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally：https://blog.csdn.net/Houchaoqun_XMU/article/details/78874834
【Active Learning - 03】Adaptive Active Learning for Image Classification：https://blog.csdn.net/Houchaoqun_XMU/article/details/89553144
【Active Learning - 04】Generative Adversarial Active Learning：https://blog.csdn.net/Houchaoqun_XMU/article/details/89631986
【Active Learning - 05】Adversarial Sampling for Active Learning：https://blog.csdn.net/Houchaoqun_XMU/article/details/89736607
【Active Learning - 06】面向圖像分類任務的主動學習系統（理論篇）：https://blog.csdn.net/Houchaoqun_XMU/article/details/89717028
【Active Learning - 07】面向圖像分類任務的主動學習系統（實踐篇 - 展示）：https://blog.csdn.net/Houchaoqun_XMU/article/details/89955561
【Active Learning - 08】主動學習（Active Learning）資料彙總與分享：https://blog.csdn.net/Houchaoqun_XMU/article/details/96210160
【Active Learning - 09】主動學習策略研究及其在圖像分類中的應用：研究背景與研究意義：https://blog.csdn.net/Houchaoqun_XMU/article/details/100177750
【Active Learning - 10】圖像分類技術和主動學習方法概述：https://blog.csdn.net/Houchaoqun_XMU/article/details/101126055
【Active Learning - 11】一種噪聲魯棒的半監督主動學習框架：https://blog.csdn.net/Houchaoqun_XMU/article/details/102417465
【Active Learning - 12】一種基於生成對抗網絡的二階段主動學習方法：https://blog.csdn.net/Houchaoqun_XMU/article/details/103093810
【Active Learning - 13】總結與展望 & 參考文獻的整理與分享（The End...）：https://blog.csdn.net/Houchaoqun_XMU/article/details/103094113
4.1 導言
隨着數據採集技術的不斷髮展，使得很多領域能夠廉價地獲取大量未標註樣本。因此，基於未標註樣本池的主動學習方法被廣泛應用在許多領域中。目前，大多數相關研究通過對所有未標註樣本進行預測，並根據合適的策略篩選出最具有“價值”的樣本。然而，對於未標註樣本池規模較大的場景，若每次迭代都需要對大量的未標註樣本進行預測，將產生較大的時間成本。近幾年，生成對抗網絡憑藉無監督的方式生成質量較高的圖像，從而受到廣泛的關注。隨後，陸續有相關的研究工作將其應用到主動學習方法中並取得較好的效果。其中， Zhu 等[19]提出了一種生成對抗主動學習（Generative Adversarial Active Learning， GAAL）方法，通過深度卷積生成對抗網絡[16（] Deep Convolution Generative Adversarial Networks， DCGAN）生成具有豐富信息量的待標註樣本集。 GAAL 不需要在每次迭代中對所有未標註樣本進行預測，而是直接將主動學習策略與生成器進行組合訓練，直接生成待標註樣本集，這是以往的主動學習方法不具備的能力。此外， Christoph 等[50] 在 GAAL的基礎上進行改進，提出了一種對抗採樣主動學習方法（Adversarial Sampling forActive Learning， ASAL）。 GAAL 和 ASAL 最主要的區別在於： GAAL 直接將生成的樣本交由專家標註並加入訓練集；而 ASAL 採用相似度匹配算法依次對生成樣本與未標註樣本池中的樣本進行匹配，再將未標註樣本池中被匹配的樣本交由專家標註後加入訓練集。本章借鑑了上述兩種方法的思想，首先，我們將對抗自編碼器（Adversarial Autoencoders， AAE）和生成對抗網絡模型進行融合（下文稱之爲 AAE-GANs），使其能夠以半監督的學習方式提高生成器的質量。然後，我們將AAE-GANs 應用到主動學習方法中，提出了一種基於生成對抗網絡的二階段主動學習方法。最後，我們分別從時間成本和標註成本對本章提出的方法進行驗證。
本章主要的貢獻包括： 1）將 AAE 和生成對抗網絡模型進行組合訓練：充分利用了主動學習方法增量式獲取標註樣本的特性，以半監督輔助訓練的方式對AAE-GANs 模型進行訓練，從而提升了生成器產生樣本的質量。 2）組合了生成式成員查詢和基於未標註樣本池的主動學習方法等兩種經典的場景，提出了一種基於生成對抗網絡的二階段主動學習方法：首先，通過 AAE-GANs 提升生成圖像質量；然後，將生成器與不確定性策略進行組合訓練，產生一批候選樣本，從而減少了預測樣本所產生的計算成本和時間成本。最後，將候選樣本集作爲未標註樣本池，再通過不確定性策略和多樣性策略進行第二階段的篩選，並產生出一批待標註樣本集交由專家標註，從而更加顯著地減少標註成本。
4.2 基於生成對抗網絡的二階段主動學習方法
在本節中，我們主要嘗試將 DCGAN 和 Wasserstein GAN[17（下文簡稱爲 ]WGAN）分別與 AAE 進行結合，並命名爲： AAE-DCGAN 和 AAE-WGAN。隨着生成對抗網絡的不斷突破，在未來的工作中，我們將嘗試更多的組合方式。
4.2.1 對抗自編碼與生成對抗網絡的結合
（1） DCGAN： 近年來，基於 GAN 的改進算法層出不窮。其中， Radford等[16]提出的 DCGAN 屬於經典的改進算法之一。如圖4.1的上半部分（紅色虛線框）展示了 DCGAN 的網絡結構示意圖。其中，生成器和判別器都是由 CNN 構成。此外，爲了提高生成圖像的質量和模型的收斂速度， DCGAN 在 CNN 結構上的改造如下： 1）分別將生成器和判別器中的池化層替換成帶步長的反捲積層和卷積層；2）同時在生成器和判別器中引入批標準化操作（Batch Normalization） [91]； 3）將全連接層移除； 4）分別將 ReLU[92] 和 Tanh[93] 作爲生成器中隱含層和輸出層的激活函數； 5）將 LeakyReLU[94] 作爲判別器中所有網絡層的激活函數。除了部分網絡結構以外， DCGAN 的核心思想與原始的 GAN 類似，此處不再贅述。
（2） WGAN： Arjovsky 等[17]提出的 WGAN 與 DCGAN 最主要的區別體現在損失函數上的改進，如式（4.1）所示。其中，作者將網絡參數限制在範圍 w ∈ [-0:01，0:01] 內； x 表示樣本； Pr 表示真實樣本分佈， Pg 表示生成器產生的樣本分佈；判別器網絡 f! 的最後一層移除了 DCGAN 的非線性激活層，以迴歸任務的方式擬合 Wasserstein 距離。 WGAN 緩解了 KL 散度和 JS 散度的突變性在某些情況下無法提供梯度的問題，其突破性的貢獻如下： 1）從根本上解決了 GAN 訓練不穩定的問題[95]； 2）解決了模式崩潰的問題，提高了生成樣本的多樣性； 3）通過Wasserstein 評價指標衡量生成器的質量，爲訓練過程提供了指示性的依據。 WGAN相較於 DCGAN 能夠提供穩定的訓練過程，同時也能夠在一定程度上提高生成樣本的質量和多樣性。
然而，直接將 DCGAN 或者 WGAN 應用到主動學習中仍會存在一些不足： 1）未能較好地利用已標註樣本：主動學習方法的特性之一是能夠增量式地產生標註樣本，如果能夠以半監督學習的方式訓練生成對抗模型，將能夠同時充分地利用未標註樣本和已標註樣本的信息，從而提升生成器產生圖像的質量。 2）未能較好地提高生成樣本對主動學習的價值：主動學習方法更傾向於篩選出對提升模型性能最具有價值的樣本。因此，如果可以提高生成樣本的價值，將能夠減少更多的標註成本。
（3） AAE： 我們將嘗試通過 AAE 彌補上述兩點不足。首先，針對提高生成樣本價值的不足： Alireza 等[96]提出的 AAE 將對抗學習的思想引入自編碼器中，通過任意的先驗分佈與隱藏編碼的聚合後驗匹配。如圖4.1所示， AAE 與傳統的 GAN的主要區別在於： 1）判別器的輸入：傳統的 GAN 將原始圖像和生成器產生的圖像作爲判別器的輸入，而 AAE 將隱藏編碼分佈 q (z_fake) 和真實先驗分佈 p (z_real) 作爲判別器的輸入； 2）模型的生成器：傳統的 GAN 單獨設計一個網絡作爲判別器，而AAE 使用自編碼器結構中的解碼器作爲對抗網絡的生成器。因此，通過 AAE 與GANs 的結合，能夠在一定程度上提高生成樣本的質量。其次，針對利用已標註樣本信息的不足： AAE 爲判別器的輸入額外增加了一個標籤向量（one hot），將樣本的標籤和分佈模式關聯起來。針對半監督學習場景， AAE 具有兩個獨立的對抗網絡，包括： 1）對樣本的標籤施加了分類分佈，使得標籤的聚合後驗分佈與分類分佈匹配； 2）對隱藏變量施加預設的分佈（AAE 原文的作者[96]使用高斯分佈），使得隱藏變量滿足預設的分佈。在訓練的過程中，包括三個階段的訓練： 1）樣本的重構階段； 2）正則化階段； 3）半監督分類階段。
如圖4.1的下半部分（黑色虛線框）展示了 AAE 的網絡結構示意圖，主要由兩個部分組成： 1）編碼器和解碼器（同樣作爲 DCGAN 中的生成器）組成的自編碼器； 2）用於區分隱含編碼來自於編碼器分佈或者預設先驗分佈的判別器 DisImg。本章 AAE 的網絡結構均由卷積神經網絡組成。假設 x 表示當前的輸入圖像， z_fake表示樣本 x 經過編碼器得到的隱含編碼。 q (z_fake|x) 表示編碼器的分佈； p (z_real) 表示預設的先驗分佈，例如本章使用的均勻分佈（uniform distribution）。 AAE 在實現正則化時，通過匹配聚合後驗分佈 q (z_fake|x) 到任意的先驗分佈 p (zreal)。其中，AAE 的對抗思想主要用於引導 q (z_fake|x) 匹配到 p (z_real)；與此同時，自編碼器通過優化重構損失，使得解碼器生成的圖像與原始圖像更加相似。在訓練過程中，首先將 z f ake 和 z_real ∼ p (z_real) 作爲判別器 DisImg 的輸入進行優化，從而提升判別器區分真假編碼的能力；然後，同時將重構損失和生成器損失作爲解碼器（生成器）的優化指標，從而提升生成器混淆判別器的能力。通過上述的對抗訓練方式，解碼器作爲 AAE 的生成器將 p (zreal) 的聚合先驗映射到未標註樣本的分佈。至此，通過將隨機生成的 zreal 作爲生成器的輸入，就能夠生成期待的目標圖像。
（4） AAE-DCGAN： 在主動學習方法的應用中，首先，我們希望模型能夠生成質量更高的圖像。其次，考慮到未來可能處理更復雜的圖像，因此將卷積神經網絡結構應用到模型中。 AAE-GANs（AAE-DCGAN 和 AAE-WGAN）等組合方式能夠充分利用兩者的優勢，從而更進一步地提升生成器的性能。如圖4.1展示了 AAE與 DCGAN 結合的網絡結構示意圖。其中，下半部分黑色虛線框內主要是 AAE 網絡結構，上半部分紅色虛線框內主要是 DCGAN 網絡結構。 AAE-DCGAN 的生成器來自於 AAE 的解碼器，損失函數主要包括三個部分： 1） AAE 網絡中的重構損失； 2） AAE 網絡中與之對應判別器的對抗損失； 3） DCGAN 網絡中與之對應判別器的對抗損失。 AAE-DCGAN 的判別器分別由 AAE 和 DCGAN 各自的判別器組成。如上文所述， AAE 的判別器主要用於區分真假隱藏編碼， DCGAN 的判別器主要用於區別真假圖像。
在具體實現過程中，算法 4-1給出了 AAE-DCGAN 基本流程。判別器的訓練主要體現在步驟 5 至 12，首先將 AAE 和 DCGAN 的判別器整合在同一個目標函數中，詳見第二章的式（2.4）。緊接着，使用 Adam 優化器進行訓練。生成器的訓練主要體現在步驟 13 至 21，損失函數由三個部分組成： 1）來自 AAE 的重構損失； 2）來自 AAE 的生成樣本損失； 3）來自 DCGAN 的生成樣本損失。在訓練的過程中，根據優化器的特性（例如：梯度下降），損失值越小表示目標函數越接近最優解。因此，步驟 12 所示的損失函數值 lossD 越小，表示判別器越有能力區分出真實樣本和僞造樣本。此外，算法 4-1中涉及的相關變量解釋如下：步驟 6 和 8 的 dimg f ake 表示來自先驗均勻分佈的 zreal 經過解碼器 Decoder 生成圖像後，再將其作爲 DCGAN 的判別器 DisImg 的輸入，最終得到屬於生成樣本的判別值。步驟 10 的 dimgreal 表示批樣本集 X 經過 DCGAN 的判別器 DisImg 後，得到屬於真實樣本的判別值。步驟 11的 dzreal 表示 zreal 經過 AAE 的判別器 DisZ 後，得到屬於先驗分佈的判別值； dz f ake表示批樣本集 X 先經過編碼器得到隱含編碼並作爲 AAE 的判別器 DisZ 的輸入值，最終得到屬於編碼器分佈的判別值。步驟 14 和 17 的 ImgAAE 表示批樣本集 X 依次經過編碼器和解碼器後，得到的重構圖像。步驟 20 的 dz f ake 表示批樣本集 X 先經過編碼器 Encoder，再經過 AAE 的判別器後得到的屬於編碼器分佈的判別值。對於損失函數部分： lossDAAE = -mean (log (dzreal) + log (1 - dz f ake)) 和 lossDDCGAN =-mean (log (dimgreal) + log (1 - dimg f ake)) 分別表示 AAE 和 DCGAN 的判別損失函數， lossGAAE = -mean (log (dz f ake)) 和 lossGDCGAN = -mean (log (dimg f ake)) 分別表示 AAE 和 DCGAN 的生成損失函數，對應式（2.4）；此外， lossRecAAE =mean (abs (X - ImgAAE)) 表示來自於 AAE 重構損失函數。在主動學習的流程中，將增量式地獲取未標註樣本池 U 中被選中的樣本標籤。因此，算法 4-1也將引入了樣本的標籤信息，詳見上文在 AAE 部分中介紹的半監督學習場景。步驟 5 和 13 對當前輸入的樣本集 X 進行判斷是否具有標籤，若有，則將標籤信息加入模型的訓練中。
此外， AAE-WGAN 的基本流程與算法 4-1類似，將損失函數替換成 WGAN 對應的損失函數即可，此處不再贅述。在訓練的過程中，需要根據實際情況調整損失函數（分別來自於 AAE 和 GANs ）的權重。
4.2.2 AAE-GANs 與主動學習方法的結合
早在 1992 年， Baum 等[97]率先提出了基於生成式主動學習方法，並將其用於解決手寫體分類問題。但是，由於當時生成樣本的質量很差導致整體的效果很不理想。近年來，生成對抗網絡的高速發展同樣對主動學習方法具有重要的意義。因此，陸續有相關的研究[19,20,21,22,50]將生成對抗網絡跟主動學習方法進行結合。其中，GAAL[19] 和 ASAL[50] 通過將主動學習策略應用到生成對抗網絡模型的生成器中，並將其設計爲目標函數進行優化，在圖像分類任務中取得了不錯的效果。本小節將介紹兩種結合生成器和不確定性策略的目標函數。
（1）生成器結合 MS 策略的目標函數：如式（4.2）所示，其核心思想是通過最小化生成樣本與分類器分界面的距離，使得生成器產生的樣本相對當前分類器具有較高的不確定性。其中， z 爲隱編碼（latent code）， f (x) = θTϕ (x) + b 表示分類器對應的決策方程， G (z) 表示生成器使用隱編碼生成的樣本。
（2）生成器結合 entropy 策略的目標函數：如式（4.3）所示，其核心思想是通過最大化生成樣本相對於當前分類器的信息熵，使得生成器產生的樣本相對當前分類器具有較高的不確定性。其中， z 爲隱編碼， C 爲當前分類任務中所有可能類標組成的集合， pθ (cjG (z)) 表示當前分類器對生成器產生的樣本 G (z) 進行預測，並返回預測結果爲類標 c 對應的概率值。
Zhu 等[19] 提出的 GAAL 方法使用 SVM 作爲分類器，將式（4.2）作爲目標函數對分類器進行再次訓練，並將其應用到圖像的二分類任務中。如圖4.2（b）展示了 GAAL 的核心流程示意圖。首先，將未標註樣本池中的所有未標註樣本作爲DCGAN 訓練數據集，通過優化形如式（2.4）的目標函數對 DCGAN 進行訓練。然後，通過對式（4.2）進行優化，使得生成器能夠產生相對當前分類器（初始的分類器通過隨機篩選少量的樣本進行預訓練）具有不確定性的待標註樣本。最後，將專家標註後的樣本加入分類器的訓練數據集，並對分類器進行訓練。此外，如圖4.2（a）展示的基於不確定性策略的主動學習方法中，與 GAAL 整體流程的主要區別在於：前者需要在每次迭代過程中對所有未標註樣本進行預測，並計算相關的策略分值；而 GAAL 直接標註由生成器產生具有不確定性的樣本，在篩選樣本的環節中減少了大量的時間成本。
Christoph 等[50] 提出的 ASAL 方法是第一個基於未標註樣本池場景的對抗性主動學習方法。如圖4.2（c）展示了 ASAL 的核心流程示意圖， ASAL 與 GAAL 最大的區別在於： ASAL 在 GAAL 的基礎上，依次將生成的樣本與未標註樣本池中的樣本進行匹配，最後交由專家標註的是真實的樣本而非生成器產生的樣本。 ASAL 分別將式（4.2）和式（4.3）作爲解決二分類和多分類問題的目標函數，用於提升生成器產生不確定性樣本。本章提出的基於生成對抗網絡的二階段主動學習方法也將借鑑公式（4.3）作爲結合不確定性策略和生成器的目標函數。
4.2.3 基於 AAE-GANs 的二階段主動學習方法
如圖4.2（d）展示了本章提出的基於對抗生成網絡的二階段主動學習方法（下文稱之爲 AAE-GANs-AL）的示意圖。 AAE-GANs-AL 與 GAAL 和 ASAL 的主要區別在於： 1）我們將 AAE-GANs 作爲生成對抗網絡模型，充分利用 AAE 和 GANs的優勢提升生成圖像的質量；在生成器結合不確定性策略的環節中，充分利用已標註樣本的標籤信息提升生成器的性能。 2）我們將主動學習的生成式成員查詢和基於未標註樣本池等兩種場景進行組合，分別體現在第一個階段生成的候選樣本集和第二個階段從候選樣本集中進一步篩選出的待標註樣本集。 AAE-GANs-AL 在第一個樣本篩選階段通過生成器直接產生樣本，避免了需要對大量未標註樣本進行預測，從而節省了計算成本和時間成本；在第二個階段同時引入了不確定性策略和多樣性策略，減少了樣本之間的冗餘信息。 3） AAE-GANs-AL 和 ASAL 在多分類圖像數據集上對其有效性進行了驗證。
算法 4-2給出了 AAE-GANs-AL 的基本流程。在算法 4-2的初始化環節中，我們先使用算法 4-1對 AAE-GANs 進行訓練，並將得到的生成器 Generator 作爲主動學習流程的初始狀態。在步驟 5 中，初始生成器 Generator 結合當前分類模型以及基於信息熵的不確定性策略，並使用式（4.3）作爲目標函數進行優化，使得生成器產生的圖像相對於當前分類模型具有較高的不確定性。此時，當前迭代 t 對應的生成器 Generator∗ 已經訓練完畢。緊接着，通過步驟 6 和 7 生成 4 ∗ m 個候選樣本，其中 m 表示批量式主動學習中的批大小。步驟 8 參考了 ASAL 文獻的方法，通過將生成器產生的樣本在未標註樣本池中進行匹配，依次得到對應的真實樣本。我們將在實驗部分簡要地介紹本章所使用的圖像匹配算法及其效果。至此，已經完成了第一個階段的樣本篩選工作，並得到候選樣本集 X。第二個階段將候選樣本集 X 視爲未標註樣本池，並進一步通過主動學習策略篩選出待標註樣本集 X∗。本章將使用不確定策略和多樣性策略作爲算法 4-2中的樣本篩選策略 Q，詳見第3.2.1節的相關策略。值得一提的是，爲了方便專家進行數據標註，我們嘗試選擇合適的分類器對待標註樣本集 X∗ 進行預分類。隨着迭代次數的增加，分類器的性能也會隨之提升，因此預分類的效果也會更加明顯。此外，還可以嘗試引入類似多視圖的思想，同時根據多個不同分類器的決策結果進行預分類。第五章將體現出預分類的優勢。
4.3 仿真實驗與分析
我們從第二章介紹的圖像數據集中，挑選了兩組作爲本章的仿真實驗數據集，包括 MNIST 和 CIFAR10。此外，爲了便於跟當前部分相關的工作進行實驗對比，我們分別從 MNIST 和 CIFAR10 數據集中分別抽取了兩個類別製作成新的實驗數據集。其中， Zhu 等[19] 提出的 GAAL 方法將 MNIST 和 USPS 數據集[98]中的 5 和 7 等兩個數字單獨挑選出來分別作爲訓練集和驗證集，下文稱之爲 MNIST-USPS-Binary；將 CIFAR10 數據集中的汽車和馬（automobile and horse）等兩個類別製作成另一組二分類數據集，下文稱之爲 CIFAR10-Binary。
4.3.1 生成器產生的圖像質量
如圖4.3分別展示了來自未標註樣本池的真實樣本，以及 AAE， DCGAN，WGAN， AAE-DCGAN 和 AAE-WGAN 等五種生成對抗網絡在 MNIST-USPS 數據集上以無監督的方式進行訓練後產生的圖像。 USPS 數據集與 MNIST 數據集的數據分佈有較大的差異，而且 USPS 數據集中存在部分樣本連人類視覺都無法正確的分辨。因此，兩組數據集的結合將增大分類難度。如圖4.3（a）展示了來自於MNIST-USPS 的真實圖像。其中，第 5 行的第 1 列和第 6 列以及最後一行的第 4列的圖像來自於 USPS 數據集，圖4.3（a）的其他圖像來自於 MNIST 數據集。
如圖4.3（b）展示了通過 AAE 模型生成的圖像， AAE 同時學到 MNIST 和USPS 等兩種風格的手寫體數字，視覺效果非常清晰。但是， AAE 在訓練的過程中非常不穩定，發生了模式崩潰的現象。同樣的現象也發生在如圖4.3（c）所示的DCGAN 模型中。圖4.3（d）展示的 WGAN 在整個訓練過程中相對較穩定，生成圖像的質量相對較高。 AAE-DCGAN 和 AAE-WGAN 通過組合訓練，在一定程度上提升了生成樣本的質量。其中， AAE 的貢獻主要體現在生成圖像的邊緣細節。
此外，我們使用同樣的方法在 CIFAR10 數據集進行實驗，生成的圖像如圖4.4所示。如圖4.4（a）所示， CIFAR10 數據集相對 MNIST 數據集更加複雜，而且待分類物體所在的圖像背景較爲複雜。因此， AAE 和 DCGAN 生成的圖像質量較低，分別如圖4.4（b）和（c）所示。 AAE-DCGAN 在一定程度上提高了生成圖像的質量，但視覺效果如圖4.4（e）所示，圖像中仍存在大量類似網格的噪聲信息。如圖4.4（d）和（f）所示，雖然 WGAN 和 AAE-WGAN 生成圖像的質量仍與真實樣本有所差距，但已經能夠生成非常清晰的圖像了。
綜上所述，本章相關的生成對抗網絡都有各自的優勢。其中， AAE-WGAN 的特性更適合應用到主動學習方法中：既能夠保證訓練過程的穩定性，又能夠保證生成圖像的質量。
4.3.2 圖像匹配方法的效果
算法 4-2步驟 8 的圖像匹配方法中，首先，我們使用 AAE 中編碼層作爲特徵提取器，並在初始化環節完成對所有未標註樣本的特徵提取。然後，使用相同的方式依次對每個生成的樣本進行特徵提取。最後，結合距離度量方法依次匹配出所有樣本，構成候選樣本集 X。如圖4.5（a）和（b）分別展示了 MNIST 和 CIFAR10 使用自編碼器的圖像匹配算法效果示意圖，生成的圖像能夠較好地匹配到對應的真實樣本。此外，類似的圖像匹配算法[50]還有： 1）先對圖像進行降維（例如，主成分分析方法），再使用距離度量方法進行匹配； 2）使用判別器的作爲特徵提取器，再使用距離度量方法進行匹配； 3）直接將圖像的像素作爲距離度量方法的輸入。
4.3.3 AAE-GANs-AL 在時間成本上的性能
本小節主要針對不同規模的未標註樣本池，通過實驗體現 AAE-GANs-AL 相較於傳統的基於未標註樣本池的主動學習方法在時間成本上的優勢。兩者所需的時間成本主要體現在： 1） AAE-GANs-AL：優化如式（4.3）所示的目標函數，生成器生成候選樣本集，使用傳統策略從中篩選出待標註樣本集，匹配樣本； 2）傳統方法：對未標註樣本池中的所有樣本進行預測，根據主動學習策略計算每個樣本的分值。此外，由於 AAE-GANs-AL 以無監督的方式訓練未標註樣本池的過程，都是在初始化環節完成，因此不考慮到主動學習的迭代流程中。如表4.1展示了 AAE-GANs-AL 與傳統方法在時間成本上的表現。其中，“未標註樣本池規模”表示圖像數量；第 3 列和第 4 列表示在當前迭代過程中，執行完成主動學習方法相關的流程所需要的時間。實驗結果表明 AAE-GANs-AL 在時間成本上的性能優於傳統的方法，尤其是規模較大的未標註樣本池。例如， MNIST-UPSP數據集的未標註樣本池規模爲 70000 張圖像：傳統方法在完成當前迭代的樣本篩選環節時，由於需要預測大量的未標註樣本，因此花費了 871 秒的時間成本；AAE-GANs-AL 只需 23 秒即可完成當前迭代的樣本篩選流程（由於 AAE-GANs-AL在篩選樣本過程中，所需時間跟未標註樣本池的規模無關。因此，在相同數據集上所需的時間一樣）。
4.3.4 全樣本訓練實驗（暫略）
4.3.5 AAE-GANs-AL 在標註成本上的性能（暫略）
4.4 本章小結
基於生成式成員查詢的主動學習方法在生成對抗網絡的助力下，取得了顯著的成績。在本章的相關工作中，首先，我們將 AAE 和 GANs 進行組合訓練（AAE-GANs），充分利用各自的優勢提升了生成樣本的質量。然後，我們將AAE-GANs 應用到主動學習方法中，提出一種基於生成對抗網絡的二階段主動學習方法。其中，第一個階段將 AAE-GANs 的生成器和不確定性策略進行組合訓練，使得生成器生成的圖像相對當前分類器具有較高的不確定性。此時，通過生成器產生一批候選樣本，減少了預測樣本的時間成本。第二個階段將第一個階段產生的候選樣本視爲未標註樣本池，並使用不確定性策略和多樣性策略從中篩選出一批待標註樣本，減少了待標註樣本之間的冗餘信息量。最後，我們通過對 MNIST-USPS和 CIFAR10 數據集對所提出的方法進行驗證。實驗結果表明，本章提出的基於生成對抗網絡的二階段主動學習方法既能夠減少時間成本，又能夠顯著地減少樣本的標註成本。值得一提的是， AAE-GANs-AL 對生成樣本的質量要求較高。因此，在未來的工作中，可以重點關注提高生成器的質量。
特別說明：
說明：主動學習系列的參考文獻，12月份整理並分享。