半監督學習綜述

Chapter 7 Semi-supervised Learning

翻譯不易，未經允許請勿轉載！

Author: Mohamed Farouk Abdel Hady and Friedhelm Schwenker

Translator: Howard Wonanut

 

 

摘要

傳統的監督學習方法需要使用有標籤數據建立模型。然而，在現實世界中給訓練數據打標籤可能需要昂貴的代價，或者耗費大量的時間。從領域專家那裏獲得這些標籤數據有隱含的成本，例如有限的時間和財務資源。對於涉及使用大量類標籤進行學習且有時具有相似性的應用程序尤其如此。半監督學習（SSL）模型能夠允許模型在其監督學習中集成部分或者全部的未標籤數據來解決這一固有的瓶頸。其目標是通過這些新標記的數據最大化模型的學習性能，同時最小化標註數據的成本。在過去的十年裏利用未標記數據提高模型的性能一直是一個熱門話題，可以將半監督學習劃分爲四個方向：SSL圖，SSL生成模型，半監督支持向量機和不一致SSL（SSL with committees）。本文概述了該機器學習分支的研究進展。

 

1 介紹

監督學習需要大量的標籤訓練數據才能構建具有高預測性能的模型，如圖1所示。很多實際的數據挖掘應用如計算機輔助疾病診斷，遙感圖像分類，語音識別，郵件分類或者文本自動分類中，往往有大量的低成本的無標籤數據。但是由於這些數據需要人類專家或者專業的設備對數據進行標註，數據的標註非常困難，單調乏味，昂貴或者耗時。

 

圖1 傳統的監督學習模型圖示

 

由於將未標記數據直接納入傳統監督學習算法（如支持向量機和RBF神經網絡）比較困難，而且沒有弄清楚未標記數據的價值，直到20世紀90年代中期之後半監督學習才引起人們的注意。隨着對無標籤數據的利用需求的增加，半監督學習已經稱爲一個熱門話題。

在計算機輔助診斷領域（CAD, computer-aided diagnosis)，乳房X線攝影是一種特殊的成像，使用低劑量的X射線系統檢查乳房，用於幫助早期發現和診斷女性乳房疾病。在日常的檢查中可以獲得大量這樣的成像數據，但是讓醫生或者放射科醫生檢索所有的圖像並找出可能存在癌症的鈣化異常區域。如果我們使用監督學習方法構建一個計算機軟件來標註出圖像上的異樣區域，基於有限的診斷數據，該軟件的準確率可能很低。所以，我們能否充分利用大量的無標註數據來構建一個更加精準的預測模型呢？

對於遙感應用，遙感傳感器可以產生大量光譜帶數據。使用這種高分辨率傳感器的目的是區分更多地表覆蓋物的種類，從而更好地瞭解覆蓋地球表面的材料的性質。這樣大量的類別和光譜帶需要大量的涵蓋各種類別的有標註的訓練數據，然而給這些數據標註往往非常昂貴且耗時。SSL的目的是研究如何通過使用無需額外成本的大量存在的未標記數據來減少小樣本的問題。在機器學習文獻中，主要有三類方法用於解決結合標記數據和未標記數據從而提高性能的問題：半監督學習（SSL），直推學習（transductive learning）和主動學習（active learning）。半監督學習是指試圖利用未標記數據進行監督學習（半監督分類）的方法，如圖2所示，或在無監督學習（半監督聚類）中包含先驗信息如類別標籤、成對約束或聚類成員等。直推學習指的是也嘗試利用未標記的示例，但是假設未標記的樣本也是最終的測試樣本。也就是說，測試集是事先已知的，並且學習的目標是優化在給定測試集上的分類性能。主動學習，有時稱爲選擇性採樣。能夠從未標記數據中選擇最重要的樣本，然後讓相關專家爲這些數據做標註，其目的是最小化數據利用率。最流行的算法是不確定性抽樣（US，uncertainty sampling）和委員會查詢抽樣（QBC，query by committee）。不確定性抽樣訓練一個分類器，然後查詢分類器最不確定的未標記樣本。委員會查詢抽樣構建多個分類器然後查詢這些分類器歧義最大的未標記樣本。

圖2 半監督學習模型圖示

 

主動學習、半監督學習和直推學習都有相同的應用背景，三種方法從三個不同的角度解決問題

主動學習：學習算法主動地提出一些標註請求，將一些經過篩選的數據提交給專家進行標註，這個篩選的過程就是主動學習主要研究的地方了。

直推學習：假設未標記的數據就是最終用來測試的數據，學習的目的就是在這些數據上取得最佳的泛化能力。相對應的，半監督學習在學習時並不知道最終的測試用例是什麼。

半監督學習：直推學習其實類似於半監督學習的一個子問題。

 

本文餘下部分組織如下：下一節給出了半監督學習的簡要介紹，然後在下面的章節中介紹了不同的半監督學習方法。第8節介紹了半監督學習與主動學習的結合，最後我們在第9節中進行總結。

 

2 半監督學習

假設​是標註訓練樣本集的集合，每一個樣本是一個​維的特徵向量​, ​表示​的類別標籤，​是類別標籤的集合。同時假設​ 爲未標記數據集。通常​。最近對半監督學習的研究主要集中在四個方向：半監督分類、半監督迴歸、半監督聚類（如約束和種子k均值聚類）和半監督降維。

在本文中，半監督學習指的是半監督分類。已有的半監督分類算法可以分爲5類：（1）自我訓練（Self-Training）；（2）生成式的半監督學習；（3）半監督支持向量機（S3VMs)；（4）基於圖的半監督學習；（5）基於分歧的半監督學習。

 

3 自我訓練

自我訓練是一種增量算法（incremental algorithm），最初使用少量標記數據構建單個分類器。然後，它迭代地預測未標記示例地標籤，通過預測結果的可信程度對樣本進行排序，並將最有效的樣本添加到標記的訓練集中。它使用增強的（augmented）訓練集重新訓練基礎分類器，並且重複該過程直至給定迭代次數或者滿足一些啓發式的收斂標準。只有當初始和後續的類別正確的標記了絕大多數樣本時，才能通過迭代改進分類的精度。然而，添加錯誤的標記噪音是不可避免地。在實際應用中，使用更準確地信任度量和預定義地置信度閾值來限制錯誤標記地示例的數量。

自訓練是一種包裹式算法，可以應用於許多算法中。它在文獻中出現過幾個名字：自學習(self-learning)、自我矯正(self-corrective recognition)、幼稚標記（naive labelling）和決策導向（decision-directed)。

將自我訓練應用於線性分類器（如SVM）時存在一個缺點是，最可信的樣本往往離決策邊界最遠（非信息性樣本）。因此在很多情況下，這個過程不會創建代表性的訓練集（因爲它選擇的都是非信息性示例）。另外一個缺點是自我訓練對異常值非常敏感。

如果一個樣本靠近分類超平面，那麼它就能夠爲調整分類決策面提供有效信息，因爲它能夠影響決策面的位置。

 

4 使用生成模型的SSL

在生成方法中，假設標記和未標記的示例都來自相同的參數模型，其中組件的數量，先驗概率​和條件概率​都是已知且正確的。學習到模型的參數後，使用與每個類關聯的混合組件對未標記的示例進行分類。此類方法通常將未標註數據​看作缺失值，並且使用期望最大化（Expectation-Maximization）算法求解模型參數​的最大似然估計(MLE)。它首先在有標記的數據集​上訓練初始模型。然後迭代地使用當前地模型來臨時估計所有未標記樣本的類別概率，然後最大化所有標記數據（原始的和新標記的）上的參數（訓練一個新的模型）的可能性，直到它收斂爲止。

在不同領域的數據集上，生成模型使用的方法也各不相同。例如，在圖像分類領域使用混合高斯分佈（GMM），在文本分類使用混合多項式分佈（樸素貝葉斯），在語音識別領域使用隱馬爾可夫模型。雖然生成模型簡單易行，並且當標記數據比較少的時候可能比判別模型更精準，但是這類方法存在着嚴重的問題。如果當模型的預測結果是錯誤的，使用大量的未標記數據來訓練模型將會導致模型的性能下降。因此，爲了降低這種風險，生成模型的構建過程需要小心謹慎，例如可以爲每個類構建多個高斯分量。此外，也可以在最大似然估計中降低未標記數據的權重。

 

5 半監督支持向量機（S3VMs）

考慮到訓練集被劃分爲標記數據集​和未標記數據集​兩部分，S3VM的目標是使用大量的未標記數據​調整最初由少量的標記數據​所構建的分類決策面，使得分類決策面能夠通過低密度區域，同時保持標記數據能夠被正確分類，如圖3所示。

 

圖3 S3VMs算法圖示：分類面需要通過無標籤數據中密度較低的區域。如果只是用標籤數據，得到的最大分類超平面如圖中的虛線所示，如果同時使用標籤數據和無標籤數據，得到的分類超平面就是圖中的實線。

 

下面的的優化問題考慮了分類決策面的參數​ 和分配給未標記數據的二進制標籤向量 ​

其中​是SVM的決策函數 (decision function)， ​是非線性函數，能夠將輸入向量​映射到高維的點積特徵空間，在高維空間中可以構造具有更好的泛化性能的分離超平面，​是邊緣損失函數。鉸鏈損失函數是一個常用的損失函數，定義如下：

其中​的值爲1或者2。 半監督的支持向量機是傳統SVM算法的一個擴展。在標準的SVM算法中只使用有標籤的數據，在S3VM中還使用了無標籤數據。公式2中的前兩項就是標準的SVM算法的定義，第3項考慮了無標籤數據。標籤數據和無標籤數據的損失函數具有不同的權重：​和​。公式2中的最小化問題在下面的類別平衡約束下求解

該約束通過要求屬於某一類的無標籤數據在總的無標籤數據中應該有一定的佔比，從而避免數據不均衡的問題。有兩種策略用於求解​的最小值：

• 組合優化：對於給定的固定的​，求解最佳的參數​是標準的SVM問題。目標問題轉化爲在一組二進制變量上最小化​.

• 連續優化：對於給定的固定的參數​，找到最優的​。未知的變量​不在優化範圍。因此有以下連續的關於​的目標函數：

  這個問題可以通過連續優化方法解決。平衡約束爲

  優化完成之後，利用訓練得到的分類決策面可以得到無標籤數據的類別​。

自Joachims首次實現S3VMs以來，於S3VM相關的問題的非凸性促進了很多優化技術的發展，如局部組合研究，梯度下降，延續技術 (continuation techniques)，凹凸程序，半定義程序 (semi-definite programming)，確定性退火 (deterministic annealing), 遺傳算法優化和分支定界算法 (branch-and-bound algorithms)等等。S3VM有時也被稱作直推式SVM (Transductive SVM)，假設來自不同類別的未標記數據有較大的分割距離。另外，假設存在分類超平面通過較低密度的區域。因此它不適用於不滿足這些假設的領域。

 

6 基於圖的半監督學習

Blum 和 Chawla 首先提出基於圖的半監督學習方法，他們構建的圖中的節點包括有標籤和無標籤的訓練數據，點與點之間的邊的權重表示這兩個點上的數據的相似性。求解的目標是找到該圖的最小割，使得互相鏈接的點具有相同的標籤。之後Blum 在邊的權重中添加了隨機噪聲，無標籤數據的類別通過多數投票決定。這個過程類似於bagging並且產生了一個軟最小割 (soft minimum cut)。在Blum 和Chawla 的方法中使用離散的預測函數，爲每個未標記數據分配一個可能的標籤。朱使用一種連續的預測函數，他們利用高斯高斯隨機場模擬了圖上預測函數的分佈，並且分析證明了具有最低能量的預測函數應該具有諧波特性 (harmonic property)。他們使用這樣的諧波屬性在圖上設計了標籤傳播策略，其中標籤從標記結點傳播到未標記結點，如圖4所示。值得注意的是，大多數基於圖的半監督學習通常關注如何在給定圖形上進行半監督學習。影響學習效果的一個關鍵問題是如何構建一個反映實例之間基本相似性的圖。

圖4 標籤的傳播圖示

 

 

7 基於分歧的半監督方法 (SSLC, Semi-supervised Learning with Committees)

任何基於委員會的半監督學習成功的主要因素有時候被稱爲通過差異 (分歧) 進行半監督學習，通過建立一個多樣化的能夠精準分類的分類器集合，讓他們合作利用爲標籤數據，並且不同分類器之間存在較大的差異 （多樣性）。在本節中我們將現有的基於委員會的半監督學習方法分爲三類：多視圖學習和單視圖多分類器學習。

 

7.1 多視圖學習

多視圖學習是基於以下的假設：實例輸入空間​，其中​表示對於一個實例的兩種不同的描述，稱爲視圖（本質上就是屬性集）。這些視圖通過不同的物理源/傳感器獲得，或者通過不同的特徵提取過程導出，並且給出關於實例的不同類型的區分信息。例如，在視覺目標識別任務中，可以通過形狀或者紋理來描述圖像。在情緒識別任務中，可以從語音和面部表情中識別出情緒。

Blum和Mitchell首次在協同訓練 (Co-Training) 的背景下引入了多視圖學習，用於半監督學習。他們列舉了使用Co-Training的兩個必須的要求：兩組特徵集合應該在條件上獨立於給定的類，並且他們中的任何一個都足以完成分類任務。算法1 (圖5)中給出了僞代碼，在初始迭代中，使用少量的標籤數據訓練兩個分類器。然後在後面的每一次迭代中，每一個分類器都預測無標籤數據的類別標籤，估計其預測的可信程度並按照可信度對無標籤樣本進行排序，把那些最具可信的無標籤數據加入到有標籤數據集中。這麼做的目的是：希望在一個分類器上的分類結果最可信的無標籤數據也能夠爲另一個分類器提供有用的信息。如果一個數據帶有新的可鑑別的信息，那麼該數據對分類器是有用的。也就是說，它靠近決策邊界，因此將其加入到訓練集中可以提高該分類器的分類性能。 Nigam 和 Chain 表明，Co-Training 對視野獨立性的要求很敏感。

圖5 Co-Training 圖示

 

Nigam 和 Ghani 還提出了另外一個多視圖半監督學習算法Co-EM，該方法使用在一個視圖中學習的模型來概率性的標記另一個模型中未標記的數據。直觀的，Co-EM在每個視圖中使用EM算法 (第四節)，並在每次EM迭代之前互換每個視圖中預測的概率標籤。Co-EM被認爲是Co-Training的概率版本，因爲兩種算法都是基於相同的思想：他們使用在一個視圖中獲得的知識，以未標記示例的軟類標籤的形式來訓練另一個視圖。兩種算法之間的主要區別在於：Co-EM不會提交前一次迭代中預測的標籤，因爲它使用的概率標籤可能會在迭代的過程中改變。另外，Co-Training添加到訓練集中的數據後面不會再被訪問到，因此它有可能會在訓練集中添加大量的錯誤標記的示例。

 

標準的協同訓練被應用於那些滿足其條件的問題中，比如需要切分的特徵之間相互獨立。Kiritchenko 在郵件分類中使用了Co-Training，表示電子郵件消息的單詞包被分爲兩個集合：郵件頭部的單詞 ​ 和郵件主體的文字 ​。（其他的應用示例不詳細闡述）

儘管在某些情況下存在兩個或者更多個獨立的視圖，但是在許多實際應用中，其中多個視圖不可用，或者計算上無法爲每個實例提取多個特徵集。

Co-Training被應用在那些無法自然地把特徵分割爲兩個視圖的領域。Nigam和Ghani研究了視圖之間的獨立性對協同訓練的影響，研究結果表明，如果兩個視圖獨立協同訓練的效果明顯優於隨機生成的兩個視圖。尤其是，當協同訓練的兩個視圖真正完全獨立時，協同訓練的結果比EM算法還要好。另外，如果數據集中有較多的榮譽，隨機切分和自然切分得到的兩個視圖在協同訓練中的性能相當。當然，無法保證隨機切分生成的視圖之間相互獨立。

Feger 和 Koprinska 提出了 maxInd來把特徵切分爲兩個視圖。該方法的目標是最小化兩個特徵子集之間的依賴性，使用條件互斥信息condMI來度量其依賴性。結果表示爲一個無向圖，每個葉節點表示特徵，葉節點之間連接的權重爲這兩個特徵的CondMI。圖建立完成之後，接下來就需要把這個圖切分爲兩個特徵數相同的互不連接的子圖。爲了最小化兩個子圖之間的依賴性，切分的時候需要最小化切割掉的邊的權重之和。他們發現maxInd並不優於隨機分裂，一個可能的原因是：協同訓練對於每個視圖內部的特徵之間的依賴性 (intra-dependence) 十分敏感，隨機分裂的內部依賴性低於maxInd和自然獨立分裂。他們的研究表明，每個視圖的內部依賴性與視圖之間的相互依賴性之間存在權衡，最小化相互依賴性會導致最大化每個視圖的內部依賴。此外，因爲CondMI僅僅基於少量的有標籤數據訓練得到，因此使用CondMI衡量特徵之間的依賴性並不精確。

Sakaheldim 和 EI Gayar 提出了一種新的爲Co-Training分割特徵子集的方法，並且將其和已有的人工分割和自然分割進行對比。第一個特徵分割準則基於最大化視圖的視圖的置信度，第二個準則是要同時最大化視圖的置信度和獨立性，使用條件互斥信息度量視圖的依賴性。對於每個視圖，使用有標籤數據訓練一個分類器，分類器對於測試數據平均熵代表這個視圖的置信度。他們的實驗結果表明，使用混合的特徵分割標準比使用單獨的標準更好。最後，他們提出了基於最大化視圖多樣性的第三個標準。在前面提出的三個準則的基礎上，他們使用遺傳算法來優化適應度函數。在兩個數據集上的實驗結果表明，他們提出的分割方法優於隨機分割。（說了半天，也就比隨機分割效果好一點，不實用）

 

7.2 單視圖的基於差異的半監督學習

7.2.1 分類

最近的一些研究嘗試使用不對特徵進行分割的單視圖的協同訓練。Goldman 和 Zhou 首先提出一種單視圖SSL模型叫做Statistical Co-learning，他們使用兩種不同的監督學習方法，假設每種算法都能產生一種假設，即將輸入空間劃分爲一組等價類。舉個栗子，決策樹使用每個葉子一個等價類對輸入空間進行劃分。他們使用十折交叉驗證做以下兩件事：首先，選擇每一次迭代中最可信的樣例；然後結合以上兩個假設空間得到最終的結論。

這樣做的缺點有：

• 假設所使用的算法限制其適用性

• 可用標記數據的數量不足以應用於耗時的交叉驗證

Zhou 和 Goldman後來又提出了另外一種單視圖模型 Democratic Co-learning， 該模型使用了三個或者更多的監督學習算法，並減少統計測試的需要。因此該方法彌補了靜態協同學習的不足，但是其仍然使用耗時的交叉驗證技術來測量置信區間。置信區間是用來選擇最可信的無標籤數據的，然後將他們加入到有標籤數據集中。

 

Tri-Training

後來Zhou 和 Li 提出了一種新的協同訓練方法叫做 Tri-Training，該方法既不需要充分冗餘視圖也不需要使用不同的分類算法。三個分類器最初使用從原始標記的訓練集中使用Bootstrap採樣得到的訓練集進行訓練，在後面的訓練過程中這三個分類器將會被重新定義（訓練），最後的分類結果將由這三個分類器投票決定。Tri-Training模型最初的訓練方法類似於集成學習方法中的Bagging，在有標籤數據集上進行訓練。不過，在後面的每一次迭代中，如果有兩個分類器對於同一個無標籤測試數據的決策結果一樣，那麼這個無標籤數據將會被添加到第三個分類器的訓練集中。由於Tri-Training既不需要多視圖也不依賴於不同的有監督學習算法，相比於之前的協同訓練算法Tri-Training更加實用。不過Tri-Training有兩個限制：

• 集成的大小僅限於3個分類器

• 因爲Bagging被用作整體學習而損失了多樣性

因爲上面的兩個限制，經過多輪迭代之後，由於分類器的訓練數據集越來越相似，3個分類器將會變得相似。分類器的訓練數據集會越來越相似的原因在於：添加到一個分類器中的未標記數據並不會從未標記數據集中刪除，因此在後面的迭代訓練中還可以選擇該示例並將其添加到其他分類器當中。

 

Co-Forest

在Tri-Training的基礎上，Zhou 提出了改進版本Co-Forest，方法如其名，他們使用隨機森林替代Bagging來確保訓練過程中的多樣性。對於每一個分類器​，​稱爲它的協同分類集合。​是一個包含了除​之外的素有分類器的集合。由​投票決定要加入​下一次迭代訓練過程中的新標記示例。

不同於Tri-Training，Co-Forest算法採用隨機森林來保證各個分類器之間的差異性。隨機森林是一個由若干分類決策樹組成的集合。它採用Bagging方法產生各異的訓練集同時使用分類迴歸決策樹作爲元分類器。隨機森林中單科子樹的生長過程可以概括爲：首先可放回地從原標記數據集合中隨機地挑選n個實例（使用Bagging算法獲得）作爲此單顆樹的訓練集並生成一顆分類樹，然後CART隨機地選擇一組特徵對內部節點進行屬性分裂。RF具有很好的魯棒性。

在第t次迭代中，對於每個分類器​，首先估計​的錯誤率​。如果​小於​（第一個條件），​會預測從​中隨機子採樣得到的無標籤數據集合​的標籤。定義集合​包含​中的那些​預測的置信度大於閾值​的無標籤數據，​是​中所有樣本的置信度之和。如果​大於​（第二個條件）並且​小於​ （第三個條件），第​顆樹將會使用最初的有標籤數據集​和無標籤數據集​被重新訓練。需要注意的是，在第0次迭代的時後，訓練第​顆樹的樣本被丟棄並且​並不是永久的被添加到​中。如果在訓練的過程中，沒有分類器​滿足上面的三個條件，算法將會終止。

 

MarginBoost（沒看懂，太高深）

MarginBoost 是AdaBoost的變體，它基於顯示成本函數的最小化。這種函數是爲邊距的標量遞減函數定義的。由於常用的邊界定義不能應用在無標籤數據上，作者將邊界的概念拓展到無標籤數據中。實際上使用MarginBoost分類器的輸出來估計邊界，然後他們重新指定了MariginBoost的代價函數，將其包括標籤數據和無標籤數據。他們使用生成模型作爲基分類器，對於無標籤數據使用EM算法。結果表明在只使用少量的標籤數據時（大約只有5%的有標籤數據），SSMBoost比傳統的AdaBoost算法表現優秀。

 

此處省略部分算法的介紹。

 

CoBC

Abdel Hady 和 Schwenker 提出了一種新的基於差異的單視圖協同訓練算法CoBC，適用於那些可用的數據未由多個冗餘和獨立視圖描述的應用領域。CoBC工作流程如下：首先得到類別的先驗概率，然後使用給定的集成學習算法EnsembleLearn 和基學習算法BaseLearn訓練N個不同的精確分類器​。然後將重複下面的步驟直到達到最大迭代次數​或者​爲空。

<!--待完成-->

 

 

8 和主動學習的結合

半監督學習和主動學習使用不同的方式解決相同的問題。他們的目標都是在提高泛化誤差的同時儘可能地減少標註數據的花費。

 

8.1 基於圖的半監督學習

 

8.2 基於生成模型的半監督學習

 

8.3 基於分歧的半監督學習

 

 

9 結論

在過去的十年裏提出了很多的半監督學習算法，已經發現了很多的理論支持，並且已經有了許多成功的現實世界中的應用。Wang 和 Zhou強調基於單一視圖的有差異協同訓練方法成功的重要因素是在共同訓練的分類中創造了大量的多樣性（分歧），例如通過足夠冗餘和獨立的視圖，標準的協同訓練中人工分裂特徵，不同的監督學習算法，對訓練集的操作等等。

Brown 等人對用於創建不同集合的各種技術進行了廣泛的調查，並對它們進行了分類，形成了多樣性創造方法的初步分類。可以看出，多視圖協同訓練時基於差異的半監督學習的特例。因此數據挖掘社區對更加通用的協同訓練風格的框架感興趣，該框架可以利用集合成員之間的多樣性來正確的預測未標記的數據，以便提高集合的可泛化性。

在現實世界中並沒有一個SSL算法在所有的數據集中都有好的表現，每一個SSL算法都有其優勢，因爲標籤數據在現實世界中算少數，而且並不保證無標籤數據總能對提升模型的性能有幫助。因此在解決實際問題的時候應該選擇那些相符的算法。一般的，如果類產生良好的聚類數據，則生成混合模型的EM算法會是一個很好的選擇；如果特徵自然地分爲兩個或者多個冗餘和獨立的特徵集，那麼標準的Co-Training可能比較適合；如果已經使用了SVM，那麼直推式的SVM是一個自然的選擇。在所有的情況下，自我訓練和CoBC都是使用的包裹 (Wrapper) 方法。