【機器學習】筆記之聚類Cluster—— 層次聚類 Hierarchical clustering

本文轉載翻譯自斯坦福大學出版的 Introduction to Information Retrieval

什麼是層次聚類Hierarchical clustering?

平面聚類是高效且概念上簡單的，但它有許多缺點。 算法返回平坦的非結構化簇集合，需要預先指定的簇數目作爲輸入並且這個數目是不確定的。 分層聚類（或分層聚類）輸出層次結構，這種結構比平面聚類返回的非結構化聚類集更具信息性。 分層聚類不需要我們預先指定聚類的數量，並且在IR(Information Retrieval)中使用的大多數分層算法是確定性的。 分層聚類的這些優點以降低效率爲代價。 與K-means和EM的線性複雜度相比，最常見的層次聚類算法具有至少二次的文檔數量的複雜性。

平面和層次聚類在信息檢索中的應用差異很小。 特別是，分層聚類適用於該文章中Table1中所示的任何應用程序。 實際上，我們爲collection clustering提供的示例是分層的。 一般來說，當考慮聚類效率時，我們選擇平面聚類，當平面聚類的潛在問題（不夠結構化，預定數量的聚類，非確定性）成爲關注點時，我們選擇層次聚類。 此外，許多研究人員認爲，層次聚類比平面聚類產生更好的聚類。 但是，在這個問題上沒有達成共識（見第17.9節中的參考文獻）。

我們首先介紹了凝聚層次聚類（第17.1節），並在第17.2-17.4節介紹了四種不同的凝聚算法，它們採用的不同的相似性量度：single-link, complete-link, group-average, and centroid similarity。 然後，我們將在第17.5節討論層次聚類的最優性條件。 第17.6節介紹了自上而下（divisive）的層次聚類。 第17.7節着眼於自動標記聚類，這是人類與聚類輸出交互時必須解決的問題。 我們在第17.8節討論實現問題。 第17.9節提供了進一步閱讀的指示，包括對軟分層聚類的引用，我們在本書中沒有涉及。

凝聚分層聚類(Hierarchical agglomerative clustering):

分層聚類算法可以是自上而下的，也可以是自下而上的。 自下而上算法在開始時將每個文檔視爲單個簇，然後連續地合併（或聚合）簇對，直到所有簇已合併到包含所有文檔的單個簇中。 因此，自下而上的層次聚類稱爲凝聚分層聚類或HAC。在介紹HAC中使用的特定相似性度量之前，我們首先介紹一種以圖形方式描述層次聚類的方法，討論HAC的一些關鍵屬性，並提出一種計算HAC的簡單算法。

HAC聚類通常可視化爲樹狀圖(Dendrogram)，如圖1所示。 每個合併由水平線表示。 水平線的y座標是合併的兩個聚類的相似度（cosine similarity: 1爲完全相似，0爲完全不一樣），其中文檔被視爲單個聚類。 我們將這種相似性稱爲合併簇的組合相似性(combination similarity)。

Figure 1.  A dendrogram of a single-link clustering of 30 documents from Reuters-RCV1. 兩個可能的分割：0.4劃分成24個簇；0.1劃分成12個簇.

通過從底層向上移動到頂層節點，樹形圖允許我們重建已經合併的簇。 例如，我們看到名爲War hero Colin Powell的兩個文件首先在Figure 1中合併，並且在最後一次合併中加入了Ag trade組成了一個包含其他29個文件組成的簇。 HAC的一個基本假設是合併操作是單調的。 單調意味着如果是HAC的連續合併的組合相似性，則成立。分層聚類不需要預先指定數量的聚類。 但是，在某些應用程序中，我們需要像平面聚類一樣對不相交的簇進行分區。 在這些情況下，需要在某個時刻削減層次結構。 可以使用許多標準來確定切割點：

• 削減預先指定的相似度。 例如，如果我們想要最小組合相似度爲0.4的聚類，我們將樹形圖切割爲0.4。 在圖1中，以切割圖表產生了24個聚類（僅將具有高相似性的文檔組合在一起），並將其切割爲，產生12個聚類（一個大型財經新聞聚類和11個較小聚類）。
• 如果兩個連續的組合相似性之間的差距最大，那麼就在此處切割樹。 如此大的差距可以說是“自然的”聚類。 再添加一個簇會顯着降低聚類的質量，因此需要在發生這種急劇下降之前進行切割。 This strategy is analogous to looking for the knee in the -means graph in Figure 16.8 (page 16.8 ).
• 應用公式：

其中指的是導致個簇的層次結構的削減，RSS是剩餘的平方和(residual sum of squares)，是每個額外簇的懲罰。 可以使用另一種失真度量來代替RSS。

• 與平面聚類一樣，我們也可以預先指定聚類的數量並選擇產生聚類的切割點。

一個簡單的HAC算法如Figure 2所示。 我們首先計算相似度矩陣。然後該算法執行步(e.g.10個樣本需要N-1=9次來最終將所有樣本cluster到一起)來合併當前最相似的簇。 在每次迭代中，合併兩個最相似的簇(比如  和 )，將這個簇與其他簇從新計算相似度並更新到相似度矩陣中的行和列。這樣做的目的是利用來表示新合併好的簇。然後將 deactivated，這樣做在以後的迭代中，便用來代表包含的簇，而將不再被考慮（已經被聚類）。合併形成的簇以列表的形式存儲在中。表示哪些羣集仍然可以合併(如前文所說的，若沒有被聚類則否則)。 函數計算簇與簇和合併的相似性。 對於某些HAC算法，只是和的函數，例如，這兩者中的single-link的值。 

Figure 2. A simple, but inefficient HAC algorithm

 

相似性度量：Single-link and complete-link clustering：

                           

Single-link clustering: 在single-link clustering中，兩個聚類的相似性是其最相似成員的相似性。 Single-link合併標準是本地的。 也就是說，我們只關注兩個簇彼此最接近的區域， 其他更遠的簇的整體結構不予考慮。參考Figure 2(a)。

Complete-link clustering: 在Complete-link中，兩個聚類的相似性是它們最不相似的成員的相似性。 這相當於選擇合併具有最小直徑的簇對。 Complete-link合併標準是非本地的; 簇的整個結構可以影響合併決策。 這導致Complete-link傾向於在長的，散亂的簇上選擇具有小直徑的緊密簇，但也導致對異常值的敏感性。 遠離中心的單個文檔可以顯着增加候選合併集羣的直徑，並完全改變最終的集羣。參考Figure 2(b)。

Figure 2. The different notions of cluster similarity used by HAC algorithms

                                

Figure 17.2描繪了八個文檔的Single-link and Complete-link clustering。 前四個步驟，每個步驟產生一個由兩個文檔組成的簇，兩種方法的結果是相同的。 然後Single-link clustering連接上面的兩對，之後是下面的兩對，因爲在聚類相似性的最大相似性定義上，這兩個聚類最接近。 Complete-link clustering連接左兩對（然後是右兩對），因爲根據聚類相似性的最小相似性定義，它們是最接近的對。

                                  

Figure 1是一組文檔的Single-link cluster的示例，Figure 3是同一組文件的Complete-link cluster。當切割Figure 3中的最後一個合併時，我們獲得兩個相似大小的簇。 Figure 1中的樹狀圖沒有這樣的切割可以爲我們提供同樣平衡的聚類。 

 

Figure 3. A dendrogram of a complete-link clustering of 30 documents from Reuters-RCV1. 

Single-link and Complete-link clustering都具有圖形理論解釋。將定義爲合併步驟中的兩個簇的組合相似度，將定義爲已經根據相似度大於的相似度合併好的樹（我的理解：將定義爲截止到第步所合併形成的樹圖）。 在完成了次聚類以後，通過Single-link clustering形成的樹包含了很多connected components，而通過Complete-link形成的樹則包含了很多cliques。

Connected components：A maximal set of connected points such that there is a path connecting each pair.

Clique: A clique is a set of points that are completely linked with each other.

到這爲止，我們要清楚：Single-link clustering在每一次聚類時，只要當前即將要合併的兩個簇中保證有一個樣本樣本對的相似度最大即可。而在Complete-link clustering中，即將要合併的兩個簇必須要保證所有樣本對的相似度都很小（根據兩個簇最不相似的樣本對相似最大，那麼這兩個簇中任意的兩個樣本對的相似度必都大於最不相似樣本對相似度）。就好比是一個朋友圈，這個圈子裏只要有一個人喜歡你，就把你加進來——Single-link cluster；所有人都喜歡你才能把你加進來——Complete-link clustering。

鏈式效應在Figure 1中也很明顯。 Single-link clustering的最後十一個合併（超過行的那些）添加單個文檔或文檔對，可看作是鏈式效應。 Figure 3中的Complete-link clustering避免了這個問題。 當我們在最後一次合併時剪切樹形圖時，文檔被分成兩組大小相等的大小。 通常，我們更想得到一個平均的集羣而不是鏈式的集羣。

但是，Complete-link clustering會遇到不同的問題。 它過分關注異常值，這些點不適合集羣的全局結構。 在Figure 4的示例中，四個文檔由於左邊緣的異常值而被拆分。 在此示例中，Complete-link clustering未找到最直觀的羣集結構。