Linkage Based Face Clustering via Graph Convolution Network

Linkage Based Face Clustering via Graph Convolution Network

本文使用圖卷積做基於邊預測的臉聚類，如果兩個點屬於同一類，那麼這兩個點之間就會有一條邊連接，最後找出所有的圖即找到了所有的簇，也不用事先指定簇的個數。本文只考慮局部信息，即一個節點和它的鄰居節點，最後再將所有的子圖的聚合，得到所有節點的聚類結果。

問題定義

假設現在有臉圖像的特徵集合$X=[x_1,...,x_N]^T\in \mathbb{R}^{N\times D}$，臉聚類的目標是將假的標籤$y_i$賦給每一個樣本，有相同假標籤的樣本屬於同一類，爲了解決這個問題，我們遵循基於連接的聚類，該範式旨在預測實例對之間連接的可能性。因此，所有樣本通過邊連接便形成了一個一個簇。

整個模型分爲三部分：

IPS的構建

使用每一個節點作爲中樞節點，構建一箇中樞節點的子圖，即爲IPS，IPS是一個以中樞節點p爲中心的子圖。IPS的構建過程分爲三步：

1. 給定一箇中樞p，使用它最多h跳的節點作爲IPS的節點，在每一跳中，包括的最近鄰的個數可能不同，本文會預先指定好每一跳包含的最近鄰的個數。需要注意的是，中樞節點不包含在IPS之中，這時候，高位的鄰居節點就可以提供在中樞和鄰居之間的局部結構的上下文信息。舉例來講，如果p和他的鄰居之一q一直離得很遠，那麼這兩個點之間有一條邊相連接的概率就比較小
2. 之後對每個鄰居節點做正則化，其實就是用每一個鄰居節點的特徵減去中樞節點的特徵，這樣可以將中樞節點的信息包含到IPS之中
3. 之後就是添加邊，首先找到在最原始圖中每個節點的u近鄰，如果這兩個節點都在上面的子圖中，那麼這兩個節點之間就有一條邊，可以得到鄰接矩陣A。這個過程可以保證節點的度不會變化太多

IPS的圖卷積

本文使用了現在現有的圖卷積框架，輸入是上面得到的節點特徵和鄰接矩陣A，每次卷積前會將原始特徵和聚合後的鄰居節點特徵拼接，最後每個節點的輸出加上softmax進行分類，計算loss只用一跳的節點，因爲一跳的節點中正樣本更多，這樣正負樣本就會更加均衡

邊融合

爲了在許多的臉數據上進行聚類，我們遍歷了所有樣本，以每個樣本爲中心節點構建IPS，預測IPS中的節點和中樞節點連接的可能性，最終就可以得到一系列邊權重的組合，本文使用label傳播的策略切掉一些邊形成簇，在每一輪迭代中，算法切掉低於閾值的邊，將大小超過預先設定的大小的簇放入隊列，下一輪迭代，將邊的閾值增加，知道隊列爲空。