科研項目1-2：子空間聚類的學習

         項目中的的創新點選擇使用稀疏子空間聚類來對實驗中的數據點進行分割，因此查閱了很多的子空間聚類的文獻，並學習了Nicolas.Gillis的SR_SSC的理論和代碼，現在做一個小小的總結。

      一：子空間聚類       

        從高維數據中，去尋找一個最具代表性的低維子空間，一直都是機器學習和計算機視覺中的一個重要課題。而降維，則是理解和預處理數據集的重要方式，這其中，主成分分析法則是這之中最流行的一種。然而，主成分分析法忽略了數據集中往往包含了不同內在的數據結構的事實。比如，不同的光照下，多個個體的人臉圖像，是屬於多個流形。對於這個問題，我們需要使用多個子空間來逼近，而不是僅僅假設爲一個。這也就是子空間聚類的思想。

        形式上，子空間聚類的問題可以定義爲：給定N個數據點：，來自於n個子空間，其中，   ，其目標是根據數據點所在的子空間對其進行劃分(聚類)，並估計每個聚類對應的子空間參數。

        近幾年，人們提出了許多方法來解決這個問題。它們通常分爲四類：迭代法、統計法、代數法和基於譜的方法。隨着稀疏表示的進展，一組新的方法在基於譜的方法中引起了很多關注。其關鍵思想是每個數據點可以表示爲同一子空間內其他數據點的稀疏線性組合。一種通常被稱爲自我表達的屬性。這一類的三種主要代表方法是稀疏子空間聚類(SSC)、低階表示子空間聚類(LRR)和最小二乘迴歸(LSR)。這三種方法都基於以下模型：

                                                                     （1）

       其中，爲輸入數據，爲噪聲，爲親和矩陣。

      二：稀疏子空間聚類     

       在這裏，項目中主要使用的是稀疏子空間聚類，因此本博客主要記錄了對稀疏子空間聚類的學習和理解。

       公式（1）中的在SSC、LRR、LSR中都存在着不一樣的表示方法，其中，在SSC中，主要表示爲  =  ，表示爲L1範數，用於約束C矩陣的稀疏性。在假設噪聲不存在的理想情況下，將公式(1)進行修改，並使用拉格朗日乘子法。因此，SSC問題可以表示如下：

                                                                                          (2)

對式子(2)進行求解後，獲得，其中表示爲i、j特徵點之間存在着某種聯繫，他們有可能來自於同一子空間。最終，我們設置仿射矩陣，對仿射矩陣W進行譜聚類，最終可以獲取聚類結果。同時，我們可以通過譜聚類，觀察鄰接矩陣的拉普拉斯特徵值的衰減，來估計簇的數量。

       在本人的項目中，主要參考了Nicolas.Gillis的論文《Scalable and Robust Sparse Subspace Clustering Using Randomized Clustering and Multilayer Graphs》，論文從降低SSC本身的LASSO問題的規模入手，利用隨機層次聚類的方法，從原始數據中選出部分數據，其中。我們可以理解爲，從N個數據點中，選擇出k個數據點作爲整個數據集的支持集(錨定點)將自表達公式改爲：，。 由此，SSC的公式可以修改爲：

                                                 

由於，在無任何先驗條件的基礎上，選擇一組具有很好的代表性的D是非常困難的。因此，爲了降低D選擇好壞對算法帶來的決定性，我們選擇L組D的方式，每一組字典集D都進行一次求解，將獲取得到的L組親和矩陣C，通過圖論的方式進行組合，並確定最終的親和矩陣C。因此，我們假定選擇的L組數據集定義爲：，其中。最終的表達式可以表示如下：

                                                          (3)

上述式子(3)可以使用ADMM算法進行求解。