典型關聯分析（Canonical Correlation Analysis）

1. 問題

在線性迴歸中，我們使用直線來擬合樣本點，尋找n維特徵向量X和輸出結果（或者叫做label）Y之間的線性關係。其中，。然而當Y也是多維時，或者說Y也有多個特徵時，我們希望分析出X和Y的關係。

當然我們仍然可以使用迴歸的方法來分析，做法如下：

假設，，那麼可以建立等式Y=AX如下

其中，形式和線性迴歸一樣，需要訓練m次得到m個。

這樣做的一個缺點是，Y中的每個特徵都與X的所有特徵關聯，Y中的特徵之間沒有什麼聯繫。

我們想換一種思路來看這個問題，如果將X和Y都看成整體，考察這兩個整體之間的關係。我們將整體表示成X和Y各自特徵間的線性組合，也就是考察和之間的關係。

這樣的應用其實很多，舉個簡單的例子。我們想考察一個人解題能力X（解題速度，解題正確率）與他/她的閱讀能力Y（閱讀速度，理解程度）之間的關係，那麼形式化爲：

和

然後使用Pearson相關係數

來度量u和v的關係，我們期望尋求一組最優的解a和b，使得Corr(u, v)最大，這樣得到的a和b就是使得u和v就有最大關聯的權重。

到這裏，基本上介紹了典型相關分析的目的。

2. CCA表示與求解

給定兩組向量和（替換之前的x爲，y爲），維度爲，維度爲，默認。形式化表示如下：

是x的協方差矩陣；左上角是自己的協方差矩陣；右上角是；左下角是，也是的轉置；右下角是的協方差矩陣。

與之前一樣，我們從和的整體入手，定義

我們可以算出u和v的方差和協方差：

上面的結果其實很好算，推導一下第一個吧：

最後，我們需要算Corr(u,v)了

我們期望Corr(u,v)越大越好，關於Pearson相關係數，《數據挖掘導論》給出了一個很好的圖來說明：

橫軸是u，縱軸是v，這裏我們期望通過調整a和b使得u和v的關係越像最後一個圖越好。其實第一個圖和最後一個圖有聯繫的，我們可以調整a和b的符號，使得從第一個圖變爲最後一個。

接下來我們求解a和b。

回想在LDA中，也得到了類似Corr(u,v)的公式，我們在求解時固定了分母，來求分子（避免a和b同時擴大n倍仍然符號解條件的情況出現）。這裏我們同樣這麼做。

這個優化問題的條件是：

Maximize

Subject to:

求解方法是構造Lagrangian等式，這裏我簡單推導如下：

求導，得

令導數爲0後，得到方程組：

第一個等式左乘，第二個左乘，再根據，得到

也就是說求出的即是Corr(u,v)，只需找最大即可。

讓我們把上面的方程組進一步簡化，並寫成矩陣形式，得到

寫成矩陣形式

令

那麼上式可以寫作：

顯然，又回到了求特徵值的老路上了，只要求得的最大特徵值，那麼Corr(u,v)和a和b都可以求出。

在上面的推導過程中，我們假設了和均可逆。一般情況下都是可逆的，只有存在特徵間線性相關時會出現不可逆的情況，在本文最後會提到不可逆的處理辦法。

再次審視一下，如果直接去計算的特徵值，複雜度有點高。我們將第二個式子代入第一個，得

這樣先對求特徵值和特徵向量，然後根據第二個式子求得b。

待會舉個例子說明求解過程。

假設按照上述過程，得到了最大時的和。那麼和稱爲典型變量（canonical variates），即是u和v的相關係數。

最後，我們得到u和v的等式爲：

我們也可以接着去尋找第二組典型變量對，其最優化條件是

Maximize

Subject to:

其實第二組約束條件就是。

計算步驟同第一組計算方法，只不過是取的第二大特徵值。

得到的和其實也滿足

即

總結一下，i和j分別表示和得到結果

3. CCA計算例子

我們回到之前的評價一個人解題和其閱讀能力的關係的例子。假設我們通過對樣本計算協方差矩陣得到如下結果：

然後求，得

這裏的A和前面的中的A不是一回事（這裏符號有點亂，不好意思）。

然後對A求特徵值和特徵向量，得到

然後求b，之前我們說的方法是根據求b，這裏，我們也可以採用類似求a的方法來求b。

回想之前的等式

我們將上面的式子代入下面的，得

然後直接對求特徵向量即可，注意和的特徵值相同，這個可以自己證明下。

不管使用哪種方法，

這裏我們得到a和b的兩組向量，到這還沒完，我們需要讓它們滿足之前的約束條件

這裏的應該是我們之前得到的VecA中的列向量的m倍，我們只需要求得m，然後將VecA中的列向量乘以m即可。

這裏的是VecA的列向量。

因此最後的a和b爲：

第一組典型變量爲

相關係數

第二組典型變量爲

相關係數

這裏的（解題速度），（解題正確率），（閱讀速度），（閱讀理解程度）。他們前面的係數意思不是特徵對單個u或v的貢獻比重，而是從u和v整體關係看，當兩者關係最密切時，特徵計算時的權重。

4. Kernel Canonical Correlation Analysis（KCCA）

通常當我們發現特徵的線性組合效果不夠好或者兩組集合關係是非線性的時候，我們會嘗試核函數方法，這裏我們繼續介紹Kernel CCA。

在《支持向量機-核函數》那一篇中，大致介紹了一下核函數，這裏再簡單提一下：

當我們對兩個向量作內積的時候

我們可以使用，來替代和，比如原來的特徵向量爲，那麼

我們可以定義

如果與的構造一樣，那麼

這樣，僅通過計算x和y的內積的平方就可以達到在高維空間（這裏爲）中計算和內積的效果。

由核函數，我們可以得到核矩陣K，其中

即第行第列的元素是第個和第個樣例在覈函數下的內積。

一個很好的核函數定義：

其中樣例x有n個特徵，經過變換後，從n維特徵上升到了N維特徵，其中每一個特徵是。

回到CCA，我們在使用核函數之前

這裏假設x和y都是n維的，引入核函數後，和變爲了N維。

使用核函數後，u和v的公式爲：

這裏的c和d都是N維向量。

現在我們有樣本，這裏的表示樣本x的第i個樣例，是n維向量。

根據前面說過的相關係數，構造拉格朗日公式如下：

其中

然後讓L對a求導，令導數等於0，得到（這一步我沒有驗證，待會從宏觀上解釋一下）

同樣對b求導，令導數等於0，得到

求出c和d幹嘛呢？c和d只是的係數而已，按照原始的CCA做法去做就行了唄，爲了再引入和？

回答這個問題要從核函數的意義上來說明。核函數初衷是希望在式子中有，然後用K替換之，根本沒有打算去計算出實際的。因此即是按照原始CCA的方式計算出了c和d，也是沒用的，因爲根本有沒有實際的讓我們去做。另一個原因是核函數比如高斯徑向基核函數可以上升到無限維，N是無窮的，因此c和d也是無窮維的，根本沒辦法直接計算出來。我們的思路是在原始的空間中構造出權重和，然後利用將和上升到高維，他們在高維對應的權重就是c和d。

雖然和是在原始空間中（維度爲樣例個數M），但其作用點不是在原始特徵上，而是原始樣例上。看上面得出的c和d的公式就知道。通過控制每個高維樣例的權重，來控制c。

好了，接下來我們看看使用和後，u和v的變化

表示可以將第i個樣例上升到的N維向量，意義可以類比原始CCA的x。

鑑於這樣表示接下來會越來越複雜，改用矩陣形式表示。

簡寫爲

其中X（M×N）爲

我們發現

我們可以算出u和v的方差和協方差（這裏實際上事先對樣本和做了均值歸0處理）：

這裏和維度可以不一樣。

最後，我們得到Corr(u,v)

可以看到，在將和處理成，後，得到的結果和之前形式基本一樣，只是將替換成了兩個K乘積。

因此，得到的結果也是一樣的，之前是

其中

引入核函數後，得到

其中

注意這裏的兩個w有點區別，前面的維度和x的特徵數相同，維度和y的特徵數相同。後面的維度和x的樣例數相同，維度和y的樣例數相同，嚴格來說“維度=維度”。

5. 其他話題

1、當協方差矩陣不可逆時，怎麼辦？

要進行regularization。

一種方法是將前面的KCCA中的拉格朗日等式加上二次正則化項，即：

這樣求導後得到的等式中，等式右邊的矩陣一定是正定矩陣。

第二種方法是在Pearson係數的分母上加入正則化項，同樣結果也一定可逆。

2、求Kernel矩陣效率不高怎麼辦？

使用Cholesky decomposition壓縮法或者部分Gram-Schmidt正交化法，。

3、怎麼使用CCA用來做預測？

　　

4、如果有多個集合怎麼辦？X、Y、Z…？怎麼衡量多個樣本集的關係？

這個稱爲Generalization of the Canonical Correlation。方法是使得兩兩集合的距離差之和最小。可以參考文獻2。

6. 參考文獻

1、 http://www.stat.tamu.edu/~rrhocking/stat636/LEC-9.636.pdf

2、 Canonical correlation analysis: An overview with application to learning methods. David R. Hardoon , Sandor Szedmak and John Shawe-Taylor

3、 A kernel method for canonical correlation analysis. Shotaro Akaho

4、 Canonical Correlation a Tutorial. Magnus Borga

5、 Kernel Canonical Correlation Analysis. Max Welling