PCA 和 SVD

經常把PCA和SVD搞亂了，而且理解不是特別的深，特此記錄，歡迎指正

先扯點線性代數的知識：

（1）設M是n階方陣，如果對任何非零向量z，都有zTMz> 0，其中zT 表示z的轉置，就稱M正定矩陣。

     判定：如果M的特徵值全部爲正，則M也爲正定矩陣。

（2）一個n階方陣A稱爲可逆的，或非奇異的，如果存在一個n階方陣B，使得

      並稱B是A的一個逆矩陣。不可逆的矩陣稱爲奇異矩陣。A的逆矩陣記作A-1。

（3）矩陣{\displaystyle A}的共軛轉置{\displaystyle A^{*}}。，其中{\displaystyle A^{\mathrm {T} }\,\!}是矩陣A的轉置，{\displaystyle {\overline {A}}\,\!}表示對矩陣A中的元素取複共軛。

  如果A的元素是實數，那麼A^*與A的轉置A^T相等

（4）正交矩陣（orthogonal matrix）是一個方塊矩陣Q，其元素爲實數，而且行與列皆爲正交的單位向量，使得該矩陣的轉置矩陣爲其逆矩    陣：

PCA：對於矩陣A，如何A爲可逆矩陣，則存在矩陣P使得A與P^-1Ap相似，相似矩陣具有相同的特徵值。

       如果矩陣A又是對稱矩陣，則存在正交矩陣Q（Q^-1=Q^T），使得：

       則：   

  其中Q爲矩陣A的特徵向量矩陣，爲正交矩陣，中間的對角矩陣爲矩陣A特徵向量矩陣對應的特徵值矩陣

如果A爲正定矩陣，則此時特徵值等於奇異值

SVD:假設M是一個m×n階矩陣，其中的元素全部屬於域K，也就是實數域或複數域。如此則存在一個分解使得

{\displaystyle M=U\Sigma V^{*},\,}

其中U是m×m階正交；Σ是m×n階非負實數對角矩陣；而V*，即V的共軛轉置，是n×n階正交矩陣。這樣的分解就稱作M的奇異值分解。Σ對角線上的元素Σ_i,i即爲M的奇異值。

其中是對角半正定矩陣，U和V是正定矩陣，兩者除了通過矩陣M沒有必然的聯繫。

同時：根據上面，兩者的關係式如下：

{\displaystyle M^{*}M=V\Sigma ^{*}U^{*}\,U\Sigma V^{*}=V(\Sigma ^{*}\Sigma )V^{*}\,}

{\displaystyle MM^{*}=U\Sigma V^{*}\,V\Sigma ^{*}U^{*}=U(\Sigma \Sigma ^{*})U^{*}\,}

關係式的右邊描述了關係式左邊的特徵值分解。於是：

• {\displaystyle V}的列向量（右奇異向量）是{\displaystyle M^{*}M}的特徵向量。
• {\displaystyle U}的列向量（左奇異向量）是{\displaystyle MM^{*}}的特徵向量。
• {\displaystyle \Sigma }的非零對角元（非零奇異值）是{\displaystyle M^{*}M}或者{\displaystyle MM^{*}}的非零特徵值的平方根。

特殊情況下，當M是一個正定方陣，M可以被一組特徵向量對角化，所以它可以表爲：

{\displaystyle M=UDU^{*}}==

其中U爲一個正交矩陣，D爲一個對角陣。這時，奇異值等於特徵值

參考資料：

http://www.cnblogs.com/zhangchaoyang/articles/2222048.html

https://zh.wikipedia.org/wiki/%E5%A5%87%E5%BC%82%E5%80%BC%E5%88%86%E8%A7%A3