[機器學習]PCA 和協方差矩陣

<p><strong>1.</strong></p><p><strong>PCA 和協方差矩陣</strong></p><p><strong> </strong></p><p><strong>已知一組數據的協方差矩陣P,下面關於主分量說法錯誤的是(C)</strong></p><p>A主分量分析的最佳準則是對一組數據進行按一組正交基分解, 在只取相同數量分量的條件下,以均方誤差計算截尾誤差最小 </p><p>B在經主分量分解後,協方差矩陣成爲對角矩陣</p><p>C主分量分析就是K-L變換</p><p>D主分量是通過求協方差矩陣的特徵值得到</p><p> </p><p>PCA 是一種降維方法，通過線性變換投影將高維數據投影到低維空間上。要找出最能代表原始數據的投影方法，即使得降維後的數據不失真，也就是說被PCA降掉的維度只是噪聲或者是冗餘數據。</p><p>因此PCA的目的就是降低噪聲和去除冗餘，使得降低維度的同時保持數據原有特徵不失真。</p><p> </p><p>降噪-> 使保留下來的維度空間的相關性儘可能小</p><p>去冗-> 使保留下來的維度的方差儘可能大</p><p> </p><p>用什麼數據結構可以同時表現出不同維度間的相關性已經各個維度上的方差呢？</p><p>當然是協方差矩陣。協方差矩陣度量的是維度與維度之間的關係，而非樣本與樣本之間的關係。</p><p>協方差矩陣的主對角線上的元素是各個維度的方差，即能量。</p><p>協方差矩陣其他上的元素是兩兩維度間的方差，即相關性。</p><p> </p><p>降噪：使得不同維度之間的相關性儘可能的小，也就是說讓協方差矩陣中非對角線元素都基本爲0；（通過線性代數中的矩陣對角化實現-ＰＣＡ的本質）</p><p>去冗：對角線上較小的新方差就是那些該去掉的維度，所以我們只取那些含有較大能量的維度，其餘的去掉即可。</p><p> </p><p>ＰＣＡ流程：</p><p>1.      形成樣本矩陣S，樣本中心化</p><p>2.      計算樣本矩陣的協方差矩陣C</p><p>3.      對協方差矩陣進行特徵值分解，選取最大的P個特徵值對應的特徵向量組成投影矩陣P</p><p>4.      對原始樣本矩陣S 進行投影，得到降維後的新樣本矩陣S1=S*P。</p><p> </p><p><span style="color:rgb(68, 68, 68);">是不同的概念，</span><span style="color:rgb(68, 68, 68);">PCA</span><span style="color:rgb(68, 68, 68);">的變換矩陣是協方差矩陣，</span><span style="color:rgb(68, 68, 68);">K-L</span><span style="color:rgb(68, 68, 68);">變換的變換矩陣可以有很多種（二階矩陣、協方差矩陣、總類內離散度矩陣等等）。當</span><span style="color:rgb(68, 68, 68);">K-L</span><span style="color:rgb(68, 68, 68);">變換矩陣爲協方差矩陣時，等同於</span><span style="color:rgb(68, 68, 68);">PCA</span><span style="color:rgb(68, 68, 68);">。</span></p>