協方差矩陣相關概念、性質、應用意義及矩陣特徵向量的用處

1.協方差矩陣的概念：

這裏在講述協方差矩陣的性質之前先講解一下協方差、方差以及兩者之間的關係【統計學中的樣本方差、樣本均值看我的另外一篇文章{   淺談均值、方差、標準差、協方差的概念及意義  }】

一：方差：描述的是樣本集合的各個樣本點到均值的距離之平均，一般是用來描述一維數據的。

方差是用來衡量單個變量“自身變異”大小的總體參數，方差越大表明該變量的變異越大。

二：協方差是用來衡量兩個變量之間“協同變異大小的總體參數，即二個變量相互影響的大小的參數，協方差的絕對值越大，則兩個變量相互影響越大。”

協方差的性質：①. 是一種用來衡量兩個隨機變量 關係的統計量。②. 只能處理二維問題。③. 計算協方差需要計算均值。

如下式：   定義 量E｛[X-E(X)] [Y-E(Y)]｝稱爲隨機變量X和Y的協方差。記爲Cov(X，Y),即

Cov(X，Y)=E｛[X-E(X)] [Y-E(Y)]｝而 稱爲隨機變量X和Y的相關係數。

當上式結果爲正時表示隨機變量X和Y正相關，爲負值是表示隨機變量X和Y爲負相關，結果爲0表示兩者相互獨立，無關。

三：方差與協方差的關係

Cov(X，Y)=Cov(Y，X)；Cov(X，X)=D(X).

對任意兩個隨機變量X和Y，下列等式成立：D(X+Y)=D(X)+D(Y)+2Cov(X，Y)。

將Cov(X，Y)的定義式展開，易得Cov(X，Y)=E(XY)-E(X)E(Y)

2.協方差矩陣的性質：

①. 協方差矩陣能處理多維問題；

②. 協方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差；

③. 協方差矩陣計算的是不同維度之間的協方差，而不是不同樣本之間的；

④. 樣本矩陣中若每行是一個樣本，則每列爲一個維度，所以計算協方差時要按照列計算均值。

如果數據是3維的，那麼協方差矩陣是：

由性質④可知：

詳細實例請看連接文章：http://blog.csdn.net/ybdesire/article/details/6270328/

協方差(i，j)=(第 i 列所有元素中每個元素都 - 第 i 列均值)*(第 j 列所有元素 - 第 j 列均值)

協方差的matlab計算公式則爲：協方差(i，j)=(第 i 列所有元素中每個元素都 - 第 i 列均值)*(第 j 列所有元素 - 第 j 列均值)/(樣本數-1)

3.矩陣特徵值、特徵向量以及局部座標系之間的關係

關於特徵值及特徵向量的相關概念參考線性代數有關知識點：這裏先來了解兩個定理：

定理1：設r1、r2、...rm是方陣A的m個特徵值，p1、p2、...pm依次是與之對應的特徵向量，如果r1、r2、...rm各不相等，則p1、p2、...pm線性無關。

定理2：設r1、r2是對稱矩陣A的兩個特徵值，p1、p2是對應的特徵向量，若r1與r2不想等，則p1和p2正交。

線性變化：

線性變換(線性映射)是在作用於兩個向量空間之間的函數，它保持向量加法和標量乘法的運算，從一個向量空間變化到另一個向量空間。實際上線性變換表現出來的就是一個矩陣。

特徵值和特徵向量是一體的概念：

對於一個給定的線性變換（矩陣A），它的特徵向量 ξ 經過這個線性變換之後，得到的新向量仍然與原來的ξ保持在同一條直線上，但其長度也許會改變。一個特徵向量的長度在該線性變換下縮放的比例(λ)稱爲其特徵值（本徵值）。

數學描述：Aξ=λξ

 在線性變換A的作用下，向量ξ僅僅在尺度上變爲原來的λ倍。稱ξ是線性變換A的一個特徵向量，λ是對應的特徵值。

1. 矩陣是一個表示二維空間的數組，矩陣可以看做是一個變換。在線性代數中，矩陣可以把一個向量變換到另一個位置，或者說從一個座標系變換到另一個座標系。矩陣的“基”，實際就是變換時所用的座標系。
2. 矩陣乘法對應了一個變換，是把任意一個向量變成另一個方向或長度都大多不同的新向量。在這個變換的過程中，原向量主要發生旋轉、伸縮的變化。如果矩陣對某一個向量或某些向量只發生伸縮變換，不對這些向量產生旋轉的效果，那麼這些向量就稱爲這個矩陣的特徵向量，伸縮的比例就是特徵值。
3. 任意給定一個矩陣A，並不是對所有的向量x它都能拉長（縮短）。凡是能被矩陣A拉長（縮短）的向量就稱爲矩陣A的特徵向量（Eigenvector）；拉長（縮短）的量就是這個特徵向量對應的特徵值（Eigenvalue）。
4. 一個矩陣可能可以拉長（縮短）多個向量，因此它就可能有多個特徵值。
5. 對於實對稱矩陣來說，不同特徵值對應的特徵向量必定正交。
6. 一個變換矩陣的所有特徵向量組成了這個變換矩陣的一組基。所謂基，可以理解爲座標系的軸。我們平常用到的大多是直角座標系，在線性代數中可以把這個座標系扭曲、拉伸、旋轉，稱爲基變換。我們可以按需求去設定基，但是基的軸之間必須是線性無關的，也就是保證座標系的不同軸不要指向同一個方向或可以被別的軸組合而成，否則的話原來的空間就“撐”不起來了。在主成分分析（PCA）中，我們通過在拉伸最大的方向設置基，忽略一些小的量，可以極大的壓縮數據而減小失真。
7. 變換矩陣的所有特徵向量作爲空間的基之所以重要，是因爲在這些方向上變換矩陣可以拉伸向量而不必扭曲它，使得計算大爲簡單。因此特徵值固然重要，但我們的終極目標卻是特徵向量。
8. 同一特徵值的任意多個特徵向量的線性組合仍然是A屬於同一特徵值的特徵向量。

　　顧名思義，特徵值和特徵向量表達了一個線性變換的特徵。在物理意義上，一個高維空間的線性變換可以想象是在對一個向量在各個方向上進行了不同程度的變換，而特徵向量之間是線性無關的，它們對應了最主要的變換方向，同時特徵值表達了相應的變換程度。

　　具體的說，求特徵向量，就是把矩陣A所代表的空間進行正交分解，使得A的向量集合可以表示爲每個向量a在各個特徵向量上的投影長度。我們通常求特徵值和特徵向量即爲求出這個矩陣能使哪些向量只發生拉伸，而方向不發生變化，觀察其發生拉伸的程度。這樣做的意義在於，看清一個矩陣在哪些方面能產生最大的分散度（scatter），減少重疊，意味着更多的信息被保留下來。