多維隨機變量的協方差矩陣
對多維隨機變量X=[X1,X2,…,Xn]T ，我們往往需要計算各維度之間的協方差，這樣協方差就組成了一個n×n 的矩陣，稱爲協方差矩陣。協方差矩陣是一個對角矩陣，對角線上的元素是各維度上隨機變量的方差。 我們定義協方差爲Σ , 矩陣內的元素Σij 爲
Σij=cov(Xi,Xj)=E[(Xi−E(Xi))(Xj−E(Xj))]
協方差矩陣爲
Σ=E[(X−E(X))(X−E(X))T]
=⎡⎣⎢⎢⎢⎢⎢cov(X1,X1)cov(X2,X1)⋮cov(Xn,X1)cov(X1,X2)cov(X2,X2)⋮cov(Xn,X2,)⋯⋯⋮⋯cov(X1,Xn)cov(X2,Xn)⋮cov(Xn,Xn)⎤⎦⎥⎥⎥⎥⎥
樣本的協方差矩陣
與上面的協方差矩陣相同，只是矩陣內各元素以樣本的協方差替換。假設數據集T={xi}mi=1 表示m個樣本， 每個樣本表示爲xi=(xi1,xi2,…,xin)T 。所有樣本可以組成一個m×n 的矩陣。
Xm×n=⎡⎣⎢⎢⎢⎢x11x21⋮xm1x12x22⋮xm2⋯⋯⋮⋯x1nx2n⋮xmn⎤⎦⎥⎥⎥⎥=[c1,c2,…,cn]
每一行代表一個對象，每一類代表一個維度，協方差矩陣，是求維度之間的相關性，而不是對象之間的，所以協方差矩陣的大小與維度相同。
ci 表示第i維的隨機變量。
假設
x¯=(x¯1,x¯2,…,x¯n) , 則有
E(ci)=x¯i 。
用
Σ^ 表示樣本的協方差矩陣，則有
Σ^=⎡⎣⎢⎢⎢⎢⎢cov(c1,c1)cov(c2,c1)⋮cov(cn,c1)cov(c1,c2)cov(c2,c2)⋮cov(cn,c2,)⋯⋯⋮⋯cov(c1,cn)cov(c2,cn)⋮cov(cn,cn)⎤⎦⎥⎥⎥⎥⎥
=1m−1⎡⎣⎢⎢⎢⎢⎢⎢⎢∑mi=1(xi1−x¯1)(xi1−x¯1)∑mi=1(xi2−x¯2)(xi1−x¯1)⋮∑mi=1(xin−x¯n)(xi1−x¯1)∑mi=1(xi1−x¯1)(xi2−x¯2)∑mi=1(xi2−x¯2)(xi2−x¯2)⋮∑mi=1(xin−x¯n)(xi2−x¯2)⋯⋯⋮⋯∑mi=1(xi1−x¯1)(xin−x¯n)∑mi=1(xi2−x¯2)(xin−x¯n)⋮∑mi=1(xin−x¯n)(xin−x¯n)⎤⎦⎥⎥⎥⎥⎥⎥⎥
=1m−1∑mi=1⎡⎣⎢⎢⎢⎢⎢(xi1−x¯1)(xi1−x¯1)(xi2−x¯2)(xi1−x¯1)⋮(xin−x¯n)(xi1−x¯1)(xi1−x¯1)(xi2−x¯2)(xi2−x¯2)(xi2−x¯2)⋮(xin−x¯n)(xi2−x¯2)⋯⋯⋮⋯(xi1−x¯1)(xin−x¯n)(xi2−x¯2)(xin−x¯n)⋮(xin−x¯n)(xin−x¯n)⎤⎦⎥⎥⎥⎥⎥
=1m−1∑mi=1(xi−x¯)(xi−x¯)T
這裏分母爲m−1是因爲隨機變量的數學期望未知，以樣本均值代替，自由度減一。
更詳細的請參考：
http://www.cnblogs.com/terencezhou/p/6235974.html
http://blog.csdn.net/thesnowboy_2/article/details/69564226#協方差
