轉自：https://www.jianshu.com/p/2ec5cdc3f1e4
https://baike.baidu.com/item/%E5%8D%8F%E6%96%B9%E5%B7%AE/2185936?fr=aladdin
有改動
1. 寫在前面
爲了便於理解和驗證，可以參考一下，http://www.ab126.com/shuxue/2788.html所提供的協方差的在線計算器。
2. 均值，方差
統計裏最基本的概念就是樣本的均值，方差，或者再加個標準差。假定有一個含有n個樣本的集合X={X1,…,Xn}，依次給出這些概念的公式描述:
很顯然，均值描述的是樣本集合的中間點，它告訴我們的信息是很有限的。
而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合爲例，[0，8，12，20]和[8，9，11，12]，兩個集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，後者是1.8，顯然後者較爲集中，故其標準差小一些，標準差描述的就是這種“散佈度”。
看出方差與標準差關係沒有?
爲什麼除以n-1而不是除以n? 這個稱爲貝塞爾修正。在統計學中樣本的均差多是除以自由度（n-1)，它的意思是樣本能自由選擇的程度,當選到只剩一個時，它不可能再有自由了，所以自由度是（n-1)。這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統計上所謂的“無偏估計”。
下面採用Python演算一下:
參考:https://blog.csdn.net/lyl771857509/article/details/79439184
> import numpy as np
> x=[1,2,3,4]
> print(np.cov(x))</pre>
顯示結果: 1.6666666666666665
3. 協方差
上面幾個統計量看似已經描述的差不多了，但我們應該注意到，標準差和方差一般是用來描述一維數據的，但現實生活我們常常遇到含有多維數據的數據集，這個時候怎麼辦？
協方差該出場了！
協方差可以通俗的理解爲：兩個變量在變化過程中是同方向變化？還是反方向變化？同向或反向程度如何？
協方差（Covariance）在概率論和統計學中用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。
協方差表示的是兩個變量的總體的誤差，這與只表示一個變量誤差的方差不同。 如果兩個變量的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那麼兩個變量之間的協方差就是正值。 如果兩個變量的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那麼兩個變量之間的協方差就是負值。
- 你變大，同時我也變大，說明兩個變量是同向變化的，這時協方差就是正的。
- 你變大，同時我變小，說明兩個變量是反向變化的，這時協方差就是負的。
從數值來看，協方差的數值越大，兩個變量同向程度也就越大。反之亦然。![]()
換種說法:
協方差是度量各個維度偏離其均值的程度。協方差的值如果爲正值，則說明兩者是正相關的，結果爲負值就說明負相關的，如果爲0，也是就是統計上說的“相互獨立”。
與方差對比:
方差是用來度量單個變量“自身變異”大小的總體參數，方差越大表明該變量的變異越大
協方差是用來度量兩個變量之間“協同變異”大小的總體參數，即二個變量相互影響大小的參數，協方差的絕對值越大，則二個變量相互影響越大。
定義
在概率論和統計學中，協方差用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。 [1]
期望值分別爲E[X]與E[Y]的兩個實隨機變量X與Y之間的協方差Cov(X,Y)定義爲：
從直觀上來看，協方差表示的是兩個變量總體誤差的期望。
如果兩個變量的變化趨勢一致，也就是說如果其中一個大於自身的期望值時另外一個也大於自身的期望值，那麼兩個變量之間的協方差就是正值；如果兩個變量的變化趨勢相反，即其中一個變量大於自身的期望值時另外一個卻小於自身的期望值，那麼兩個變量之間的協方差就是負值。
如果X與Y是統計獨立的，那麼二者之間的協方差就是0，因爲兩個獨立的隨機變量滿足E[XY]=E[X]E[Y]。
但是，反過來並不成立。即如果X與Y的協方差爲0，二者並不一定是統計獨立的。
協方差Cov(X,Y)的度量單位是X的協方差乘以Y的協方差。而取決於協方差的相關性，是一個衡量線性獨立的無量綱的數。
協方差爲0的兩個隨機變量稱爲是不相關的。
性質
若兩個隨機變量X和Y相互獨立，則E[(X-E(X))(Y-E(Y))]=0，因而若上述數學期望不爲零，則X和Y必不是相互獨立的，亦即它們之間存在着一定的關係。 [2]
協方差與方差之間有如下關係：
D(X+Y)=D(X)+D(Y)+2Cov(X，Y)
D(X-Y)=D(X)+D(Y)-2Cov(X，Y)
協方差與期望值有如下關係：
Cov(X，Y)=E(XY)-E(X)E(Y)。
協方差的性質：
（1）Cov(X，Y)=Cov(Y，X)；
（2）Cov(aX，bY)=abCov(X，Y)，（a，b是常數）；
（3）Cov(X1+X2，Y)=Cov(X1，Y)+Cov(X2，Y)。
由協方差定義，可以看出Cov(X，X)=D(X)，Cov(Y，Y)=D(Y)。
協方差作爲描述X和Y相關程度的量，在同一物理量綱之下有一定的作用，但同樣的兩個量採用不同的量綱使它們的協方差在數值上表現出很大的差異。爲此引入如下概念：
定義
稱爲隨機變量X和Y的(Pearson)相關係數。
定義
若ρXY=0，則稱X與Y不線性相關。
即ρXY=0的充分必要條件是Cov(X，Y)=0，亦即不相關和協方差爲零是等價的。
定理
設ρXY是隨機變量X和Y的相關係數，則有
（1）∣ρXY∣≤1；
（2）∣ρXY∣=1充分必要條件爲P{Y=aX+b}=1，（a，b爲常數，a≠0）
定義
設X和Y是隨機變量，若E(X^k)，k=1，2，...存在，則稱它爲X的k階原點矩，簡稱k階矩。
若E{[X-E(X)]k}，k=1，2，...存在，則稱它爲X的k階中心矩。
若E{(X^k）（Y^p)}，k、p=1，2，...存在，則稱它爲X和Y的k+p階混合原點矩。
若E{[X-E(X)]^k[Y-E(Y)]^l }，k、l=1，2，...存在，則稱它爲X和Y的k+l階混合中心矩。
顯然，X的數學期望E(X)是X的一階原點矩，方差D(X)是X的二階中心矩，協方差Cov(X，Y)是X和Y的二階混合中心矩。
對於隨機變量序列X1, ...,Xn與Y1, ...,Ym，有
對於隨機變量序列X1, ...,Xn，有
採用協方差在線計算器練習一下：
輸入值 X=1 ,5 ,6
輸入值 Y=4, 2, 9
數目輸入 3
X 平均值 4
Y 平均值 5
協方差（X,Y） 4
計算步驟:
總和(X) =1 + 5 + 6 = 12
X平均值 = 4
總和(Y) =4 + 2 + 9 = 15
Y平均值 = 5
協方差(X,Y) = 總和(xi - x平均值)(yi - y平均值)/(採樣大小 -1)
= (1-4)(4-5)+(5-4)(2-5)+(6-4)(9-5))/2
= 4
4. 協方差矩陣
在分析協方差矩陣之前有必要搞清矩陣維數的概念！以女孩子找對象爲例，一般關心幾個點
這裏是5個維數。如果同時有幾個男孩子備選，則會形成多個行，有對比才有會傷害。
可以這樣形象理解：在女孩心中，多個男孩形成一個個行向量，即多個樣本。
另外，再回憶一下係數矩陣的來歷。含有n個未知量，由m個方程組成線性方程組的一般形式爲：
將係數按它們的位置排列形成一個表格：
這個表格就是方程組的係數矩陣，它的維數是由未知量個數即n來決定的。
下面介紹的協方差矩陣僅與維數有關，和樣本數量無關。
5. 協方差矩陣
我們來計算一下協方差矩陣。
X=np.array([[1,4,4,4] ,[5,3,2,7 ],[6,9,9,2]])
print(np.cov(X, rowvar=False))
對於矩陣來說，matlab把每行看做一個觀察值，把每列當做一個變量，也就是說對於一個4×3的矩陣求協方差矩陣，matlab會認爲存在三個變量，即會求出一個3×3的協方差矩陣。
而Python-NumPy的cov情況略有不同,它默認將每一行視爲一個獨立的變量，所以在上面的例子中，採用rowvar=False使其視每列爲一個變量。
結果如下:
可以看出
- 協方差矩陣滿足，是個對稱的方陣
- 協方差矩陣對角線上的因子其實就是變量的方差：
驗算一下:
輸入值 X= [1, 5, 6]
輸入值 Y= [4 ,3 , 9]
總和(X) =1 + 5 + 6 = 12
X平均值 = 4
總和(Y) =4 + 3 + 9 = 16
Y平均值 = 5.333
協方差(X,Y) = 總和(xi - x平均值)(yi - y平均值)/(採樣大小 -1)
= (1-4)(4-5.333)+(5-4)(3-5.333)+(6-4)(9-5.333))/2
= 4.5
再驗算一下:
輸入值 X= [4 ,3 , 9]
輸入值 Y= [4 ,7 , 2]
總和(X) =4 + 3 + 9 = 16
X平均值 = 5.333
總和(Y) =4 + 7 + 2 = 13
Y平均值 = 4.333
協方差(X,Y) = 總和(xi - x平均值)(yi - y平均值)/(採樣大小 -1)
= (4-5.333)(4-4.333)+(3-5.333)(7-4.333)+(9-5.333)(2-4.333))/2
= -7.167
性質：
分別爲m與n個標量元素的列向量隨機變量X與Y，這兩個變量之間的協方差定義爲m×n矩陣.其中X包含變量X1.X2......Xm，Y包含變量Y1.Y2......Yn，假設X1的期望值爲μ1，Y2的期望值爲v2，那麼在協方差矩陣中（1,2）的元素就是X1和Y2的協方差。
兩個向量變量的協方差Cov(X,Y)與Cov(Y,X)互爲轉置矩陣。
協方差有時也稱爲是兩個隨機變量之間“線性獨立性”的度量，但是這個含義與線性代數中嚴格的線性獨立性線性獨立不同。