方差與協方差

方差

方差是實際值與期望值（均值）之差平方的平均值，衡量的是一組數據對於其期望值的離散程度。

離散型方差

D(X)=∑k=1∞[xk−E(X)]2pk

其中E(X) 是X的期望值，P{X=xk}=pk,k=1,2,... 是X的分佈律。

連續型方差

D(X)=∫∞−∞[x−E(X)]2f(x)dx

其中f(x)是X的概率密度。
由數學期望的性質展開，上面兩式都可得到

D(X)=E(X2)−[E(X)]2

協方差

在概率論和統計學中，協方差用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。期望值分別爲E[X]與E[Y]的兩個隨機變量X與Y之間的協方差Cov(X,Y)定義爲：

Cov(X,Y)=E{[X−E(X)][Y−E(Y)]}=E[XY]−E[X]E[Y]

當 Cov(X, Y)>0時，表明 X與 Y 正相關；
當 Cov(X, Y)<0時，表明 X與 Y 負相關；
當 Cov(X, Y)=0時，表明 X與 Y 不相關。
協方差的絕對值越大，則二個變量相互影響越大。

隨機變量X與Y的相關係數：

ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√

若ρXY=0 ，則稱X與Y不線性相關。
即ρXY=0 的充分必要條件是Cov(X，Y)=0，亦即不相關和協方差爲零是等價的。

兩者關係

D(X±Y)=D(X)+D(Y)±2Cov(X,Y)

特別的，當X，Y是兩個不相關的隨機變量則D(X±Y)=D(X)+D(Y)