2019.11.27 關於方差與協方差

在概率論中學過期望，方差，協方差和相關係數，現在又跳出來個協方差矩陣，來看下協方差和協方差矩陣的實際意義

1. 協方差

   用來描述兩個隨機變量之間的相關性，其定義爲
   $COV(X,Y)=E[XY]-E[X]E[Y]=E[X-E[X]][Y-E[Y]]$
   協方差的數值計算公式
   $COV(x,y)=\frac{\displaystyle\sum_{i=1}^{n}{(x_i-\overline{x})(y_i-\overline{y})}}{n-1}$
   注意區別這兩個公式，上面那個是大寫字母下面是小寫字母，大寫字母表示隨機變量，服從一定的分佈，比如正態分佈等；小寫字母表示數字或者矩陣，是可以把值代入計算的。

   特例
   $COV(X,X)=D(X)$
   協方差的值如果是正數，說明兩者是正相關的，如果是負數，說明兩者是負相關的，如果是0，說明兩者無關。

   定義相關係數${\rho}$
   $\rho_{XY}=\frac{COV(X,Y)}{\sqrt{D(X)D(Y)}}$
   表示X,Y兩者之間的相關性，$|\rho_{XY}|=1$表示兩者之間完全相關，$\rho_{XY}=0$表示兩者之間不相關,$\rho_{XY}$範圍是-1到+1

   ---

2. 協方差矩陣

   先介紹二維隨機變量的協方差矩陣
   $\begin{bmatrix} c_{11} & c_{12}\\ c_{21} & c_{22}\\ \end{bmatrix}$
   其中$c_{ij}=COV(X_i,Y_j)=E[X_iY_j]-E[X_i]E[Y_j]=E[X_i-E[X_i]][Y_j-E[Y_j]]$

   並且$c_{ij}=c_{ji},{i}\neq{j},{i,j=1\dots{n}}$

   再介紹n維隨機變量的協方差矩陣
   $\begin{bmatrix} c_{11} & c_{12} & \cdots & c_{1n}\\ c_{21} & c_{22} & \cdots & c_{2n}\\ \vdots & \vdots & & \vdots\\ c_{n1} & c_{n2} & \cdots & c_{nn}\\ \end{bmatrix}$
   不難看出，協方差矩陣是個對稱陣

   ---

3. 那麼協方差矩陣有什麼用呢？

   對於二維空間我們可以只使用一個協方差來表示兩個隨機變量的關係，但是對於n維空間，我們就需要多個協方差來表示n個隨機變量之間的關係，考慮使用矩陣來表示更爲簡便，因此有如上定義，注意上述協方差矩陣的定義是隨機變量而不是數值，所以把數值帶進去計算是根本不對的，而對於協方差數值計算公式把隨機變量代入也是不對的。

   ---

4. 協方差一定是個方陣，n維的協方差矩陣維數爲n×n，對於協方差計算公式，注意，協方差矩陣是針對維數而言的，而不是針對輸入樣本個數而言的，當輸入樣本個數爲3，維數爲4，即3×4的矩陣，計算出的協方差矩陣維數爲4×4

   ---

   $num$爲隨機生成的$3\times4$矩陣，$pp$爲其協方差矩陣

5. >>>> num = rand(3,4)
   
   num =
   
       0.9049    0.1111    0.5949    0.7112
       0.9797    0.2581    0.2622    0.2217
       0.4389    0.4087    0.6028    0.1174
   
   >> pp = cov(num)
   
   pp =
   
       0.0859   -0.0349   -0.0355    0.0494
      -0.0349    0.0221    0.0008   -0.0441
      -0.0355    0.0008    0.0378    0.0204
       0.0494   -0.0441    0.0204    0.1005
   

   ---

6. 我們也可以使用上述協方差計算公式來進行驗證，我們以$c_{11}$爲例，不難發現，$c_{11}$其實就是計算$num$第一列的方差

   >> var(num(:,1))
   
   ans =
   
       0.0859
   

   再次計算$c_{12}$，使用上述協方差計算公式

   >> 0.5 * sum((num(:,1) - mean(num(:,1))) .* (num(:,2) - mean(num(:,2))))
   
   ans =
   
      -0.0349
   

   即證

7. 其實我更感興趣的是協方差矩陣對於陣列信號處理有什麼用，但是現在並沒有找到，只在論文中看到了具有任意協方差矩陣的噪聲或者干擾環境，有機會再補上