convariance協方差

1 方差和協方差

在統計學中，方差是用來度量單個隨機變量的離散程度，而協方差則一般用來刻畫兩個隨機變量的相似程度，其中，方差的計算公式爲

方差

$\sigma_x^2 = \frac 1 {n-1} \Sigma_{i=1}^n (x_i - \bar{x})^2$

協方差

$\sigma(x,y) = \frac 1 {n-1} \Sigma_{i=1}^n (x_i - \bar{x}) (y_i - \bar{y})$

2 協方差矩陣

多個隨機變量的方差

$\sigma(x_k,x_k) = \frac 1 {n-1} \Sigma_{i=1}^n (x_{ki} - \bar{x})^2$

兩兩之間的協方差

$\sigma(x_m,x_k) = \frac 1 {n-1} \Sigma_{i=1}^n (x_{mi} - \bar{x_m}) (x_{ki} - \bar{x_k})$

協方差矩陣
$\Sigma = \begin{bmatrix} \sigma(x_1,x_1) & ... & \sigma(x_1, x_d)\\ ... & ... & ... \\ \sigma(x_d,x_1) & ... & \sigma(x_d, x_d) \end{bmatrix}$

對角線上的元素爲各個隨機變量的方差，非對角線上的元素爲兩兩隨機變量之間的協方差，根據協方差的定義，我們可以認定：矩陣 $\Sigma$ 爲對稱矩陣(symmetric matrix)，其大小爲 $d \times d$

3 多元正態分佈

假設一個向量$\vec x$ 服從均值向量爲 $\vec\mu$，協方差矩陣爲$\Sigma$ 的多元正態分佈。

$p(x) = \frac{1}{\sqrt{2\pi \Sigma}} exp(-\frac12(x-\mu)^T\Sigma^{-1}(x-\mu))$

令$\mu$=0 ,
$p(x)\propto exp(-\frac12 x^T\Sigma^{-1}x)$

參考

• 如何直觀地理解「協方差矩陣」？