概率論：協方差矩陣

一、協方差矩陣

1.1 從方差/協方差到協方差矩陣

根據方差的定義，給定$d$個隨機變量$x_k,i=1,2,...,d$，則這些隨機變量的方差爲：

$\sigma(x_k,x_k)={1\over n-1}\sum_{i=i}^n(x_{ki}-\overline{x}_k)^2$

其中$x_{ki}$表示隨機變量$x_k$中的第$i$個觀測樣本，$n$表示樣本量，每個隨機變量所對應的觀測樣本數均爲$n$

對於這些隨機變量，我們還可以根據協方差的定義，求出兩兩之間的協方差，即：

$\sigma(x_m,x_k)={1\over n-1}\sum_{i=1}^n(x_{mi}-\overline{x}_m)(x_{ki}-\overline{x}_k)$

爲了表示這d個隨機變量兩兩間的相關關係，提出了協方差矩陣的概念，協方差矩陣形式如下：

$\Sigma=\begin{bmatrix}\sigma(x_1,x_1)&\sigma(x_1,x_2)&\dots&\sigma(x_1,x_n)\\\sigma(x_2,x_1)&\sigma(x_2,x_2)&\dots&\sigma(x_2,x_n)\\\vdots&\vdots&\ddots&\vdots\\\sigma(x_n,x_1)&\sigma(x_n,x_2)&\dots&\sigma(x_n,x_n)\end{bmatrix}\in R^{d\times d}$

其中，對角線上的元素爲各個隨機變量的方差，非對角線上的元素爲兩兩隨機變量之間的協方差，根據協方差的定義，我們可以知道協方差矩陣是一個對稱矩陣。

1.2 多元正態分佈與線性變換

假設一個向量$x$服從均值向量爲$\mu$、協方差矩陣爲$\Sigma$的多元正態分佈，則：

$p(x)={1\over\sqrt{2\pi\Sigma}}e^{-{1\over2}(x-\mu)^T\Sigma^{-1}(x-\mu)}$

令該分佈的均值向量爲$\mu=0$，由於指數項外面的係數$|2\pi\Sigma|^{-{1\over2}}$通常是常數，故可將多元正態分佈簡化爲

$p(x)\varpropto exp(-{1\over2}x^T\Sigma^{-1}x)$

此時用二元正態分佈實例化這個分佈，令$x=(y,z)^T$，包含兩個隨機變量$y$和$z$，則協方差矩陣可寫成如下形式：

$\Sigma=\begin{bmatrix}\sigma(y,y)&\sigma(y,z)\\\sigma(z,y)&\sigma(z,z)\end{bmatrix}\in R^{2\times2}$

假設這個協方差矩陣爲單位矩陣，生成若干個隨機數如下圖所示：

在生成的若干個隨機數中，每個點的似然爲：

$L(x)\varpropto exp(-{1\over2}x^Tx)$

對上圖中的每個點都考慮一步線性變換：$t=A(x)$，我們可以得到圖二：