概率論：多元高斯分佈

一、多元高斯分佈：

一元高斯分佈的概率密度函數如下所示：
$p(x)={1\over\sigma\sqrt{2\pi}}\centerdot e^{-{1\over2}({x-\mu\over\sigma})^2}\quad\quad\quad(1)$

而如果我們對隨機變量X進行標準化，用$Z={X-\mu\over\sigma}$對上式進行換元，可得：
$x(z)=z\centerdot\sigma+\mu$
$p(x(z))={1\over\sigma\sqrt{2\pi}}\centerdot e^{-{1\over2}(z)^2}$
$\therefore1=\int_{-\infty}^{+\infty}p(x(z))dx$

$\quad\quad=\int_{-\infty}^{+\infty}{1\over\sigma\sqrt{2\pi}}\centerdot e^{-{1\over2}(z)^2}dx$

$\quad\quad=\int_{-\infty}^{+\infty}{1\over\sqrt{2\pi}}\centerdot e^{-{1\over2}(z)^2}dz$

此時我們可以說隨機變量$Z\backsim N(0,1)$服從一元標準高斯分佈，其均值$\mu=0$，方差$\sigma^2=1$，概率密度函數爲：

$p(z)={1\over\sqrt{2\pi}}\centerdot e^{-{1\over2}(z)^2}\quad\quad\quad(2)$

1.1 多元標準高斯分佈

多元標準高斯分佈的概率密度函數是由（2）導出的
$假設有隨機向量\overrightarrow{Z}=[Z_1,...,Z_n]^T，其中Z_i\backsim N(0,1)且Z_i,Z_j(i,j=1,...,n\bigwedge i\ne j)彼此獨立，即隨機向量中的每一個隨機變量Z_i都服從標準高斯分佈並且兩兩彼此獨立，則由（2）與獨立隨機變量概率密度函數之間的關係，我們可得隨機向量\overrightarrow{Z}=[Z_1,...,Z_n]^T的聯合概率密度函數爲：$
$p(z_1,...,z_n)=\prod_{i=1}^n{1\over\sqrt{2\pi}}\centerdot e^{-{1\over 2}\centerdot(z_i)^2}={1\over(2\pi)^{n\over2}}\centerdot e^{-{1\over2}\centerdot(Z^TZ)}$
且：$1=\int_{-\infty}^{+\infty}\dots\int_{-\infty}^{+\infty}p(z_1,...,z_n)dz_1...dz_n$

我們稱隨機向量$\overrightarrow{Z}\backsim N(\overrightarrow{0},I)$，即隨機向量服從均值爲零向量，協方差矩陣爲單位矩陣的高斯分佈

1.2 多元高斯分佈

對於普通的隨機向量$\overrightarrow{X}\backsim N(\mu,\Sigma)$，和其每個隨機變量$X_i\backsim N(\mu_i,\sigma_i^2)(i=1,...,n)$且$X_i,X_j(i,j=1,...,n)$彼此不獨立的情況下，我們該怎麼求隨機向量$\overrightarrow{X}$的聯合概率密度函數呢，一個很自然的想法是：如果我們能通過線性變換，使得隨機向量中的每個隨機變量彼此獨立，則我們也可以通過獨立隨機變量概率密度函數之間的關係求出其聯合概率密度函數，事實上，我們有如下的定理可以完成這個工作：

1.2.1 定理1

$若存在隨機向量\overrightarrow{X}\backsim N(\overrightarrow{\mu},\Sigma)，其中\overrightarrow{\mu}\in R^n爲均值向量，\Sigma\in S_{n\times n}爲半正定實對稱矩陣，是\overrightarrow{X}的協方差矩陣，則存在滿秩矩陣B\in R^{n\times n}，使得\overrightarrow{Z}=B^{-1}(\overrightarrow{X}-\overrightarrow{\mu})，而\overrightarrow{Z}\backsim N(\overrightarrow{0},I)$

有了定理1，我們就可以對隨機向量$\overrightarrow{X}$作相應的線性變換，使其隨機變量在線性變換後彼此獨立，從而求出其聯合概率密度函數，具體地：
$\because\overrightarrow{Z}=B^{-1}(\overrightarrow{X}-\overrightarrow{\mu}),Z\backsim N(\overrightarrow{0},I)$

$\therefore p(z_1,...,z_n)={1\over(2\pi)^{n\over2}}\centerdot e^{-{1\over2}\centerdot(Z^TZ)}$

$\quad p(z_1(x_1,...,x_n),...) ={1\over(2\pi)^{n\over2}}\centerdot e^{-{1\over 2}[(B^{-1}(\overrightarrow{X}-\overrightarrow{\mu}))^T(B^{-1}(\overrightarrow{X}-\overrightarrow{\mu}))]}$
$\quad\quad\quad\quad\quad\quad\quad\quad\quad={1\over(2\pi)^{n\over2}}\centerdot e^{-{1\over 2}[(\overrightarrow{X}-\overrightarrow{\mu})^T(BB^T)^{-1}(\overrightarrow{X}-\overrightarrow{\mu})]}\quad\quad\quad\quad (3)$

https://zhuanlan.zhihu.com/p/58987388