二維高斯分佈（Two-dimensional Gaussian distribution）的參數分析

　　最近在看高斯混合模型（Gaussian Mixture Model, GMM），涉及到高斯分佈的參數。爲此特意回顧了概率論的二維高斯分佈的相關概念，並分析了參數對二維高斯分佈曲面的影響。

1、多維高斯分佈的概率密度函數

　　　
　　多維變量X=(x1,x2,...xn)$X=(x_1,x_2,...x_n)$ 的聯合概率密度函數爲：
　　　　　　　f(X)=1(2π)d/2|Σ|1/2exp[−12(X−u)TΣ−1(X−u)],X=(x1,x2...xn)$f(X)=\frac{1}{{(2\pi )}^{d/2}{\left|\mathrm{\Sigma }\right|}^{1/2}}\exp [-\frac{1}{2}(X-u{)}^T{\mathrm{\Sigma }}^{-1}(X-u)],X=(x_1,x_2...x_n)$
　　其中：
　　d：變量維度。對於二維高斯分佈，有d=2;
　　u=(u1 u2 … un)$u=\left(\begin{array}{l}{u}_1{u}_2\dots u_n\end{array}\right)$ ：各位變量的均值；
　　Σ$\mathrm{\Sigma }$ ：協方差矩陣，描述各維變量之間的相關度。對於二維高斯分佈，有：

Σ=(δ11δ21δ12δ22)$$\mathrm{\Sigma }=\left(\begin{array}{cc}{\delta }_{11}& {\delta }_{12}\\ {\delta }_{21}& {\delta }_{22}\end{array}\right)$$

　　後文主要分析均值和協方差矩陣對二維高斯分佈的影響。

2、均值和協方差矩陣對二維高斯分佈的影響

2.1 u=(0 0),Σ=(3003)$u=\left(\begin{array}{l}00\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}3& 0\\ 0& 3\end{array}\right)$

2.2 u=(4 4),Σ=(3003)$u=\left(\begin{array}{l}44\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}3& 0\\ 0& 3\end{array}\right)$

2.3 u=(0 0),Σ=(30010)$u=\left(\begin{array}{l}00\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}3& 0\\ 0& 10\end{array}\right)$

2.4 u=(0 0),Σ=(10.80.81)$u=\left(\begin{array}{l}00\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}1& 0.8\\ 0.8& 1\end{array}\right)$

2.5 u=(0 0),Σ=(1−0.8−0.81)$u=\left(\begin{array}{l}00\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}1& -0.8\\ -0.8& 1\end{array}\right)$

3、總結

①均值表徵的是各維變量的中心，其對二維高斯曲面的影響較好理解，它使得整個二維高斯曲面在xoy平面上移動；
②對於協方差矩陣，對角線上的兩個元素，即δ11${\delta }_{11}$ 和δ22${\delta }_{22}$ 表徵的是x維和y維變量的方差，決定了整個高斯曲面在某一維度上的“跨度”，方差越大，“跨度”越大；
③協方差矩陣的斜對角線上面的兩個元素，即δ12${\delta }_{12}$ 和δ21${\delta }_{21}$ （δ12${\delta }_{12}$ =δ21${\delta }_{21}$ ）表徵的是各維變量之間的相關性：δ12${\delta }_{12}$ >0說明x與y呈正相關（x越大，y越大），其值越大，正相關程度越大；δ12${\delta }_{12}$ <0呈負相關；否則不相關。