矩陣正態分佈

正態分佈

關於正態分佈的由來，在文章《正態分佈的前世今生》中寫的很清楚，正態分佈是由二項分佈而來。正態分佈的密度形式首次發現是在棣莫弗-拉普拉斯中心極限定理中。讀者可以通過以下幾個鏈接深入瞭解正態分佈的含義
正態分佈的前世今生（上）
正態分佈的前世今生（下）
爲什麼正態分佈如此常見

棣莫弗-拉普拉斯中心極限定理
設隨機變量Xn(n=1,2,⋯)$X_n(n=1,2,\cdots )$ 服從參數爲n,p（0<p<1）$n,p（0<p<1）$ 的二項分佈，則對於任意x$x$ ， 有

limn→∞P{Xn−npnp(1−p)−−−−−−−−√≤x}=∫x−∞12π−−√exp(−t22)dt=Φ(x)(1)$$\begin{array}{}\text{(1)}& \underset{n\to \mathrm{\infty }}{lim}\text{P}\left\{\frac{X_n-np}{\sqrt{np(1-p)}}\le x\right\}={\int }_{-\mathrm{\infty }}^x\frac{1}{\sqrt{2\pi }}\exp \left(-\frac{t^2}{2}\right)\text{d}t=\mathrm{\Phi }(x)\end{array}$$

從該定理中可以看出，當n→∞$n\to \mathrm{\infty }$ 時候，可以用二項分佈趨於高斯分佈。我們可以通過棣莫弗-拉普拉斯中心極限定理來計算二項分佈的概率。

設隨機變量隨機變量X$X$ 服從正態分佈（高斯分佈）X∼N(μ,σ22)$X\sim \mathcal{N}(\mu ,{\sigma }_2^2)$ ，則其概率密度函數表示爲

p(x)=12πσ2−−−−√exp[−(x−μ)22σ](2)$$\begin{array}{}\text{(2)}& p(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left[-\frac{(x-\mu {)}^2}{2\sigma }\right]\end{array}$$

多元正態分佈

設X,Y$X,Y$ 爲獨立同分布的隨機變量，且X∼N(0,1)$X\sim \mathcal{N}(0,1)$ 。則X,Y$X,Y$ 的聯合分佈爲

p(x,y)=p(x)p(y)=12πexp(−12(x2+y2))(3)$$\begin{array}{}\text{(3)}& p(x,y)=p(x)p(y)=\frac{1}{2\pi }\exp (-\frac{1}{2}(x^2+y^2))\end{array}$$

設z=[X,Y]T$\mathbf{z}=[X,Y{]}^T$ ，則有

p(z)=1πexp(−12zTz)=1πexp(−12tr(zzT))(4)$$\begin{array}{}\text{(4)}& p(\mathit{z})=\frac{1}{\pi }\exp (-\frac{1}{2}{\mathit{z}}^T\mathit{z})=\frac{1}{\pi }\exp (-\frac{1}{2}\text{tr}(\mathit{z}{\mathit{z}}^T))\end{array}$$

令z=A(x−μ)$\mathbf{z}=\mathit{A}(\mathbf{x}-\mathit{\mu })$ ，該線性變換的雅可比行列式爲

J=|A|(5)$$\begin{array}{}\text{(5)}& J=|\mathit{A}|\end{array}$$

代入z$\mathbf{z}$ 的概率公式中有,

p(x)=|A|πexp[−12(x−μ)TATA(x−μ)](6)$$\begin{array}{}\text{(6)}& p(\mathit{x})=\frac{|\mathit{A}|}{\pi }\exp \left[-\frac{1}{2}(\mathit{x}-\mathit{\mu }{)}^T{\mathit{A}}^T\mathit{A}(\mathit{x}-\mathit{\mu })\right]\end{array}$$

令Σ−1=ATA${\mathbf{\Sigma }}^{-1}={\mathit{A}}^T\mathit{A}$ ，則

p(x)=1|Σ|−−−√2πexp[−12(x−μ)TΣ−1(x−μ)](7)$$\begin{array}{}\text{(7)}& p(\mathit{x})=\frac{1}{\sqrt{|\mathbf{\Sigma }|}2\pi }\exp \left[-\frac{1}{2}(\mathit{x}-\mathit{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu })\right]\end{array}$$

若x$\mathbf{x}$ 的維數是n$n$ ，則有

p(x)=1|Σ|−−−√(2π)n/2exp[−12(x−μ)TΣ−1(x−μ)](8)$$\begin{array}{}\text{(8)}& p(\mathit{x})=\frac{1}{\sqrt{|\mathbf{\Sigma }|}(2\pi {)}^{n/2}}\exp \left[-\frac{1}{2}(\mathit{x}-\mathit{\mu }{)}^T{\mathbf{\Sigma }}^{-1}(\mathit{x}-\mathit{\mu })\right]\end{array}$$

矩陣正態分佈

設隨機矢量x∈Rn$\mathbf{x}\in {\mathbb{R}}^n$ 服從多元高斯分佈x∼N(0,I)$\mathbf{x}\sim \mathcal{N}(\mathbf{0},\mathbf{I})$ ，隨機矢量y$\mathbf{y}$ 與x$\mathbf{x}$ 獨立同分布，則x,y$\mathbf{x},\mathbf{y}$ 的聯合概率密度爲

p(x,y)=1(2π)nexp[−12(xTx+yTy)](9)$$\begin{array}{}\text{(9)}& p(\mathbf{x},\mathbf{y})=\frac{1}{(2\pi {)}^n}\exp \left[-\frac{1}{2}({\mathbf{x}}^T\mathbf{x}+{\mathbf{y}}^T\mathbf{y})\right]\end{array}$$

令Z=[x,y]$\mathbf{Z}=[\mathbf{x},\mathbf{y}]$ ，則有

p(Z)=1(2π)nexp[−12tr(ZZT)](10)$$\begin{array}{}\text{(10)}& p(\mathbf{Z})=\frac{1}{(2\pi {)}^n}\exp \left[-\frac{1}{2}\text{tr}(\mathbf{Z}{\mathbf{Z}}^T)\right]\end{array}$$

設Z=A(X−M)B$\mathbf{Z}=\mathit{A}(\mathbf{X}-\mathit{M})\mathit{B}$ , 其中A∈Rn×n,B∈R2×2$\mathit{A}\in {\mathbb{R}}^{n\times n},\mathit{B}\in {\mathbb{R}}^{2\times 2}$ 。其雅可比行列式爲

J=|A|n|B|2(11)$$\begin{array}{}\text{(11)}& J=|\mathit{A}{|}^n|\mathit{B}{|}^2\end{array}$$

關於上式的詳細解釋參見附錄A。
因此

p(X)=1(2π)n|A|n|B|2exp[−12tr(A(X−M)BBT(X−M)TAT)]=1(2π)n|A|n|B|2exp[−12tr(ATA(X−M)BBT(X−M)T)](12)(13)$$\begin{array}{}\text{(12)}& p(\mathit{X})& =\frac{1}{(2\pi {)}^n}|\mathit{A}{|}^n|\mathit{B}{|}^2\exp \left[-\frac{1}{2}\text{tr}(\mathit{A}(\mathit{X}-\mathit{M}){\mathit{B}\mathit{B}}^T(\mathit{X}-\mathit{M}{)}^T{\mathit{A}}^T)\right]\text{(13)}& & =\frac{1}{(2\pi {)}^n}|\mathit{A}{|}^n|\mathit{B}{|}^2\exp \left[-\frac{1}{2}\text{tr}({\mathit{A}}^T\mathit{A}(\mathit{X}-\mathit{M}){\mathit{B}\mathit{B}}^T(\mathit{X}-\mathit{M}{)}^T)\right]\end{array}$$

令Ω−1=ATA${\mathbf{\Omega }}^{-1}={\mathit{A}}^T\mathit{A}$ ， Σ−1=BBT${\mathbf{\Sigma }}^{-1}={\mathit{B}\mathit{B}}^T$ ， 則

p(X)=1(2π)n|Ω|−n/2|Σ|−2/2exp[−12tr(Ω−1(X−M)Σ−1(X−M)T)](14)$$\begin{array}{}\text{(14)}& p(\mathit{X})=\frac{1}{(2\pi {)}^n}|\mathbf{\Omega }{|}^{-n/2}|\mathbf{\Sigma }{|}^{-2/2}\exp \left[-\frac{1}{2}\text{tr}({\mathbf{\Omega }}^{-1}(\mathit{X}-\mathit{M}){\mathbf{\Sigma }}^{-1}(\mathit{X}-\mathit{M}{)}^T)\right]\end{array}$$

若Z$\mathit{Z}$ 有p$p$ 列，則

p(X)=1(2π)np|Ω|−n/2|Σ|−p/2exp[−12tr(Ω−1(X−M)Σ−1(X−M)T)](15)$$\begin{array}{}\text{(15)}& p(\mathit{X})=\frac{1}{(2\pi {)}^{np}}|\mathbf{\Omega }{|}^{-n/2}|\mathbf{\Sigma }{|}^{-p/2}\exp \left[-\frac{1}{2}\text{tr}({\mathbf{\Omega }}^{-1}(\mathit{X}-\mathit{M}){\mathbf{\Sigma }}^{-1}(\mathit{X}-\mathit{M}{)}^T)\right]\end{array}$$

附錄 A

設線性變換Y=AX$\mathit{Y}=\mathit{A}\mathit{X}$ , 其中X∈Rm×n$\mathit{X}\in {\mathbb{R}}^{m\times n}$ , A∈Rm×m$\mathit{A}\in {\mathbb{R}}^{m\times m}$

vec(Y)=vec(AX)=(In⊗A)vec(X)(16)$$\begin{array}{}\text{(16)}& \text{vec}(\mathit{Y})=\text{vec}(\mathit{A}\mathit{X})=({\mathbf{I}}_n\otimes \mathit{A})\text{vec}(\mathit{X})\end{array}$$

因此該線性變換的雅可比行列式爲

J=|In⊗A|=|A|n(17)$$\begin{array}{}\text{(17)}& J=|{\mathbf{I}}_n\otimes \mathit{A}|=|\mathit{A}{|}^n\end{array}$$

設置線性變換Y=XB$\mathit{Y}=\mathit{X}\mathit{B}$ ，其中X∈Rm×n$\mathit{X}\in {\mathbb{R}}^{m\times n}$ , B∈Rn×n$\mathit{B}\in {\mathbb{R}}^{n\times n}$

vec(Y)=vec(XB)=(BT⊗Im)vec(X)(18)$$\begin{array}{}\text{(18)}& \text{vec}(\mathit{Y})=\text{vec}(\mathit{X}\mathit{B})=({\mathit{B}}^T\otimes {\mathbf{I}}_m)\text{vec}(\mathit{X})\end{array}$$

因此該線性變換的雅可比行列式爲

J=|BT⊗Im|=|B|m(19)$$\begin{array}{}\text{(19)}& J=|{\mathit{B}}^T\otimes {\mathbf{I}}_m|=|\mathit{B}{|}^m\end{array}$$