高斯分佈的積分期望E(X)方差V(X)的理論推導


本文主要推導高斯分佈(正態分佈)的積分,期望E(X)和方差V(X)。

其中主要是方差V(X)的推導,本文介紹3種高斯方差的推導方法。

高斯分佈的概率密度函數:
f(x)=12πδe(xu)22δ2(1) f(x) = \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}} \tag{1}


高斯分佈的概率分佈函數(歸一化):
F=+f(x)dx=+12πδe(xu)22δ2dx=12πδ+e(xu)22δ2d(xu)=12πδ+ex22δ2dx(2) \begin{aligned} F &=\int^{ +\infty }_{ - \infty }f(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{(x-u)^2}{2\delta^2}}d(x-u)}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \end{aligned} \tag{2}

概率密度函數的積分爲F(x)=1F(x)=1,如下開始證明。這裏直接計算F(x)F(x)比較困難,但可以利用雙重積分轉極座標計算體積的方式計算F(x)2F(x)^2,如下
F2=12πδ+ex22δ2dx12πδ+ey22δ2dy=12πδ2++ex2+y22δ2dxdy(3) \begin{aligned} F^2 &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{y^2}{2\delta^2}}dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}dxdy} \end{aligned} \tag{3}

x=rsinθx=r\sin\theta , y=rcosθy=r\cos\theta , 座標系轉換到極座標系就行積分
F2=12πδ202π0+er22δ2rdrdθ=12πδ202πdθ0+er22δ2rdr=1δ20+er22δ2rdr=0+er22δ2d(r22δ2)=0+emdm=1(4) \begin{aligned} F^2 &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }d\theta\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{\delta^2}\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}d(\frac{r^2}{2\delta^2})}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-m}dm}\\\\ &=1 \end{aligned} \tag{4}

即可證明得:
F=+12πδe(xu)22δ2dx=1(5) F =\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}=1\tag{5}

注:這裏可以由 F2=1F^2=1 看出,FF爲一個2維正態分佈,其在二維空間中體積爲1


高斯分佈的期望 E(x)=uE(x)=u 證明:
E(x)=+xf(x)dx=+12πδe(xu)22δ2xdx=+12πδex22δ2(x+u)dx=+12πδex22δ2xdx0+u+12πδex22δ2dx1=u(6) \begin{aligned} E(x)&=\int^{ +\infty }_{ - \infty }xf(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}xdx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}(x+u)dx}\\\\ &=\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx}}_{0}+u\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}dx}}_{1}\\\\ &=u \end{aligned}\tag{6}

由於 +12πδex22δ2xdx\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx} 爲奇函數,積分爲0,因此可得高斯分佈的期望: E(x)=uE(x)=u


高斯分佈的方差 V(x)=δ2V(x)=\delta^2 證明,根據方差定義爲誤差平方的期望:
V=+(xu)2f(x)dx=+12πδe(xu)22δ2(xu)2dx=+12πδex22δ2x2dx(7) \begin{aligned} V&=\int^{ +\infty }_{ - \infty }(x-u)^2f(x)dx\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx} \end{aligned}\tag{7}

如下介紹3種推導方法,第一種最爲複雜的推導,先計算 V2V^2
V2=+12πδex22δ2x2dx+12πδey22δ2y2dy=12πδ2++ex2+y22δ2x2y2dxdy(8) \begin{aligned} V^2&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{y^2}{2\delta^2}}y^2dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}x^2y^2dxdy} \end{aligned}\tag{8}

x=rsinθx=r\sin\theta , y=rcosθy=r\cos\theta
V2=12πδ202π0+r4sin2θcos2θer22δ2rdrdθ=12πδ202πsin2θcos2θdθ0+r5er22δ2dr(9) \begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {r^4\sin^2\theta \cos^2\theta e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr} \end{aligned}\tag{9}

上面兩部分可分開計算,首先計算左邊關於 θ\theta 的積分,由於 sin2θ=1cos2θ2\sin^2 \theta=\frac{1-\cos2\theta}{2}
02πsin2θcos2θdθ=1402πsin22θdθ=1402π1cos4θ2dθ=1802πdθ1802πcos4θdθ=π413208πcosθdθ=π4(10) \begin{aligned} \int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta}&=\frac{1}{4}\int^{ 2\pi }_{ 0 }{\sin^22\theta d\theta}\\\\ &=\frac{1}{4}\int^{ 2\pi }_{ 0 }\frac{1-\cos4\theta }{2} d\theta\\\\ &=\frac{1}{8}\int^{ 2\pi }_{ 0 }d\theta-\frac{1}{8}\int^{ 2\pi }_{ 0} {\cos4\theta } d\theta\\\\ &=\frac{\pi}{4}-\frac{1}{32}\int^{ 8\pi }_{ 0} {\cos\theta } d\theta\\\\ &=\frac{\pi}{4} \end{aligned}\tag{10}

計算右邊關於 rr 的積分,設 m=r2m=r^2
0+r5er22δ2dr=120+m2em2δ2dm=δ20+m2d(em2δ2)=δ2(m2em2δ20+0+em2δ2d(m2))limm+m2em2δ2=0=2δ20+mem2δ2dm=4δ40+md(em2δ2)=4δ4(mem2δ20+0+em2δ2dm)limm+mem2δ2=0=4δ40+em2δ2dm=8δ6(11) \begin{aligned} \int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr&=\frac{1}{2}\int^{ +\infty }_{ 0 }m^2e^{-\frac{m}{2\delta^2}}dm\\\\ &=-\delta^2\int^{ +\infty }_{ 0 }m^2d(e^{-\frac{m}{2\delta^2}})\\\\ &=-\delta^2 \bigg( m^2e^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}d(m^2)\bigg)\\\\ \lim_{m\rightarrow+\infty} m^2e^{-\frac{m}{2\delta^2}}=0\longrightarrow&=2\delta^2 \int^{ +\infty }_{ 0 }me^{-\frac{m}{2\delta^2}}dm\\\\ &=-4\delta^4\int^{ +\infty }_{ 0 }md(e^{-\frac{m}{2\delta^2}})\\\\ &=-4\delta^4 \bigg( me^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}dm\bigg)\\\\ \lim_{m\rightarrow+\infty} me^{-\frac{m}{2\delta^2}}=0\longrightarrow&=4\delta^4 \int^{ +\infty }_{ 0 }e^{-\frac{m}{2\delta^2}}dm\\\\ &=8\delta^6 \end{aligned}\tag{11}

因此
V2=12πδ202πsin2θcos2θdθ0+r5er22δ2rdr=12πδ2π48δ6=δ4(12) \begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\cdot\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{2\pi\delta^2}\cdot\frac{\pi}{4}\cdot8\delta^6\\\\ &=\delta^4 \end{aligned}\tag{12}

所以 V=δ2V=\delta^2,即證。

如下介紹第二種較爲巧妙的推導:
V=+12πδe(xu)22δ2(xu)2dx=+12πδex22δ2x2dx=δ2π+xd(ex22δ2)=δ2π(xex22δ2+0+ex22δ2dx)=δ2π+ex22δ2dx=δ212πδ+ex22δ2dx=δ2(13) \begin{aligned} V&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty } xd\Big(e^{-\frac{x^2}{2\delta^2}}\Big)\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\bigg(\underbrace{xe^{-\frac{x^2}{2\delta^2}}|^{+\infty}_{-\infty}}_{0}-\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\bigg)\\\\ &=\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \cdot\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \end{aligned}\tag{13}

第三種證明方法則利用方差特性:
V(x)=E((xE(x))2)=E(x22xE(x)+E2(x))=E(x2)2E(x)E(x)+E2(x)=E(x2)E2(x)=E(x2)u2(14) \begin{aligned} V(x)&=E\Big((x-E(x))^2\Big)\\\\ &=E\Big(x^2-2xE(x)+E^2(x)\Big)\\\\ &=E(x^2)-2E(x)E(x)+E^2(x)\\\\ &=E(x^2)-E^2(x)\\\\ &=E(x^2)-u^2 \end{aligned}\tag{14}

這裏只需再求取 E(x2)E(x^2) 即可

期望 E(x)E(x) 的另一個叫法是分佈函數的 一階矩 ,而 E(x2)E(x^2) 也叫 二階矩,這裏就是求概率分佈的二階矩

E(x2)=+12πδe(xu)22δ2x2dx(15)E(x^2)=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}x^2dx}\tag{15}

參考第二種證明的方法,可以比較快速的得到:

E(x2)=δ2+u2(16)E(x^2)=\delta^2+u^2\tag{16}

從而可得 V(x)=E(x2)u2=δ2V(x)=E(x^2)-u^2=\delta^2 , 即證明。

感悟:三種方法證明完成,最近在看《概率機器人》,裏面所有理論基礎都是概率貝葉斯,索性重新推導了高斯分佈,發現高斯分佈真是一個偉大的發現,用一個如此優雅的曲線描繪這個世界的創造規律,從而讓所有的不確定性可以被估計和優化,打開了人類與上帝對話的一個窗口,窺探上帝的造物規律。

參考文獻:

https://blog.csdn.net/qq_37549266/article/details/95942282
https://www.zhihu.com/question/23971601

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章