高斯分布的积分期望E(X)方差V(X)的理论推导


本文主要推导高斯分布(正态分布)的积分,期望E(X)和方差V(X)。

其中主要是方差V(X)的推导,本文介绍3种高斯方差的推导方法。

高斯分布的概率密度函数:
f(x)=12πδe(xu)22δ2(1) f(x) = \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}} \tag{1}


高斯分布的概率分布函数(归一化):
F=+f(x)dx=+12πδe(xu)22δ2dx=12πδ+e(xu)22δ2d(xu)=12πδ+ex22δ2dx(2) \begin{aligned} F &=\int^{ +\infty }_{ - \infty }f(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{(x-u)^2}{2\delta^2}}d(x-u)}\\\\ &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \end{aligned} \tag{2}

概率密度函数的积分为F(x)=1F(x)=1,如下开始证明。这里直接计算F(x)F(x)比较困难,但可以利用双重积分转极座标计算体积的方式计算F(x)2F(x)^2,如下
F2=12πδ+ex22δ2dx12πδ+ey22δ2dy=12πδ2++ex2+y22δ2dxdy(3) \begin{aligned} F^2 &=\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2}{2\delta^2}}dx} \frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty } {e^{-\frac{y^2}{2\delta^2}}dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}dxdy} \end{aligned} \tag{3}

x=rsinθx=r\sin\theta , y=rcosθy=r\cos\theta , 座标系转换到极座标系就行积分
F2=12πδ202π0+er22δ2rdrdθ=12πδ202πdθ0+er22δ2rdr=1δ20+er22δ2rdr=0+er22δ2d(r22δ2)=0+emdm=1(4) \begin{aligned} F^2 &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }d\theta\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{\delta^2}\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-\frac{r^2}{2\delta^2}}d(\frac{r^2}{2\delta^2})}\\\\ &=\int^{ +\infty }_{ 0 } {e^{-m}dm}\\\\ &=1 \end{aligned} \tag{4}

即可证明得:
F=+12πδe(xu)22δ2dx=1(5) F =\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}dx}=1\tag{5}

注:这里可以由 F2=1F^2=1 看出,FF为一个2维正态分布,其在二维空间中体积为1


高斯分布的期望 E(x)=uE(x)=u 证明:
E(x)=+xf(x)dx=+12πδe(xu)22δ2xdx=+12πδex22δ2(x+u)dx=+12πδex22δ2xdx0+u+12πδex22δ2dx1=u(6) \begin{aligned} E(x)&=\int^{ +\infty }_{ - \infty }xf(x)dx=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}xdx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}(x+u)dx}\\\\ &=\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx}}_{0}+u\underbrace{\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}dx}}_{1}\\\\ &=u \end{aligned}\tag{6}

由于 +12πδex22δ2xdx\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}xdx} 为奇函数,积分为0,因此可得高斯分布的期望: E(x)=uE(x)=u


高斯分布的方差 V(x)=δ2V(x)=\delta^2 证明,根据方差定义为误差平方的期望:
V=+(xu)2f(x)dx=+12πδe(xu)22δ2(xu)2dx=+12πδex22δ2x2dx(7) \begin{aligned} V&=\int^{ +\infty }_{ - \infty }(x-u)^2f(x)dx\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx} \end{aligned}\tag{7}

如下介绍3种推导方法,第一种最为复杂的推导,先计算 V2V^2
V2=+12πδex22δ2x2dx+12πδey22δ2y2dy=12πδ2++ex2+y22δ2x2y2dxdy(8) \begin{aligned} V^2&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{y^2}{2\delta^2}}y^2dy}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ +\infty }_{ - \infty }\int^{ +\infty }_{ - \infty } {e^{-\frac{x^2+y^2}{2\delta^2}}x^2y^2dxdy} \end{aligned}\tag{8}

x=rsinθx=r\sin\theta , y=rcosθy=r\cos\theta
V2=12πδ202π0+r4sin2θcos2θer22δ2rdrdθ=12πδ202πsin2θcos2θdθ0+r5er22δ2dr(9) \begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 }\int^{ +\infty }_{ 0 } {r^4\sin^2\theta \cos^2\theta e^{-\frac{r^2}{2\delta^2}}rdrd\theta}\\\\ &=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr} \end{aligned}\tag{9}

上面两部分可分开计算,首先计算左边关于 θ\theta 的积分,由于 sin2θ=1cos2θ2\sin^2 \theta=\frac{1-\cos2\theta}{2}
02πsin2θcos2θdθ=1402πsin22θdθ=1402π1cos4θ2dθ=1802πdθ1802πcos4θdθ=π413208πcosθdθ=π4(10) \begin{aligned} \int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta}&=\frac{1}{4}\int^{ 2\pi }_{ 0 }{\sin^22\theta d\theta}\\\\ &=\frac{1}{4}\int^{ 2\pi }_{ 0 }\frac{1-\cos4\theta }{2} d\theta\\\\ &=\frac{1}{8}\int^{ 2\pi }_{ 0 }d\theta-\frac{1}{8}\int^{ 2\pi }_{ 0} {\cos4\theta } d\theta\\\\ &=\frac{\pi}{4}-\frac{1}{32}\int^{ 8\pi }_{ 0} {\cos\theta } d\theta\\\\ &=\frac{\pi}{4} \end{aligned}\tag{10}

计算右边关于 rr 的积分,设 m=r2m=r^2
0+r5er22δ2dr=120+m2em2δ2dm=δ20+m2d(em2δ2)=δ2(m2em2δ20+0+em2δ2d(m2))limm+m2em2δ2=0=2δ20+mem2δ2dm=4δ40+md(em2δ2)=4δ4(mem2δ20+0+em2δ2dm)limm+mem2δ2=0=4δ40+em2δ2dm=8δ6(11) \begin{aligned} \int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}dr&=\frac{1}{2}\int^{ +\infty }_{ 0 }m^2e^{-\frac{m}{2\delta^2}}dm\\\\ &=-\delta^2\int^{ +\infty }_{ 0 }m^2d(e^{-\frac{m}{2\delta^2}})\\\\ &=-\delta^2 \bigg( m^2e^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}d(m^2)\bigg)\\\\ \lim_{m\rightarrow+\infty} m^2e^{-\frac{m}{2\delta^2}}=0\longrightarrow&=2\delta^2 \int^{ +\infty }_{ 0 }me^{-\frac{m}{2\delta^2}}dm\\\\ &=-4\delta^4\int^{ +\infty }_{ 0 }md(e^{-\frac{m}{2\delta^2}})\\\\ &=-4\delta^4 \bigg( me^{-\frac{m}{2\delta^2}}|^{+\infty}_{0}-\int^{ +\infty }_{ 0 }e^{-\frac{m} {2\delta^2}}dm\bigg)\\\\ \lim_{m\rightarrow+\infty} me^{-\frac{m}{2\delta^2}}=0\longrightarrow&=4\delta^4 \int^{ +\infty }_{ 0 }e^{-\frac{m}{2\delta^2}}dm\\\\ &=8\delta^6 \end{aligned}\tag{11}

因此
V2=12πδ202πsin2θcos2θdθ0+r5er22δ2rdr=12πδ2π48δ6=δ4(12) \begin{aligned} V^2&=\frac{1}{2\pi\delta^2}\int^{ 2\pi }_{ 0 } {\sin^2\theta \cos^2\theta d\theta\cdot\int^{ +\infty }_{ 0 }r^5e^{-\frac{r^2}{2\delta^2}}rdr}\\\\ &=\frac{1}{2\pi\delta^2}\cdot\frac{\pi}{4}\cdot8\delta^6\\\\ &=\delta^4 \end{aligned}\tag{12}

所以 V=δ2V=\delta^2,即证。

如下介绍第二种较为巧妙的推导:
V=+12πδe(xu)22δ2(xu)2dx=+12πδex22δ2x2dx=δ2π+xd(ex22δ2)=δ2π(xex22δ2+0+ex22δ2dx)=δ2π+ex22δ2dx=δ212πδ+ex22δ2dx=δ2(13) \begin{aligned} V&=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}(x-u)^2dx}\\\\ &=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{x^2}{2\delta^2}}x^2dx}\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty } xd\Big(e^{-\frac{x^2}{2\delta^2}}\Big)\\\\ &=-\frac{\delta}{\sqrt{2\pi}}\bigg(\underbrace{xe^{-\frac{x^2}{2\delta^2}}|^{+\infty}_{-\infty}}_{0}-\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\bigg)\\\\ &=\frac{\delta}{\sqrt{2\pi}}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \cdot\frac{1}{\sqrt{2\pi}\delta}\int^{ +\infty }_{ - \infty }{e^{-\frac{x^2}{2\delta^2}}dx}\\\\ &=\delta^2 \end{aligned}\tag{13}

第三种证明方法则利用方差特性:
V(x)=E((xE(x))2)=E(x22xE(x)+E2(x))=E(x2)2E(x)E(x)+E2(x)=E(x2)E2(x)=E(x2)u2(14) \begin{aligned} V(x)&=E\Big((x-E(x))^2\Big)\\\\ &=E\Big(x^2-2xE(x)+E^2(x)\Big)\\\\ &=E(x^2)-2E(x)E(x)+E^2(x)\\\\ &=E(x^2)-E^2(x)\\\\ &=E(x^2)-u^2 \end{aligned}\tag{14}

这里只需再求取 E(x2)E(x^2) 即可

期望 E(x)E(x) 的另一个叫法是分布函数的 一阶矩 ,而 E(x2)E(x^2) 也叫 二阶矩,这里就是求概率分布的二阶矩

E(x2)=+12πδe(xu)22δ2x2dx(15)E(x^2)=\int^{ +\infty }_{ - \infty } \frac{1}{\sqrt{2\pi}\delta}{e^{-\frac{(x-u)^2}{2\delta^2}}x^2dx}\tag{15}

参考第二种证明的方法,可以比较快速的得到:

E(x2)=δ2+u2(16)E(x^2)=\delta^2+u^2\tag{16}

从而可得 V(x)=E(x2)u2=δ2V(x)=E(x^2)-u^2=\delta^2 , 即证明。

感悟:三种方法证明完成,最近在看《概率机器人》,里面所有理论基础都是概率贝叶斯,索性重新推导了高斯分布,发现高斯分布真是一个伟大的发现,用一个如此优雅的曲线描绘这个世界的创造规律,从而让所有的不确定性可以被估计和优化,打开了人类与上帝对话的一个窗口,窥探上帝的造物规律。

参考文献:

https://blog.csdn.net/qq_37549266/article/details/95942282
https://www.zhihu.com/question/23971601

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章