常用概率分佈的矩母函數、特徵函數以及期望、方差的推導
一、定義與性質
設X爲隨機變量,I是一個包含0的(有限或無限的)開區間,對任意t∈I,期望Eetx存在
則稱函數MX(t)=E(etX)=∫−∞+∞etxdF(x),t∈I爲X的矩母函數
設X爲任意隨機變量,稱函數φX(t)=E(eitX)=∫−∞+∞eitxdF(x)爲X的特徵函數
一個隨機變量的矩母函數不一定存在,但是特徵函數一定存在。
隨機變量與特徵函數存在一一對應的關系
二、離散型隨機變量的分佈
0、退化分佈(Degenerate distribution)
若X服從參數爲a的退化分布,那麼f(k;a)={1,k=a0,k̸=a
M(t)=eta
φ(t)=eita
M′(t)=aeta
EX=M′(0)=a
M′′(t)=a2eta
EX2=M′′(0)=a2
DX=EX2−(EX)2=0
1、離散型均勻分佈(Discrete uniform distribution)
若X服從離散型均勻分布DU(a,b),則X分布函數爲F(k;a,b)=b−a+1⌊k⌋−a+1
則矩母函數M(t)=k=a∑betkP(x=k)
=(k=a∑betk)b−a+11
=(1−et)(b−a+1)eat−e(b+1)t
特徵函數φ(t)=k=a∑beitkP(x=k)
=(k=a∑beitk)b−a+11
=(1−eit)(b−a+1)eait−e(b+1)it
M′(t)=b−a+11(et−1)2(aeat−(b+1)e(b+1)t)(1−et)+(eat−e(b+1)t)et
t=0爲M′(t)的可去間斷點,補充定義M′(0)=t→0limM′(t)
EX=M′(0)=t→0limb−a+112(et−1)et(a2eat−(b+1)2e(b+1)t)(1−et)+(eat−e(b+1)t)et
=t→0limb−a+112(et−1)(a2eat−(b+1)2e(b+1)t)(e−t−1)+(eat−e(b+1)t)
=t→0limb−a+112et(a3eat−(b+1)3e(b+1)t)(e−t−1)−(a2eat−(b+1)2e(b+1)t)e−t+(aeat−(b+1)e(b+1)t)
=2(b−a+1)−a2+(b+1)2+a−(b+1)
=2(b−a+1)−a2+(b+1)2−21
=2(b−a+1)(b+1−a)(b+1+a)−21
=2b+1+a−21
=2b+a
由於對M′(t)求導得到M′′(t),再求M′′(0)的方法比較繁瑣,而我們只需要t=0時M的二階導數值,
因此可以考慮使用Taylor公式計算M′′(0)
令1−et=u,t=0時,u=0
M(t)=(1−et)(b−a+1)eat−e(b+1)t
=b−a+11uua−ub+1
=b−a+11u1+1!a(−u)+2!a(a−1)u2+3!a(a−1)(a−2)(−u3)+o(u3)−1−1!b+1(−u)−2!(b+1)bu2−3!(b+1)b(b−1)(−u3)−o(u3)
=b−a+11u1!a(−u)+2!a(a−1)u2+3!a(a−1)(a−2)(−u3)+o(u3)−1!b+1(−u)−2!(b+1)bu2−3!(b+1)b(b−1)(−u3)
=b−a+11((b+1−a)+2!a(a−1)u+3!a(a−1)(a−2)(−u2)+o(u2)−2!(b+1)bu−3!(b+1)b(b−1)(−u2))
=1+2!(b−a+1)a(a−1)−(b+1)bu+3!(b−a+1)(b+1)b(b−1)−a(a−1)(a−2)u2+o(u2)
而u=1−et=−t−2!t2+o(t2)
因此M(t)=1−2!(b−a+1)a(a−1)−(b+1)bt−2!(b−a+1)a(a−1)−(b+1)b2!t2+3!(b−a+1)(b+1)b(b−1)−a(a−1)(a−2)t2+o(t2)
又因爲M(t)=M(0)+M′(0)t+2!M′′(0)t2+o(t2)
因此M′(0)=−2!(b−a+1)a(a−1)−(b+1)b=2a+b
EX=M′(0)=2a+b
而M′′(0)=2!∗(−4(b−a+1)a(a−1)−(b+1)b+3!(b−a+1)(b+1)b(b−1)−a(a−1)(a−2))
=2a+b+3(b−a+1)(b+1−a)(b2+ab−b+a2−2a)
=2a+b+3b2+ab−b+a2−2a
=62a2+2b2+2ab+b−a
DX=EX2−(EX)2=M′′(0)−(EX)2
=62a2+2b2+2ab+b−a−4a2+2ab+b2
=12(b−a+1)2−1
2、伯努利分佈/兩點分佈(Bernoulli distribution)
若X服從伯努利分布B(1,p),則X滿足P(x=1)=p,P(x=0)=1−p=q
M(t)=pet+1−p
φ(t)=peit+1−p
M′(t)=pet
EX=M′(0)=p
M′′(t)=pet
EX2=M′′(0)=p
DX=EX2−(EX)2=p(1−p)
3、二項分佈(Binomial distribution)
若X服從二項分布B(n,p),則X滿足f(k;n,p)=P(x=k)=Cnkpk(1−p)n−k(n爲整數)
因爲服從二項分布的變量可以看作n個獨立相同的服從伯努利分布的變量之和
因此M(t)=(pet+1−p)n
φ(t)=(peit+1−p)n
M′(t)=np(pet+1−p)n−1et
EX=M′(0)=np
M′′(t)=n(n−1)p2(pet+1−p)n−2e2t+np(pet+1−p)n−1et
EX2=M′′(0)=n(n−1)p2+np
DX=EX2−(EX)2=np(1−p)
4、幾何分佈(Geometric distribution)
若X服從幾何分布Ge(p),則X滿足f(k;p)=P(x=k)=(1−p)k−1p(k=1,2,3......)
M(t)=k=1∑∞(1−p)k−1petk
=petk=1∑∞((1−p)et)k−1
=1−(1−p)etpet
φ(t)=k=1∑∞(1−p)k−1peitk
=peitk=1∑∞((1−p)eit)k−1
=1−(1−p)eitpeit
M′(t)=(1−(1−p)et)2pet
EX=M′(0)=p1
M′′(t)=(1−(1−p)et)3pet(et−pet+1)
EX2=M′′(0)=p22−p
DX=EX2−(EX)2=p21−p
5、負二項分佈(Negative binomial distribution)
若X服從負二項分布NB(r,p),則X滿足f(k;r,p)=(kk+r−1)pk(1−p)r,k=0,1,2,3......
(r可以爲實數,此時的分布稱爲波利亞分布)
M(t)=k=0∑∞(kk+r−1)pk(1−p)retk
=k=0∑∞(−1)k(k−r)pk(1−p)retk
=k=0∑∞(−pet)k(k−r)(1−p)r
=(1−p)rk=0∑∞(−pet)k(k−r)1−r−k
=(1−p)r(1−pet)−r
φ(t)=k=0∑∞(kk+r−1)pk(1−p)reitk
=k=0∑∞(−1)k(k−r)pk(1−p)reitk
=k=0∑∞(−peit)k(k−r)(1−p)r
=(1−p)rk=0∑∞(−peit)k(k−r)1−r−k
=(1−p)r(1−peit)−r
M′(t)=(1−p)r(−r)(1−pet)−r−1(−pet)
=rp(1−p)ret(1−pet)−r−1
EX=M′(0)=1−prp
M′′(t)=rp(1−p)ret(1−pet)−r−1+rp(1−p)ret(−r−1)(1−pet)−r−2(−pet)
EX2=rp(1−p)−1+r(r+1)p2(1−p)−2
=(1−p)2rp(1−p)+r(r+1)p2
=(1−p)2rp+r2p2
DX=EX2−(EX)2=(1−p)2pr
6、泊松分佈(Poisson distribution)
若X服從泊松分布P(λ),則P(X=k)=k!e−λλk,k=0,1,2......
M(t)=k=0∑∞k!e−λλketk
=e−λk=0∑∞k!(λet)k
=e−λeλet
=eλ(et−1)
φ(t)=k=0∑∞k!e−λλkeitk
=e−λk=0∑∞k!(λeit)k
=e−λeλeit
=eλ(eit−1)
M′(t)=eλ(et−1)λet
EX=M′(0)=λ
M′′(t)=eλ(et−1)λet+eλ(et−1)λetλet
EX2=M′′(0)=λ+λ2
DX=EX2−(EX)2=λ
三、連續型隨機變量的分佈
1、連續型均勻分佈(Uniform distribution (continuous))
若X服從連續型均勻分布U(a,b),則f(x)=b−a1I[a,b](x)
M(t)=∫abb−a1etxdx
=b−a1∫abetxdx
=b−a1(t1etx∣ab)
=t(b−a)etb−eta
φ(t)=∫abb−a1eitxdx
=b−a1∫abeitxdx
=b−a1(it1eitx∣ab)
=it(b−a)eitb−eita
M′(t)=b−a1t2(betb−aeta)t−(etb−eta)
t=0爲M′(t)的可去間斷點,補充定義M′(0)=t→0limM′(t)
EX=M′(0)=t→0lim2t(b−a)(betb−aeta)+(b2etb−a2eta)t−(betb−aeta)
=t→0lim2(b−a)(b2etb−a2eta)
=2(b−a)b2−a2
=2a+b
M′′(t)=b−a1t3((b2etb−a2eta)t+(betb−aeta)−(betb−aeta))t−2((betb−aeta)t−(etb−eta))
=b−a1t3t2(b2etb−a2eta)−2t(betb−aeta)+2(etb−eta)
t=0爲M′′(t)的可去間斷點,補充定義M′′(0)=t→0limM′′(t)
EX2=M′′(0)=t→0limb−a13t2t2(b3etb−a3eta)+2t(b2etb−a2eta)−2t(b2etb−a2eta)−2(betb−aeta)+2(betb−aeta)
=b−a1t→0lim3t2t2(b3etb−a3eta)
=b−a1t→0lim3(b3etb−a3eta)
=b−a13(b3−a3)
=3b2+ab+a2
DX=EX2−(EX)2=12(b−a)2
2、指數分佈(Exponential distribution)
若X服從指數分布E(λ),則f(x)=λe−λxI[0,+∞)(x)
M(t)=∫0+∞λe−λxetxdx
=λ∫0+∞e(t−λ)xdx
=t−λλ(e(t−λ)x∣0+∞)
t<λ時,M(t)=t−λλ(0−1)
=λ−tλ
φ(t)=λ−itλ
M′(t)=(λ−t)2λ
EX=M′(0)=λ1
M′′(t)=(λ−t)32λ
EX2=M′′(0)=λ22
DX=EX2−(EX)2=λ21
3、正態分佈(Normal distribution)
若X服從正態分布N(μ,σ2),則f(x)=2πσ1e−2σ2(x−μ)2
引理1:∫−∞+∞e−2t2dt=2π
證明:(∫−∞+∞e−2t2dt)2=∫−∞+∞∫−∞+∞e−2x2+y2dxdy
=∫02πdθ∫0+∞e−2r2rdr
=2π∫0+∞e−2r2rdr
=2π(−e−2r2∣0+∞)
=2π
因此∫−∞+∞e−2t2dt=2π
M(t)=∫−∞+∞2πσ1e−2σ2(x−μ)2etxdx
=2πσ1∫−∞+∞e−2σ2(x−μ)2+txdx
令w=σx−μ
原式=2π1∫−∞+∞e−2w2+t(wσ+μ)dw
=eμt2π1∫−∞+∞e−2w2+tσwdw
=eμt2π1∫−∞+∞e−2(w−tσ)2−t2σ2dw
=eμt+2t2σ22π1∫−∞+∞e−2(w−tσ)2dw
=eμt+2t2σ22π12π
=eμt+2t2σ2
φ(t)=∫−∞+∞2πσ1e−2σ2(x−μ)2eitxdx
=2πσ1∫−∞+∞e−2σ2(x−μ)2+itxdx
令w=σx−μ
原式=2π1∫−∞+∞e−2w2+it(wσ+μ)dw
=eiμt2π1∫−∞+∞e−2w2+itσwdw
=eiμt2π1∫−∞+∞e−2(w−itσ)2+t2σ2dw
=eiμt−2t2σ22π1∫−∞+∞e−2(w−itσ)2dw
=eiμt−2t2σ22π12π
=eiμt−2t2σ2
M′(t)=eμt+2t2σ2(μ+σ2t)
EX=M′(0)=μ
M′′(t)=eμt+2t2σ2(μ+σ2t)2+eμt+2t2σ2σ2
EX2=M′′(0)=μ2+σ2
DX=EX2−(EX)2=σ2
特別地,X服從標準正態分布N(0,1)時
M(t)=e2t2
φ(t)=e−2t2
EX=0,DX=1
4、伽馬分佈(Gamma distribution)
若X服從伽馬分布Γ(α,β)(α,β>0),則f(x)=Γ(α)βαxα−1e−βxI(0,+∞)(x)
其中,Γ(α)=∫0+∞tα−1e−tdt,α>0
指數分布E(λ)是伽馬分布Γ(1,λ),χ2分布χn2是伽馬分布Γ(2n,21)
M(t)=∫0+∞Γ(α)βαxα−1e−βxetxdx
=∫0+∞Γ(α)βαxα−1e(t−β)xdx
=βα∫0+∞Γ(α)1xα−1e(t−β)xdx
t<β時,令v=(β−t)x,原式=β−tβα∫0+∞Γ(α)1(β−tv)α−1e−vdv
=(β−tβ)αΓ(α)1∫0+∞vα−1e−vdv
=(β−tβ)αΓ(α)1Γ(α)
=(β−tβ)α
φ(t)=(β−itβ)α
M′(t)=βα(β−t)−α−1α
EX=M′(0)=βα
M′′(t)=βα(β−t)−α−2α(α+1)
EX2=β2α(α+1)
DX=EX2−(EX)2=β2α
5、貝塔分佈(Beta distribution)
若X服從貝塔分布Be(α,β)(α,β>0),則f(x)=∫01uα−1(1−u)β−1duxα−1(1−x)β−1I(0,1)(x)
=Γ(α)Γ(β)Γ(α+β)xα−1(1−x)β−1I(0,1)(x)=B(α,β)1xα−1(1−x)β−1I(0,1)(x)
其中,B(α,β)=∫01uα−1(1−u)β−1du,(α,β>0)
M(t)=∫01B(α,β)1xα−1(1−x)β−1etxdx
E(X)=∫01B(α,β)1xα−1(1−x)β−1xdx
=∫01B(α,β)1xα(1−x)β−1xdx
=B(α,β)∫01xα(1−x)β−1xdx
=B(α,β)B(α+1,β)
=Γ(α+β)Γ(α)Γ(β)Γ(α+β+1)Γ(α+1)Γ(β)
=α+βα
E(X2)=∫01B(α,β)1xα−1(1−x)β−1x2dx
=B(α,β)∫01xα+1(1−x)β−1dx
=B(α,β)B(α+2,β)
=Γ(α+β)Γ(α)Γ(β)Γ(α+β+2)Γ(α+2)Γ(β)
=(α+β+1)(α+β)α(α+1)
D(X)=E(X2)−(EX)2
=(α+β+1)(α+β)α(α+1)−(α+β)2α2
=(α+β+1)(α+β)2αβ
6、t分佈(Student’s t-distribution)
若X服從自由度爲n的t分布t(x,n),則f(x)=nπΓ(2n)Γ(2n+1)(1+nx2)−2n+1,x∈R
7 、F分佈(F-distribution)