概率論



公理化概率論
概率論的公理化，是20世紀數學抽象化的又一大碩果。
（一）20世紀以前的概率論
[
惠更斯的問題
兩人玩擲雙骰遊戲，骰子的點數和爲7時甲贏，爲6時乙贏，爲其它時兩人平分賭注，求兩人的期望（機會的價值）。
定義：設離散型r.v.X的分佈律爲：P{X=x_k}=p_k,k=1,2,…，若級數∑[k=1->∞]|x_k|p_k<+∞，則稱級數∑[k=1->∞]x_kp_k的和爲隨機變量的數學期望，記作E(X)，即E(X)= ∑[k=1->∞]x_kp_k。
我們知道隨機變量X可能取各種不同的數值，但我們往往希望知道X所取值的大多數集中在何處，能夠粗略地反映這種特徵的就是數學期望。
定義：設離散型隨機變量X的分佈律爲P{X=x_k}=p_k,k=1,2,…。若級數∑[k=1->∞]x_kp_k絕對收斂，則稱級數∑[k=1->∞]x_kp_k的和爲隨機變量X的數學期望或均值，記爲E(X)。
即E(X)=∑[k=1->∞]x_kp_k。若級數∑[k=1->∞]|x_kp_k|發散，則稱隨機變量X的數學期望不存在。----爲什麼要用絕對收斂？？
設連續型隨機變量X的概率密度爲f(x)，若積分∫[-∞,+∞]xf(x)dx絕對收斂，則稱積分∫[-∞,+∞]xf(x)dx的值爲隨機變量X的數學期望或均值，記爲E(X)。即E(X)= ∫[-∞,+∞]xf(x)dx。若積分∫[-∞,+∞]xf(x)dx不絕對收斂，則稱隨機變量X的數學期望不存在。----爲什麼要用絕對收斂？？
設隨機變量X服從柯西分佈，其概率密度爲f(x)=1/(pi(1+x^2)) ，（-∞<x<+∞），求E(X)= ∫[-∞,+∞](x/(pi(1+x^2)))dx
由於廣義積分∫[-∞,+∞](|x|/(pi(1+x^2)))dx發散（即不絕對收斂），所以E(X)不存在。
] 
概率論起源於博弈問題。15-16世紀意大利數學家帕喬利（L.Pacioli）、塔塔利亞和卡爾丹的著作中曾討論過“如果兩人賭博提前結束，該如何分配賭金”等概率問題。1654年左右，費馬與帕斯卡在一系列通信中討論類似的合理分配賭金問題，並用組合方法給出正確解答。他們的通信引起了荷蘭數學家惠更斯的興趣，後者在1657年發表的《論賭博中的計算》是最早的概率論著作。這些數學家的著述中所出現的第一批概率論概論（如數學期望）與定理（如概率加法、乘法定理），標誌着概率論的誕生。但他們主要是以代數方法計算概率。
[
條件概率的定義
設A，B是兩個事件，且P(A)>0，稱P(B|A)=P(AB)/P(A)爲在事件A發生的條件下事件B發生的條件概率。
乘法定理
設P(A)>0，則有P(AB)=P(B|A)P(A)。
上式被稱爲乘法公式。它可由條件概率的公式直接推得。
同理，若P(B)>0，則有P(AB)=P(A|B)P(B)。
]一般認爲，概率論作爲一門獨立數學分支，其真正的奠基人是雅各布·伯努利，他在遺著《猜測述》（Ars Conjectandi，1713）中首次提出了後來以“伯努利定理”著稱的極限定理：若在一系列獨立試驗中，事件A發生的概率爲常數且等於p，那麼對￥ε>0以及充分大的試驗次數n，有P{|(m/n-p)|<ε}>1-η（η爲任意小正數），其中m爲n次試驗中事件A出現的次數。伯努利定理刻畫了大量經驗觀測中呈現的穩定性，作爲大數定律的最早形式而在概率論發展史上佔有重要地位。
伯努利之後，棣莫弗（A.De Moivre，1667-1754）、蒲豐（G.-L.L.Buffon，1707-1788）、拉普拉斯、高斯和泊松等對概率論作出了進一步的奠基性貢獻。其中，棣莫弗（1733）和高斯（1809）各自獨立引進了正態分佈；蒲豐提出了投針問題和幾何概率（1777）；
[
棣莫弗-拉普拉斯定理：設隨機變量Y_n(n=1,2,…)服從參數爲n,p的二項分佈，則對於任意x，有lim[n->∞]P{(Y_n-np)/sqrt(np(1-p))<=x}=∫[-∞,x](1/sqrt(2pi))e^(-t^2/2)dt=Φ(x)。
定理表明二項分佈的極限分佈是正態分佈。一般來說，當n較大時，二項分佈的概率計算起來非常複雜，這時我們就可以用正態分佈來近似地計算二項分佈。
幾何概率的定義
將事件A與樣本空間S用幾何量的測度S_A與S（長度、面積或體積）之比，即概率P=S_A/S，稱爲幾何概率。
幾何概率的基本性質
從幾何概型的概率研究中，我們發現概率有下面三個基本性質：概率的非負性，概率的規範性，概率的可列可加性。前兩個性質與古典概率相同，後一個性質則要求對可列個兩兩互不相容的事件成立。
定義：設隨機試驗E的樣本空間是S={e}，若對於每一個e∈S，有一個實數X(e)與之對應，即X(e)是定義在S上的單值實函數，稱爲隨機變量（簡記爲r.v.）。
定義：若隨機變量全部可能取到的值是有限多個或可列無限多個，則稱爲離散型隨機變量。
定義：設試驗E只有兩個可能的結果A與~A，且P(A)=p(0<p<1)，將試驗E獨立重複地進行n次，這樣的試驗稱爲貝努利試驗。
設X是n重貝努利試驗中事件A發生的次數，則X是一個隨機變量，於是
P(X=k)=(n上,k下)p^k(1-p)^(n-k),k=0,1,2,…,n。稱爲X服從參數爲n，p的二項分佈，記爲X~b(n,p)。
當n=1時，P(X=k)=p^k(1-p)^(1-k),k=0,1。即爲0-1分佈。
1806年，泊松推廣了大數定律，提出了泊松分佈。
1837年，泊松發表“對審判概率的探討”，給出“泊松分佈”。
若X的分佈爲P(X=k)=λ^ke^(-λ)/k!,k=0,1,2,…，其中λ>0是常數，則稱X服從參數爲λ的泊松分佈。記爲X~π(λ)。
幾何分佈
進行重複獨立試驗，設每次試驗成功的概率爲p，失敗的概率爲1-p=q（0<p<1），將試驗進行到出現一次成功爲止，以X表示所需的試驗次數，則X的分佈律爲：P{X=k}=q^(k-1)p，k=1,2,…，稱爲X服從參數爲p的幾何分佈。
]
泊松陳述了泊松大數定律（1837），等等。特別是拉普拉斯1812年出版的《概率的分析理論》，以強有力的分析工具處理概率論的基本內容，使以往零散的結果系統化。拉普拉斯的著作實現了從組合技巧向分析方法的過渡，開闢了概率論發展的新時期。正是在這部著作中，拉普拉斯給出了概率的古典定義：
事件A的概率P(A)等於一次試驗中有利於事件A的可能的結果數與該試驗中所有可能的結果數之比。
[
等可能概率模型中事件概率的計算公式
等可能概型（古典概型）的兩個特點：
（1）樣本空間中的元素只有有限個；
（2）每個基本事件發生的可能性相同。
若事件A包含k個基本事件（基本事件是兩兩不相容的），即A={e_i_1}∪{e_i_2}∪…∪{e_i_k}，這裏i_1,i_2,…,i_k是1,2，…中某k個不同的數。則有P(A)=∑[j=1->k]P({e_i_k})=k/n=A包含的樣本點數/樣本點總數。
拉普拉斯在1812年把上式作爲概率的一般定義。事實上它只適用於古典概型場合。
求解古典概型問題的關鍵是弄清基本事件空間的樣本點總數和所求概率事件包含的樣本點個數。
從古典概型的概率研究中，我們發現概率有下面三個基本性質：概率的非負性，概率的規範性，概率的（有限）可加性。
]
19世紀後期，極限理論的發展成爲概率論研究的中心課題，俄國數學家切比雪夫（1821-1894）在這方面作出了重要貢獻。他在1866年建立了關於獨立隨機變量序列的大數定律，使伯努利定律和泊松大數定律成爲其特例。切比雪夫還將棣莫弗-拉普拉斯極限定理推廣爲更一般的中心極限定理。切比雪夫的成果後又被他的學生馬爾可夫（1856-1922）等發揚光大，影響了20世紀概率論發展的進程。
[
幾何概率中的悖論
幾何概率在現代概率概念的發展中曾經起過重大作用，19世紀時，不少人相信，只要找到適當的等可能性描述，就可以給概率問題以唯一的解答，然而有人卻構造出這樣子的例子，它包含着幾乎似乎都同樣有理但卻互相矛盾的答案，下面就是一個著名的例子。
【貝特朗奇論】在半徑爲1的圓內隨機地取一條弦，問其長超過該圓內接等邊三角形的邊長sqrt(3)的概率等於多少？
同一問題有三種不同的答案，細究其原因，發現是在取弦時採用不同的等可能性假定。在解法1中，假定弦的中點在直徑上均勻分佈，在解法2總假定端點在圓周上均勻分佈，在解法3中假定弦的中點在圓內均勻分佈。由此例看出，等可能性引起了怪現象。
]
19世紀末，概率論在統計物理等領域的應用提出了對概率論基本概念與原理進行解釋的需要。另外，科學家們在這一時期發現的一些概率論悖論也揭示出古典概率論中基本概率論中基本概念存在的矛盾與含糊之處，其中最著名的是所謂的“貝特朗悖論”，1899年由法國學者貝特朗（J.Bertrand）提出：
在半徑爲r的圓內隨機選擇弦，計算弦長超過圓內接正三角形邊長的概率。根據“隨機選擇”的不同意義，可以得到不同的答案。
（1）考慮與某確定方向平行的弦，則所求概率爲1/2。 ----YES
（2）考慮從圓上某固定點P引出的弦，則所求概率爲1/3。----YES
（3）隨機的意義理解爲：弦的中點落在圓的某個部分的概率與該部分的面積成正比，則所求概率爲1/4。----YES
這類悖論說明概率的概念是以某種確定的實驗爲前提的，這種實驗有時由問題本身所明確規定，有時則不然。因此，貝特朗等悖論的矛頭直指概率概念本身，特別地，拉普拉斯的古典概率定義開始受到猛烈批評。
這樣，到19世紀末，無論是概率論的實際應用還是其自身發展，都強烈地要求對概率論的邏輯基礎作出更加嚴格的考察。 
（二）醞釀與準備
最早對概率論嚴格化進行嘗試的，是俄國數學家伯恩斯坦（1880-1968）和奧地利數學家馮·米西斯（R.von Mises，1883-1953）。他們都提出了一些公理來作爲概率論的前提，但他們的公理理論都是不完善的。真正嚴格的公理化概率論只有在測度論與實變函數理論的基礎上纔可能建立。事實上，對概率論基本概念的分析越來越揭示出這些概念與測度論及度量函數中基本概念之間的深刻相似性，使數學家們看到了一條建立概率論邏輯基礎的正確道路。
這方面的先行者是法國數學家博雷爾。作爲測度論的奠基人，博雷爾早在1905年就指出概率論理論如果採用測度論術語表述將會方便許多，並首先將測度論方法引入概率論重要問題的研究。特別是1909年他提出並在特殊情形下解決了隨機變量序列ξ_1，ξ_2，…，服從強大數定律的條件問題。科爾莫哥羅夫（1903-1987）在1926年推導了弱大數定律成立的充分必要條件，後又對博雷爾提出的強大數定律問題給出了最一般的結果。在所有這些研究中，與可測函數論的類比起着極重要的作用。大數定律是概率論的中心課題之一，它的解決標誌着測度論與可測函數論在概率論研究中的有力滲透，成爲以測度論爲基礎的概率論公理化的前奏。
（三）科爾莫戈羅夫公理化
從1920年代中期起，科爾莫戈羅夫開始從測度論途徑探討整個概率論理論的嚴格表述， 其結果是1933年以德文出版的經典性著作《概率論基礎》。科爾莫戈羅夫是莫斯科函數論學派領導人魯金（1883-1950）的學生，對實變函數論的運用可以說是爐火純青。他在這部著作中建立起集合測度與事件概率的類比、積分與數學期望的類比、函數正交性與隨機變量獨立性的類比……，等等。這種廣泛的類比終於賦予了概率論以演繹數學的特徵。
科爾莫戈羅夫公理化概率論中的第一個基本概念，是所謂“基本事件集合”。 對於概率論的邏輯展開而言，集合E的元素是抽象的、非具體的，正如公理化幾何學中的點、線、面等一樣。
E的任意子集，即由可能的結果事件組成的任意集合，被稱爲隨機事件。並不是所有的隨機事件都被考慮，而只考慮一定的事件域。我們知道，概率論只處理那些在某種意義上發生頻率穩定的事件。在科爾莫戈羅夫的公理化理論中，對於域中的每一個事件，都有一個確定的非負實數與之對應，這個數就叫做該事件的概率。在這裏，概率的定義同樣是抽象的，並不涉及頻率或其他任何有具體背景的概念。
科爾莫戈羅夫提出了6條公理，整個概率論大廈可以從這6條公理出發建築起來。科爾莫戈羅夫的公理系逐漸獲得了數學家們的普遍承認。由於公理化，概率論成爲一門嚴格的演繹科學。
[
在公理化定義中只規定了概率應滿足的性質，而不具體規定出它的計算公式或計算方法。
關於概率公理化定義的進一步說明
事實上在概率的公理化定義中，樣本點e不再看作是隨機試驗的結果，而是一些抽象的點，這些點的全體構成樣本空間S，一般不把S的一切子集都作爲事件，若把事件的全體記爲F，它是由S的一些子集構成的集類，且滿足以下條件：（1）S∈F；（2）若A∈F，則~A∈F。（3）若A_n∈F,n=1,2,…,則∪[n=1->∞]A_n∈F。一般地，稱滿足上述三個要求的集類爲σ-域。
這裏F稱爲事件域，F中的元素稱爲事件，S稱爲必然事件，Φ稱爲不可能事件。定義在事件域F上的一個集合函數P稱爲概率，如果它還滿足非負性、規範性和可列可加性。在柯爾莫戈洛夫的概率公理化結構中，稱(S,F,P)爲概率空間。
]