《概率統計與隨機過程》——筆記1

第一章 隨機事件的概率

1.1 隨機事件與樣本空間

1.1.1 隨機試驗與隨機事件

試驗：各式各樣的科學實驗或對某一事物的某種特性的觀察。
隨機試驗：如果在相同的條件下可以重複進行，而且每次試驗的結果事前不可預言，簡稱試驗。
隨機事件（事件）：在試驗中可能發生，也可能不發生的事件。
基本事件（樣本點）：試驗中的每一個可能結果都是一個最簡單的隨機事件。
必然事件：在試驗中必然會發生的事件。
不可能事件：在實驗中不可能發生的事件。

1.1.2 樣本空間

定義 1 試驗E的全部基本事件組成的集合，稱爲試驗E的樣本空間，記爲S。
試驗E的基本事件是E的樣本空間中的元素。基本事件又稱爲樣本點。
——用集合論的有關知識來討論事件間的關係和運算。

1.1.3 隨機事件的關係與運算

若事件A發生必然導致事件B發生，則稱事件A含於事件B，或稱事件B包含事件A，記爲A⊂B 或B⊃A 。
事件A與B至少有一個發生，稱爲A與B之和，記爲A+B 或A∪B
事件A與B同時發生，這一事件稱爲A與B之積，記爲AB 或A∩B
若事件A與B不能同時發生，即AB=∅ ，則稱事件A與B互不相容或稱A與B互斥。
特別的，若AB=∅ 且A+B=S ，則稱兩個事件A與B呼你，或稱A與B對立。
事件A發生而B不發生，這一事件稱爲A與B之差，記爲A−B
重要公式：A−B=A−AB=AB¯¯¯
事件之間的運算，滿足以下規則：

1. 交換律 A+B=B+A,AB=BA
2. 結合律 (A+B)+C=A+(B+C),(AB)C=A(BC)
3. 分配路 (A+B)C=AC+BC,(AB)+C=(A+C)(B+C)
4. 德摩根公式 對於有限個或克烈無窮多個事件Ai ，恆有
   
   ∑iAi¯¯¯¯¯¯¯¯¯=∏iA¯¯¯i,∏iAi¯¯¯¯¯¯¯¯=∑iA¯¯¯i

1.2 概率的定義及性質

P(A) 稱爲事件A的概率，是事件A發生可能性的度量。

1.2.1 概率的古典定義

古典型隨機試驗（古典概型）：樣本空間只包含有限個基本事件，且每個基本事件發生的可能性相等。
定義 2 設試驗E的樣本空間S={e1,e2,...,en} ，且P(e1)=P(e2)=...=P(en) ,E中事件A包含k個基本事件，則稱P(A)=kn 爲事件A的概率。

1.2.2 概率的幾何定義

定義 3設幾何概型的樣本空間爲S，A是含於S內的任意隨機事件，即A⊂S ，則稱

P(A)=L(A)L(S)

爲事件A的概率。其中，L(A)是事件A的度量，L(S)是樣本空間的度量，即事件A的概率等於事件A的幾何度量與樣本空間S的幾何度量的比值。這樣的概率稱爲幾何概率。
——具有完全可加性（或稱可列可加性）。

1.2.3 概率的統計定義

定義 4 設某試驗重複做了n次，事件A共發生了nA 次，則稱比值nAn 爲n次試驗中事件A發生的頻率，記作fn(A) ，即

fn(A)=nAn

定義 5 若隨着試驗次數的增大，事件A發生的頻率fn(A) 在某個常熟p(0≤p≤1) 附近擺動，並且逐漸穩定於p，則稱該常數p爲事件A的概率，即P(A)=p ，並把這樣定義的概率稱爲統計概率（經驗概率）。

1.2.4 概率的公理化定義

定義 6 設P(A)是定義在試驗E的全體事件（包括∅ 和S）所組成的集合F 上的一個實值函數。若P(A)滿足下列三個性質：
1. 對每一A∈F ，0≤P(A)≤1
2. P(S)=1
3. 對互不相容的Ai∈F,i=1,2,3,...

P(∑i=1∞Ai)=∑i=1∞P(Ai)

則稱P(A)爲事件A的概率。
性質如下：
4. 不可能事件的概率爲0，即P(∅)=0
5. 概率具有有限可加性，即若A1,A2,...,An 互不相容，則

P(∑i=1n)Ai=∑i=1nP(Ai)

6. 對任意事件A,有

P(A¯¯¯)=1−P(A)

7. 若B⊂A ，則P(A−B)=P(A)−P(B) ，且

P(B)≤P(A)

8. 對任意事件A,B有

P(A+B)=P(A)+P(B)−P(AB)

1.3 條件概率與乘法公式

1.3.1 條件概率的概念

定義 7設A,B爲試驗E的兩個事件，且P(B)>0 ，則稱

P(A|B)=P(AB)P(B)

爲在事件B發生的條件下，事件A發生的條件概率。

1.3.2 乘法公式

由條件概率的定義得

P(AB)=P(B)P(A|B)(P(B)>0)

P(AB)=P(A)P(B|A)(P(A)>0)

1.4 全概率公式與貝葉斯公式

1.4.1 全概率公式

定理 1設事件組B1,B2,...,Bn 滿足：（1）∑ni=1Bi=S ；（2）B1,B2,...,Bn 互不相容；（3）P(Bi)>0,i=1,2,...,n ，則對任意事件A，恆有

P(A)=∑i=1nP(Bi)P(A|Bi)

，該式稱爲全概率公式。

1.4.2 貝葉斯公式

定理 2設事件組B1,B2,...,Bn 滿足：(1)∑ni=1Bi=S;(2)B1,B2,...,Bn互不相容;(3)P(Bi)>0,i=1,2,...,n, 則對任意事件A(P(A)>0) ,有

P(Bi|A)=P(Bi)P(A|Bi)∑nj=1P(Bj)P(A|Bj,i=1,2,...,n

該式被稱爲貝葉斯公式。

1.5 事件的獨立性（較難理解）

定義 8 對任意兩個事件A和B，若

P(AB)=P(A)P(B)

則稱A和B相互獨立，簡稱獨立。
定理 3 對任意事件A,B,且P(B)>0 ，則A與B獨立的充分必要條件是

P(A|B)=P(A)

定理 4 若事件A與B獨立，則下列每對事件：A¯¯¯ 與B ,A 與B¯¯¯ ,A¯¯¯ 與B¯¯¯ 也相互獨立。
定義 9 若事件A1,A2,...,An 滿足條件：

P(AiAj)$=P(Ai)P(Aj),1≤i<j≤n

則稱n個事件A1,A2,...,An 是兩兩獨立的。
若對任意整數k(2≤k≤n) 和1≤i1<i2<...<ik≤n ,恆有P(Ai1Ai2...Aik=P(Ai1)P(Ai2)...P(Aik) ,則稱n個事件A1,A2,...,An 相互獨立。
對於克烈無窮多個事件A1,A2,...,An,... ,若其中任意有限多個時間都相互獨立，則稱A1,A2,...,An,... 相互獨立。
注：兩兩獨立不一定相互獨立，但相互對立一定兩兩獨立。
定理 5 若事件A1,A2,...,An 相互獨立，則事件B1,B2,...,Bn 也相互獨立。其中Bi 爲Ai或Ai¯¯¯¯,i=1,2,...,n

實際中，事件的獨立性常常根據經驗來判斷。一般地，若n個事件A1,A2,...,An 中的每一個事件發生的概率都不受其他事件發生與否的影響，那麼就可以認爲這n個事件是相互獨立的。