預備知識

1、條件獨立性

如果P(X,Y|Z)=P(X|Z)P(Y|Z)，或等價地P(X|Y,Z）=P(X|Z），則稱事件X,Y對於給定事件Z是條件獨立的，也就是說，當Z發生時，X發生與否與Y發生與否是無關的。
記住公式: P(X1X2X3X4…X100|Y)=P(X1|Y)P(X2|Y)P(X3|Y)…P(X100|Y)
示例：
給定三個事件X,Y,Z：
X：明天下雨；
Y：今天的地面是溼的；
Z：今天是否下雨；
Z事件的成立，對X和Y均有影響，然而，在Z事件成立的前提下，今天的地面情況對明天是否下雨沒有影響。即，在已知Z的前提下，X和Y是相互獨立的，即X和Y是條件獨立的。

2、全概率公式

若事件A1，A2，…，An互不相容，且A1+A2+…+An=Ω，則稱A1，A2，…，An構成一個完備事件組。
全概率公式的形式如下：

例：高射炮向敵機發射三發炮彈，每彈擊中與否相互獨立且每發炮彈擊中的概率均爲0.3，又知敵機若中一彈，墜毀的概率爲0.2，若中兩彈，墜毀的概率爲0.6，若中三彈，敵機必墜毀。求敵機墜毀的概率。
解：設事件B=“敵機墜毀”；Ai=“敵機中i彈”；i=0,1,2,3
P(Ai)爲敵機中i彈的概率。P(B)爲敵機墜毀概率，P(B|Ai)爲敵機中i彈墜毀的概率。

這裏的事件A，我們沒有計算A0，因爲題目沒有提及，所以我們假定A0事件對B事件發生概率沒有影響。即P(B|A0)=0，翻譯爲敵機沒有中彈的情況下，墜毀概率爲0。

3、先驗概率和後驗概率

後驗概率是指在得到“結果”的信息後重新修正的概率，是“執果尋因”問題中的"果"。先驗概率與後驗概率有不可分割的聯繫，後驗概率的計算要以先驗概率爲基礎。
事情還沒有發生，要求這件事情發生的可能性的大小，是先驗概率。
事情已經發生，要求這件事情發生的原因是由某個因素引起的可能性的大小，是後驗概率。
先驗概率不是根據有關自然狀態的全部資料測定的，而只是利用現有的材料(主要是歷史資料)計算的；後驗概率使用了有關自然狀態更加全面的資料，既有先驗概率資料，也有補充資料。

3、貝葉斯公式

貝葉斯公式是用來描述兩個條件概率之間的關係，比如 P(A|B) 和 P(B|A)。
P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可變形爲：P(B|A) = P(A|B)*P(B) / P(A)。

貝葉斯公式爲：

其中P(Ai|B)是在B發生的情況下Ai發生的可能性。A1,A2,…,An爲完備事件組。
貝葉斯公式的分母就是我們之前提到的全概率公式。
我們再來了解一下每一個名詞。
P(A)是A的先驗概率或邊緣概率。之所以稱爲"先驗"是因爲它不考慮任何B方面的因素。
P(A|B)是已知B發生後A的條件概率，也由於得自B的取值而被稱作A的後驗概率。
P(B|A)是已知A發生後B的條件概率，也由於得自A的取值而被稱作B的後驗概率。
P(B)是B的先驗概率或邊緣概率，也作標準化常量（normalized constant）。

例如：一座別墅在過去的 20 年裏一共發生過 2 次被盜，別墅的主人有一條狗，狗平均每週晚上叫 3 次，在盜賊入侵時狗叫的概率被估計爲 0.9，問題是：在狗叫的時候發生入侵的概率是多少？
我們假設 A 事件爲狗在晚上叫，B 爲盜賊入侵，則以天爲單位統計，P(A) = 3/7，P(B) = 2/(20365) = 2/7300，P(A|B) = 0.9，按照公式很容易得出結果：P(B|A) = 0.9(2/7300) / (3/7) = 0.00058
另一個例子，現分別有 A、B 兩個容器，在容器 A 裏分別有 7 個紅球和 3 個白球，在容器 B 裏有 1 個紅球和 9 個白球，現已知從這兩個容器裏任意抽出了一個球，問這個球是紅球且來自容器 A 的概率是多少?
假設已經抽出紅球爲事件 B，選中容器 A 爲事件 A，則有：P(B) = 8/20，P(A) = 1/2，P(B|A) = 7/10，按照公式，則有：P(A|B) = (7/10)(1/2) / [(1/101/2)+(7/10*1/2)] = 0.875

4、伯努利分佈

伯努利分佈亦稱“零一分佈”、“兩點分佈”。稱隨機變量X有伯努利分佈, 參數爲p(0<p<1),如果它分別以概率p和1-p取1和0爲值。數學期望E(X)= p, 方差D(X)=p(1-p)。伯努利試驗成功的次數服從伯努利分佈,參數p是試驗成功的概率。伯努利分佈是一個離散型機率分佈。
概率函數如下。

5、二項分佈

二項分佈就是重複n次獨立的伯努利試驗。在每次試驗中只有兩種可能的結果，而且兩種結果發生與否互相對立，並且相互獨立，與其它各次試驗結果無關，事件發生與否的概率在每一次獨立試驗中都保持不變，則這一系列試驗總稱爲n重伯努利實驗，當試驗次數爲1時，二項分佈服從0-1分佈。
用ξ表示隨機試驗的結果。如果事件發生的概率是P,則不發生的概率q=1-p，N次獨立重複試驗中發生K次的概率公式爲：

記作ξ~B(n,p)。

• 期望：E(ξ) = np；
• 方差：D(ξ) = np(1-p)；

6、泊松分佈

Poisson分佈，是一種統計與概率學裏常見到的離散概率分佈。
泊松分佈的概率函數爲：

• λ ：在 一段特定時間/空間內 事件發生的平均值
• k ：事件在這 一段發生的次數
• e ：自然常數 2.71828…
• P ：該事件在這一段時間/空間發生的概率

泊松分佈的參數λ是單位時間(或單位面積)內隨機事件的平均發生次數。 泊松分佈適合於描述單位時間內隨機事件發生的次數。
泊松分佈的期望和方差均爲λ。
泊松分佈適合於描述單位時間（或空間）內隨機事件發生的次數。如某一服務設施在一定時間內到達的人數，電話交換機接到呼叫的次數，汽車站臺的候客人數，機器出現的故障數，自然災害發生的次數，一塊產品上的缺陷數，顯微鏡下單位分區內的細菌分佈數等等。

7、極大似然法

極大似然法是建立在極大似然原理的基礎上的一個統計方法，極大似然原理的直觀想法是，一個隨機試驗如有若干個可能的結果A，B，C，… ，若在一次試驗中，結果A出現了，那麼可以認爲實驗條件對A的出現有利，也即出現的概率P(A)較大。極大似然原理的直觀想法我們用下面例子說明。設甲箱中有99個白球，1個黑球；乙箱中有1個白球．99個黑球。現隨機取出一箱，再從抽取的一箱中隨機取出一球，結果是黑球，這一黑球從乙箱抽取的概率比從甲箱抽取的概率大得多，這時我們自然更多地相信這個黑球是取自乙箱的。一般說來，事件A發生的概率與某一未知參數 有關， 取值不同，則事件A發生的概率 也不同，當我們在一次試驗中事件A發生了，則認爲此時的 值應是t的一切可能取值中使 達到最大的那一個，極大似然估計法就是要選取這樣的t值作爲參數t的估計值，使所選取的樣本在被選的總體中出現的可能性爲最大。

求極大似然函數估計值的一般步驟：
（1） 寫出似然函數；
（2） 對似然函數取對數，並整理；
（3） 求導數（偏導） ；
（4） 解似然方程 。

似然函數：

f(x)爲概率密度函數。

例題：設某電子元件的壽命T服從參數爲λ的指數分佈，測得n個元件的失效時間爲x1,x2,x3,…,xn，試求λ的極大似然估計值。
第一步：寫出似然函數。

第二步：似然函數取對數，並整理。

第三步：求導，求零點。

第四步：解方程。

因爲時，。
因爲時，。
所以爲該似然函數的極大值點，所以λ的極大似然估計值爲。

8、協方差矩陣

首先需要先了解一下協方差的概念。
協方差（Covariance）在概率論和統計學中用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。
望值分別爲E[X]與E[Y]的兩個實隨機變量X與Y之間的協方差Cov(X,Y)定義爲：

如果X與Y是統計獨立的，那麼二者之間的協方差就是0，因爲兩個獨立的隨機變量滿足E[XY]=E[X]E[Y]。
協方差作爲描述X和Y相關程度的量，在同一物理量綱之下有一定的作用，但同樣的兩個量採用不同的量綱使它們的協方差在數值上表現出很大的差異。爲此引入如下概念。
隨機變量X和Y的(Pearson)相關係數：

ρ的取值範圍是[−1,1]。1表示完全線性相關，−1表示完全線性負相關，0表示線性無關。線性無關並不代表完全無關，更不代表相互獨立。

多維隨機變量的協方差矩陣
爲n維隨機變量，則n唯隨機變量X的協方差矩陣爲：