機器學習方法篇(15)------貝葉斯分類基礎

● 每週一言

音樂,是不二良藥。

導語

學過統計分析,一定知道什麼是先驗概率和後驗概率,而貝葉斯分類的原理和這兩種概率息息相關。爲了更好地講解貝葉斯分類,本節先講講概率統計相關的基礎知識,方便之後的公式推導。

概率基礎

概率基礎一共講四個公式:加法公式乘法公式/條件概率貝葉斯公式全概率公式

加法公式: P(A∪B) = P(A) + P(B) − P(A∩B)
上式對於任意兩個事件A和B均成立。之所以要減掉A、B事件的並,是因爲A發生時,B也有可能發生,即A與B不一定是條件獨立事件。加法公式示意圖如下:

fig1

乘法公式/條件概率: P(A∩B) = P(A)P(B|A) = P(B)P(A|B)
所謂乘法,即在A事件發生的前提下P(A),B事件也發生的概率P(B|A);或者在B事件發生的前提下P(B),A事件也發生的概率P(A|B)。乘法公式也叫作條件概率公式,示意圖如下:
fig2

貝葉斯公式: P(B|A) = P(B)P(A|B) / P(A)
貝葉斯公式由乘法公式聯立得出。

在機器學習中,貝葉斯公式通常寫爲P(h|D) = P(h)P(D|h) / P(D)。其中P(h)表示在沒有進行樣本訓練之前假設h的初始概率,即前面提到的先驗概率,先驗概率反映了關於h的所有前提認知。而在機器學習中我們通常更關心後驗概率P(h|D),即給定D時h成立的概率。
全概率公式:

fig3

上式中,Bi表示兩兩不相容的時間,通俗的理解可以是兩兩不相同的時間段。P(A|Bi)表示在Bi時段A事件發生的概率,由於Bi兩兩不相容,因此上述P(A)的全概率公式使用加法公式計算得來。全概率公式圖例描述如下:
fig4

以上便是必備的四大概率公式,敬請期待下節內容。

結語

感謝各位的耐心閱讀,後續文章於每週日奉上,敬請期待。歡迎大家關注小鬥公衆號 對半獨白

face

發佈了91 篇原創文章 · 獲贊 113 · 訪問量 27萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章