本篇開始，逐一介紹一些概率編程相關內容。首先介紹貝葉斯網的相關基礎知識和應用。
本篇導讀：
本篇主要介紹了貝葉斯定理，貝葉斯網以及相關應用：
- 概率的解釋
- 貝葉斯定理
- 貝葉斯網
- 貝葉斯網的構造
- 貝葉斯網的應用
- 動態貝葉斯網
概率的解釋
首先介紹一下貝葉斯引論中概率的解釋：
這裏主要介紹主要的概率的三種解釋：
古典解釋：P(A) = 事件A包含的樣本數/樣本空間的總樣本數= m/n 。
前提條件等可能性，這個條件在實際應用中很難滿足，應用範圍有限。
頻率解釋：概率近似等於頻率。符合大數定律。
按照頻率解釋，概率只有當試驗可以在同等條件下無限次重複時纔有意義。然而，在實際應用中人們往往要研究一些不可能重複的事件發生的概率，例如競選總統和體育比賽的結果。
頻率解釋對這些一次性事件無法處理。
主觀解釋：主觀解釋又稱貝葉斯解釋，它認爲概率即合理信度，反映的是個體的知識狀態和主觀信念。在這種意義下的概率稱爲主觀概率。
相對於頻率解釋，主觀解釋的長處是它允許對一次性事件也進行概率評估。
貝葉斯網所依賴的一個核心就是條件獨立，而概率的主觀解釋爲直觀理解條件概率和條件獨立提供了一個自然的角度。
貝葉斯定理
先驗概率和後驗概率這兩個概念是相對於某組證據而言的，設H和E爲兩個隨機變量，H=h爲某一假設，E=e爲一組證據。在考慮證據E=e之前，對事件H=h的概率估計P(H=h)稱爲先驗概率。而在考慮證據之後，對H=h的概率估計P(H=h|E=e)稱爲後驗概率。貝葉斯定理描述了先驗概率和後驗概率之間的關係：
這又稱爲貝葉斯規則，或貝葉斯公式。
在貝葉斯定理中，P(E=e|H=h)稱爲似然度，有時即爲
貝葉斯定理之所以有用是因爲似然度往往容易獲得，而後驗概率則不然。
貝葉斯網
貝葉斯網是一個有向無圈圖，其中節點代表隨機變量，節點間的邊代表變量之間的直接依賴關係，每個節點都附有一個概率分佈，根節點X所附的是它的邊緣分佈P(X)，而非根節點X所附的是條件概率分佈。
貝葉斯網可以從定性和定量兩個層面來理解。在定性層面，它用一個有向無圈圖描述了變量之間的依賴和獨立關係。在語義上，貝葉斯網是聯合概率分佈的分解的一種表示。
例如Alarm問題的聯合概率分佈，可以使用鏈規則和條件獨立，分解成複雜度較低的概率分佈乘積。
聯合概率分佈的分解降低了概率模型的複雜度。貝葉斯網的引入雖然沒有進一步降低複雜度，但它爲概率推理提供了很大的方便。主要是因爲貝葉斯網一方面是嚴格的數學語言，適合計算機的處理；另一方面，它直觀易懂，方便人們討論交流和建立模型。
貝葉斯網的構造
貝葉斯網的構造方法有兩種，一種是通過諮詢專家手工構造，另一種是通過數據分析來獲得。
實際應用中，人們往往利用因果關係來確定貝葉斯網的結構。例如Alarm問題的貝葉斯網的構造。Pearl(2000)提出概率利用因果關係來決定變量順序。實際應用效果上，因果關係往往使得網絡結構簡單，概率分佈易於評估。
如何來判斷因果關係呢？在實際應用中，對於變量X和Y，如果知道X的狀態被改變會影響你對Y的信度，而反過來Y的狀態被改變並不影響你對X的信度，那麼就說X是Y的原因。
貝葉斯網的應用
貝葉斯網的圖論語言簡單易懂，能夠幫助人們理清問題的結構，同時它是嚴格的數學語言，可以直接用計算機來處理，這些特點使得貝葉斯網絡成爲許多問題的研究工具。例如貝葉斯網有以下應用：
醫療診斷：如疾病診斷。
工業應用：如故障診斷。
金融分析：石油價格預測，證券風險評與回報，風險投資決策。
計算機系統：垃圾郵件過濾，計算機系統故障診斷。
軍事應用：戰場推理，身份識別。
機器學習：
機器學習是人工智能的一個子領域，它研究的是怎樣讓計算機模擬實現人的學習行爲，從經驗數據出發，通過學習不斷提高自己完成某種任務的能力。分類(classification)和聚類(clustering)是機器學習中的兩個主要問題，分類是從一系列給定類別的數據出發，爲下一個未知類別的數據歸類。聚類是從一個未知類別的數據出發，分析他們可以聚成哪幾個類，以及那些數據屬於哪一個類。
兩個常見的分類模型：
樸素貝葉斯模型(naive Bayes model)，又稱爲樸素貝葉斯分類器(naive Bayes classifier)，是一個包含一個根節點，多個葉節點的樹狀貝葉斯網。樸素貝葉斯模型包含了一個所謂的局部獨立(local independence)假設，即給定類別變量C，個屬性變量Ai相互條件獨立。
TAN模型
樸素貝葉斯模型的局部獨立的假設在實際應用中往往不成立，爲了使模型更貼近實際，可以在各個葉節點之間加上一些必要的邊，以表示各變量之間的依賴關係，這種樹狀結構模型就稱爲加樹樸素貝葉斯模型(tree augmented naive Bayes model)，簡稱TAN模型。
動態貝葉斯網
爲了能夠對動態隨機過程進行表達和推理，人們引入了動態貝葉斯網(dynamic Bayesian networks, DBN)的概念，它又稱爲時變貝葉斯網(temporal Bayesian networks)。
動態貝葉斯網包含了兩個假設：一是一階馬爾可夫假設，二是時齊性或者齊次性。
常見的兩個動態貝葉斯網的特列爲隱馬爾可夫模型和卡爾曼濾波器。
隱馬爾科夫模型：是一個簡單的時間序列模型，它的每個時間片由一個隱狀態變量Xi和一個觀測變量Yi組成，它們都是離散變量。
卡爾曼濾波器(KFM)，又稱線性動態系統(linear dynamic system)，由Kalman(1960)提出，KFM涉及一個隨時間變化的連續變量x，x隨時間的變化對x的觀測結果y都符合線性高斯分佈。
參考資料：
- 貝葉斯網引論 張連文 郭海鵬 著
- 貝葉斯統計 韋來生 編
- Practical Probabilistic Programming - Avi Pfeffer 著