寫論文時收集的關於貝葉斯網絡的基本概念

  貝葉斯網絡

定義：

貝葉斯網絡是一個有向無環圖，由代表變量結點及連接這些結點的有向邊構成。可以將具體問題中複雜的變量關係在一個網絡結構表示，通過網絡模型反映問題領域中變量的依賴關係。用數學符號表示一個貝葉斯網絡模型如下：

B=(V,E,P)

其中：

V={V₁,V₂,…V_n}                     隨機變量集合；

E={V_iV_j|V_i,V_j∈V}                   有向邊的集合；

P={P(V_i|V₁,V₂,…,V_i-1),V_i∈V}          條件概率分佈集，即條件概率表；

變量可以是任何問題的抽象，用來代表感興趣的現象、部件、狀態或屬性等，具有一定的物理和實際意義。有向邊表示變量之間的依賴或因果關係，有向邊的箭頭代表因果關係影響的方向性(由父結點指向子結點)，結點之間若無連接邊表示結點所對應的變量之間是條件獨立的, 其對應問題領域的定性描述。條件概率表列出了每個結點相對於其父結點所有可能的條件概率,其對應問題領域的定量描述。貝葉斯網絡約定以結點Xi的父結點爲條件，X_i與任意非X_i子結點條件獨立。概率值表示子結點與其父結點之間的關聯強度或置信度，沒有父結點的結點概率爲其先驗概率。

 

 

 

貝葉斯網絡的優勢：

貝葉斯學習理論將先驗知識與樣本信息相結合、依賴關係與概率表示相結合，是數據挖掘和不確定性知識表示的理想模型。與數據挖掘中的其它方法如：規則表示、決策樹、人工神經網絡等相比，貝葉斯學習理論具有下列優點：

(1)    貝葉斯學習能夠方便的處理不完全數據。例如考慮具有相關關係的多個輸入變量的分類或迴歸問題，對標準的監督學習算法而言，變量間的相關性並不是它們處理的關鍵因素，當這些變量中有某個缺值時，它們的預測結果就會出現很大的偏差。而貝葉斯學習則提供了較爲直觀的概率關聯關係模型。

(2)    貝葉斯學習能夠學習變量間的因果關係。因果關係是數據挖掘中極爲重要的模式。原因有二：在數據分析中，因果關係有利於對領域知識的理解；在干擾較多時，便於作出精確的預測。

(3)    貝葉斯網絡與貝葉斯統計相結合能夠充分利用領域知識和樣本數據的信息。任何從事過實際建模任務的人都會知道先驗信息或領域知識在建模方面的重要性，尤其是在樣本數據稀疏或數據較難獲得的時候，一些商業方面的專家系統完全根據領域專家知識來構建就是一個很好的例證。貝葉斯網絡用弧表示變量間的依賴關係，用概率分佈表來表示依賴關係的強弱，將先驗信息與樣本知識有機結合起來。

貝葉斯學習理論在數據挖掘中獲得了成功的應用。對貝葉斯學習理論研究最大的動力就是它在實際應用中的巨大作用和潛力。目前，貝葉斯學習理論已成功地應用到智能用戶接口、信息濾波、車輛自動導航、武器制導、醫療診斷、經濟預測和文本分類等諸多領域。

 

貝葉斯網絡的構建：

構建貝葉斯網絡包括以下三部分內容：

(1)變量的定義；

(2)結構學習；

(3)參數學習。

網絡結構學習的目標是找到和樣本數據D匹配度最好的貝葉斯網絡結構。貝葉斯網絡的參數學習實質上是在已知網絡結構的條件下，來學習每個節點的概率分佈表。

這三個任務之間一般是順序進行的，然而在構造過程中一般需要在以下兩個方面作折中:一方面爲了達到足夠的精度，需要構建一個足夠大的、豐富的網絡模型；另一方面，要考慮構建、維護模型的費用和考慮概率推理的複雜性。實際上建立一個貝葉斯網絡往往是上述三個過程迭代地、反覆地交互過程。其中第二、三個任務是構建貝葉斯網絡的關鍵點也是難點所在，主要是構建出一個有向無環圖並給出圖中每個結點的分佈參數，即每個節點都對應一個條件概率分佈表。

一般情況下，有三種不同方式來構造貝葉斯網絡。

(1)    完整學習。這種方式完全由人主觀定義貝葉斯網絡結構及參數，完全由人的主觀因素確定；

(2)    部分學習。這種方式由人主觀定義貝葉斯網絡中的結點變量，然後通過大量的訓練數據來學習貝葉斯網的結構和參數。這種方式完全是一種數據驅動的方法，具有很強的適應性；

(3)    將以上兩種方式的結合，由領域專家確定貝葉斯網絡中的結點變量，通過專家的知識來指定網絡的結構，再通過機器學習的方法從數據中學習網絡的參數。

P.S.其實上面對於學習的不同方式是別人提出來的，現在我認爲那樣說有些不對。不同類別可以解釋爲
1. 人工定義：根據先前對研究事物的統計研究，完全由人工定義網絡結構和參數。沒有網絡學習的過程。
2. 部分學習：根據先前的研究定義網絡的結構，包括節點（變量）和有向邊（因果關係），通過數據訓練網絡參數，相應的學習算法有最大似然法和貝葉斯估計。
3.完全學習：根據具體研究目的定義節點（變量），通過數據學習網絡結構，相應的算法有爬山法，K2等。然後再通過數據訓練網絡的參數。[e01]