貝葉斯網絡是一種信念網，基於有向無環圖來刻畫屬性之間的依賴關係的一種網絡結構，並使用條件概率表（CPT）來描述聯合概率分佈。
具體來所，一個貝葉斯網絡B由結構G和參數 兩部分構成，B=（G, θ），網絡結構G是一個有向無環圖，點對應每一個屬性，設父節點爲π，所以包含了每個屬性的條件概率表爲
結構
以結構表達了屬性之間的條件獨立性，給定父節點集，假設每個屬性與它的非後裔屬性獨立，於是有聯合概率分佈定義爲：
兩個變量通過第三個中間變量的連接方式主要有順連、分連、匯連這三種連接形式（圖1-3）。
（1）順連（圖1-3a）
當z未知時，變量x的變化會影響z的置信度的變化，從而間接影響y的置信度，所以此時x間接影響y，x和y不獨立。當變量z的置信度確定時，x就不能影響z，從而不能影響y，此時x和y獨立，因爲此時x和y的通道被阻斷了。
（2）分連（圖1-3b）
對於圖b，分連代表一個原因導致多個結果，當變量z已知時，變量x和y之間就不能相互影響，是獨立的，而當變量z未知時，z可以在變量x和y之間傳遞信息，從而使變量x和y相互影響從而不獨立。
（3）匯連（圖1-3c）
匯連與分連恰好相反，代表多個原因導致一個結果，並且當變量z已知時，變量x的置信度的提高會導致變量y的置信度的降低，從而x和y之間會相互影響所以是不獨立的。而當z未知時，變量x和y之間置信度互不影響，他們之間是獨立的。
故對於一個複雜的DAG,可定義這樣一個結論（即D-分離）：設E是一個DAG且包含A,B,C三個節點結合，爲了判斷A,B是否關於C條件獨立，考慮E中所有A,B之間的無向路徑滿足以下條件的一條，則稱這條路徑是被阻斷的：
（1） 路徑中的某個節點X滿足順連或分連的連接方式，並且X屬於C
（2） 路徑中的節點X滿足匯連的方式，並且X或X的子節點不屬於C
如果連接A和B的所有路徑都被阻斷的，那麼A和B是關於C條件獨立的，否則A和B是不關於C條件獨立的。
道德圖
道德圖是先找到結構中的匯連結構，並在匯連結構中的父節點上加上一條無向邊，把結構中的所有有向邊變爲無向邊，便形成了道德圖，令父節點相連的過程稱爲“道德化”。
基於道德圖能夠迅速找到變量間的條件獨立性，假定道德圖中有變量x，y和變量集z={zi}，若變量x和y能在圖上被z分開，從道德圖中將變量集合z去除後，x和y分別屬於兩個連通分支，即由z分成兩個圖，則稱x和y被z有向分離，x⊥y|z成立（即x和y關於z條件獨立）將上圖道德化之後得到右圖，
所以i⊥l|g，g⊥s|i，d⊥l|g。
學習
若已知結構，只需要學習參數即可，然後估計出條件概率表即可。但現實中並不知曉網絡結構，於是貝葉斯網絡就是找出結構最巧當的貝葉斯網絡，常用“評分搜索”的方法來進行結構好壞的評判，，就是先定義一個評分函數，然後評估貝葉斯網絡與訓練數據集的契合程度，然後基於評分函數來尋找最優網絡結構。
評分函數是基於信息論的原則，即找到一個能以最短編碼長度來描述訓練數據的模型。長度包括模型自身的長度和描述該模型所需的參數的字節長度。
給定訓練集
爲貝葉斯網絡B的對數似然，所以（15）中第一項是計算編碼貝葉斯網絡所需的參數的字節數，第二項是計算需要結構B所對應的Pb需要多少個字節來描述數據集D，故貝葉斯網絡就是尋找結構使評分函數s（B|D）最小。
若f（θ）=1，即每個參數用一個字節描述，則得到AIC評分函數(AIC信息準則即Akaike information criterion，是衡量統計模型擬合優良性的一種標準，由於它爲日本統計學家赤池弘次創立和發展的，因此又稱赤池信息量準則，它建立在熵的概念基礎上，可以權衡所估計模型的複雜度和此模型擬合數據的優良性。
若貝葉斯網絡B的網絡結構G固定，則評分函數s（B|D）的第一項是固定的，所以最小化評分函數就轉化爲參數θ最大似然函數估計，參數
所以若結構一致，則需要對參數進行最大似然估計即可得到結構和參數。
但是從所有的網絡結構空間進行搜索最優網絡結構是一個NP問題，難以快速求解，一般有兩種常用的方法快速求解：貪心算法：假設現有結構爲最優，每次調整一條邊（增加、刪除、改變方向）直到評分函數值最低爲止；第二種直接通過網絡結構增加約束來減少搜索空間，例如將網絡結構限定爲樹形結構等。