概率圖模型之有向圖與無向圖

在RBM的使用中,採用了該模型


http://blog.sina.com.cn/s/blog_4dfdfdc30100r1cn.html

概率圖模型之有向圖與無向圖

圖模型用圖結構描述隨機變量之間的依賴關係,結點表示隨機變量,邊表示隨機變量之間的依賴關係,可以是有向圖和無向圖。

一 無向圖模型

無向圖模型又叫馬爾可夫網絡、馬爾可夫隨機場,是關於一組有馬爾可夫性質隨機變量X的全聯合概率分佈模型。

無向圖模型的表示

給定包含n個隨機變量的問題域clip_image002,則定義在問題域U上的無向圖模型包括拓撲結構和參數兩部分:

? 拓撲結構S:節點表示隨機變量,兩節點之間的連線表示它們之間具有直接的相互影響。

? 參數Θ:無向圖模型參數是對節點之間相互影響的定量描述。它是拓撲結構S中每個極大完全子圖所對應的勢函數的集合。其中,極大完全子圖(clique)是指不包含於其它完全子圖的完全子圖(完全子圖中任何兩節點是直接相連的),勢函數clip_image004則反映了極大完全子圖clip_image006的每種可能狀態的能量。

2 無向圖模型的聯合概率分解

利用無向圖模型可將圖的聯合概率分解爲一系列因子式。給定無向圖模型拓撲結構S和參數Θ之後,問題域U上的聯合概率密度函數可寫爲:

clip_image008

其中N爲無向圖中極大完全子圖的數目。

3 例子:

clip_image010

clip_image012

clip_image014

二 有向圖模型

clip_image016

1 一個簡單的例子

clip_image018Zu2P4VEJeLlo3OvcL8seQRwBNIiBdrZeYrD3M7ku1u6hMkBxC7fYYlx__ELUS0QAFu0VNltF4OTmei_KfxJjahlD1ZMKCq0DJLL6jEl2Dq4Eety1Qw/clip_image018_thumb[1].jpg">

2 一般情況

clip_image020考慮任意聯合分佈 ,通過連續使用乘法規則

clip_image022

利用局部馬爾可夫性簡化簡化:在給定其所有父親節點的情況下,隨機變量X與其非後繼條件獨立。

clip_image024

其中pai是Xi的父節點集合。

三 有向圖模型與無向圖模型的對比:

1 共同之處

將複雜的聯合分佈分解爲多個因子的乘積

2 不同之處

有向圖模型因子是概率分佈、無需全局歸一

無向圖模型因子是勢函數,需要全局歸一

3 優缺點

無向圖模型中勢函數設計不受概率分佈約束,

設計靈活,但全局歸一代價高

有向圖模型無需全局歸一、訓練相對高效


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章