概率图模型的d-separation概念

---

---

d-separation

三种类型：

1. Serial connection （head-to-tail）
2. Diverging connection （tail-to-tail）
3. Converging connection

公式推导

---

链式法则

$P(X_1,X_2,...,X_n)=P(X_1|X_2,...,X_n)P(X_2|X_3,...,X_n)...P(X_{n-1}|X_n)P(X_n)$

贝叶斯网络定义：
$P(X_1,X_2,...,X_n)=\prod^n_{i=1}P(X_i|PA(X_i))$

---

Serial connection （head-to-tail）

不观测$X_k$

$P(X_i,X_j)=\sum_{x_k}P(X_i,X_j,X_k)=P(X_i)P(X_j|X_i)$

结果：X与Y并不是独立事件

观测$X_k$

$P(X_i,X_k,X_j)=P(X_i)P(X_k|X_i)P(X_j|X_k)$

$P(X_i,X_j|X_k)=\frac{P(X_i,X_k,X_j)}{P(X_k)} =\frac{P(X_i)P(X_k|X_i)P(X_j|X_k)}{P(X_k)}=\frac{P(X_i,X_j)P(X_j|X_k)}{P(X_k)}=P(X_i|X_k)P(X_j|X_k)$

结果： $X_i,X_j$关于$X_k$条件独立

---

Diverging connection （tail-to-tail）

不观测$X_k$

$P(X_i,X_j)=\sum_{x_k}P(X_i,X_j,X_k)=\sum_{x_k}P(X_k)P(X_j|X_k)P(X_i|X_k)$

结果：X与Y并不是独立事件

观测$X_k$

$P(X_i,X_k,X_j)=P(X_k)P(X_i|X_k)P(X_j|X_k)$
$P(X_i,X_j|X_k)=\frac{P(X_i,X_k,X_j)}{P(X_k)} =\frac{P(X_k)P(X_i|X_k)P(X_j|X_k)}{P(X_k)}==P(X_i|X_k)P(X_j|X_k)$

结果：$X_i,X_j$关于$X_k$条件独立

---

Converging connection

不观测$X_k$

$P(X_i,X_j)=\sum_{x_k}P(X_i,X_j,X_k)=P(X_i)P(X_j)\sum_{x_k}P(X_k)=P(X_i)P(X_j)$

结果：X与Y是独立事件

观测$X_k$

$P(X_i,X_j|X_k)=\frac{P(X_i,X_k,X_j)}{P(X_k)} =\frac{P(X_i)P(X_j)P(X_k|X_i,X_j)}{P(X_k)}$

结果：$X_i,X_j$关于$X_k$ 不是 条件独立

定义

在不同的已知条件下判断A，B是否属于D-Separationd时会得到不同的结果。
比如已知了C下可能判断出A 和B是d分离的，
但如果不知道c或者已知为节点D的状态或者不知道任何其他节点的状态，则可能得出的结果是A，B未分离的。

定义 D-Separation： 对于 DAG 图 E，且A，B是图中的两个节点，对于A和B之间的每个结点C，如果节点C满足如下两个条件之一，则认为A，B是D-Separationd：

• the connection of C is serial or diverging and the state of C is observed;
• the connection of C is converging and neither the state of C nor the state of any descendant of C is observed

简单的来说：在C可观测时候 且 C是 serial 或者 diverging 连接时候，A，B是d分离的（独立）；在C不可观测时候 且 C是 converging 连接时候，A，B是d分离的（独立）
反之：在C 不可观测时候 且 C是 serial 或者 diverging 连接时候，A，B不是d分离的（独立）；在C 可观测时候 且 C是 converging 连接时候，A，B 不是 d分离的（独立）

参考

参考_d-seperation_知乎
参考_d-seperation_博客园
参考_d-seperation_CSDN