《Diffusion-Convolutional Neural Networks》論文理解

1.DCNN框架

DCNN以節點的特徵矩陣以及節點的概率轉移矩陣（可以認爲是結構矩陣）爲輸入，然後以每個節點爲中心，將不同的跳（hop）上的節點信息進行聚合，得到前$H$跳的聚合向量，構成節點的擴散表示$Z_t(i,:,:)\in R^{H\times F}$，所有節點的擴散表示組成張量$Z_t\in R^{N_t\times H\times F}$。對節點（圖）的分類任務就是將擴散表示直接送入全連接網絡，通過softmax函數得到各類的分類概率。下圖是DCNN的實現節點分類和圖分類的流程圖。

2.擴散卷積表示

$A_t$表示圖的鄰接矩陣，$P_t$表示度歸一化轉移矩陣，$(P_t)_{ij}$表示由節點$i$轉移到$j$的概率，可以由$A_t$計算得到，可以認爲是權重矩陣。$A_t$矩陣有一個性質：$A_t$矩陣的冪級數$A^n_t$中的一個元素$(A^n_t)_{ij}$，表示節點$i$到節點$j$長度爲$n$的遊走(英文爲$walk$)的數量，當不存在這樣的遊走時，該值爲0，之後將該矩陣歸一化後，就可以表示長度爲$n$時，節點$i$轉移到$j$的概率。這種性質對應與公式（1）：
$P^*_{tijk}=P^j_{tik}\tag1$

其中，$P^*_t\in R^{N_t\times H\times N_t}$表示由$P_t$組成的冪級數；$i$表示節點$i$ ；$j$表示跳(hop)爲$j$，也就是遊走的長度爲$j$；$k$表示節點的第$k$個特徵。從公式（1）可以看出來，$P^*_t$的元素$(P^*_t)_{ijk}$表示：遊走長度爲$j$時，節點$i$轉移到節點$k$的概率。

（1）節點的擴散卷積表示

擴散卷積表示爲：
$Z_{tijm}=f(W_{jm}^c\cdot \sum_{l=1}^{N_t}{P^*_{tijl}X_{tlm}})\tag2$

其中，$m$表示所有節點的第$m$個特徵，$W_{jm}$表示權重，$Z_{tijm}$表示：以節點$i$爲中心，在第$m$個特徵上，遊走長度爲$j$的節點信息的聚合值；$\sum_{l=1}^{N_t}{P^*_{tijl}X_{tlm}}$部分的意義是以概率方式對節點$i$的$j$跳節點的一個信息聚合,$f$爲非線性激活函數。
式（2）的張量表示形式爲:
$Z_t=f(W^c\bigodot P^*_tX_t)\tag{3}$

其中，$\bigodot$表示逐元素相乘，$W^c \in R^{H\times F}$，爲訓練權重；$P^*_tX_t\in R^{N_t\times H\times F}$表示每個節點的各個跳$[0,H-1]$的聚合信息；在計算$W^c\bigodot P^*_tX_t$，存在廣播機制，會將$W^c$複製$N_t$遍，然後逐元素相乘；$Z_t \in R^{N_t\times H\times F}$。

(2)圖的擴散卷積表示

圖的擴散卷積表示：
$Z_t=f(W^c\bigodot \frac{(1_{N_t})^TP^*_tX_t}{N_t})\tag{4}$

其中$P^*_tX_t$的意義不變，$1_{N_t}\in R^{N_t\times 1}$表示將各個節點信息$\in R^{H\times F}$聚合的權重；除以$N_t$得到平均值。$W^c$訓練得到的加權權值。

3.分類任務

（1）節點分類

在得到節點的擴散卷積表示$Z_t$之後，可以直接將$Z_t$送入全連接層;
$P(Y|X)=softmax(f(W^dZ))\tag5$

其中，在送入全連接層之前需要將$Z_t$展平，變成二維矩陣$Z\in R^{N_t\times (HF)}$，$W^d\in R^{(HF)\times C}$，$C$表示分類種數。
論文中表達的公式爲$P(Y|X)=softmax(f(W^d\bigodot Z))$應該和公式（5）是一致的。

（2）圖分類

圖分類與節點分類的原理一致：
在得到圖的擴散卷積表示$Z_t$之後，可以直接將$Z_t$送入全連接層;
$P(Y|X)=softmax(f(W^dZ))\tag6$

其中，在送入全連接層之前需要將$Z_t$展平，變成一維向量$Z\in R^{(HF\times 1)}$，$W^d\in R^{(HF)\times C}$，$C$表示分類種數。