Composition-based Multi-Relational Graph Convolutional Networks 多關係圖神經網絡 ICLR 2020

論文來源：ICLR 2020
論文鏈接：https://arxiv.org/abs/1911.03082
代碼鏈接：https://github.com/malllabiisc/CompGCN

1、引言

圖神經網絡已經成爲圖數據分析領域的經典算法了,各大頂會上相關的論文也層出不窮.但是,這些工作主要關注點都在如何在簡單無向圖上設計一個更新穎更復雜的模型,而沒有從圖數據的複雜程度來考慮.實際生活中的圖往往更加複雜.比如,知識圖譜上的有向多關係圖.下面是一個知識圖譜的例子,這裏有多種節點,如London和United Kingdom;也有多種有向關係,如Born-in和Citizen-of.注意,這裏的關係是有方向的,Born-in和Bord-in_inv是同一關係的兩個方向.

可以看出,多關係圖的建模是更符合實際也具有更高的應用價值.本文作者從實際的圖數據特點出發,設計了一種針對多關係有向圖的圖神經網絡CompGCN來同時學習節點和關係的表示.同時,爲了降低大量不同類型關係帶來的參數,這裏作者設計了一種分解操作composition operation,將所有關係都用一組基的加權組合來表示. 這樣用於描述關係的參數只和基的個數有關.

下圖對比了幾種圖神經網絡的特點,可以看看出:學習關係的表示是CompGCN獨有的特點.

總的來說,本文的貢獻有3點:

• 設計了CompGCN模型,一種可以考慮多種關係信息的圖神經網絡框架,來同時學習節點和關係的表示.
• 證明了CompGCN與之前的多關係GNN之間的聯繫.
• 實驗驗證了CompGCN的有效性.

2、相關工作

首先,作者回顧了多關係圖及多關係圖神經網絡的做法.

多關係圖中的邊可以表示爲$(u,v,r)$,代表存在一條從節點$u$指向節點$v$的類型爲$r$的邊,其中$r\in\mathcal{R}$. 同時,也存在一個相應的反向邊$(u,v,r^{-1})$.

多關係圖神經網絡,也是分別聚合特定關係$r$下的鄰居,
$H^{k+1}=f(\hat{A}H^kW_r^k)$其中, $W_r$是針對關係$r$的參數矩陣.而經典的單關係GCN聚合公式如下,$H^{k+1}=f(\hat{A}H^kW^k)$可以看出,兩者主要差異就在$W_r$和$W$. 假設關係的種類非常多,那麼參數矩陣$W_r$的個數也會非常多,引入了非常多的參數,不利於模型學習.

3、模型CompGCN

本文綜合考慮多關係圖上的3種邊類型: 有向邊$\mathcal{R}$,如$(u,v,r)$; 反向邊$\mathcal{R}_{inv}$,如$(u,v,r^{-1})$; 自連邊$\top$, 如$(u,v,\top)$. 自連邊指的是一個節點可以連接到自身,這種連接關係類型爲$\top$.$\varepsilon'=\varepsilon\cup\{(u,v,r^{-1}|(u,v,r)\in\varepsilon\}\cup\{(u,v,\top)|u\in\mathcal{V}\}$有了邊的集合,相應的鄰居集合也就可以得到了. 進一步,多關係圖神經網絡中聚合鄰居的過程如下,$h_v=f(\sum_{(u,r)\in\mathcal{N}(v)}W_rh_u)$其中,$(u,r)\in\mathcal{N}(v)$是節點$v$的在關係$r$下的鄰居集合,$h_v$是節點$v$的表示,$h_u$是節點$u$的表示, $W_r$是針對關係$r$的投影矩陣. 這裏的$h_u$綜合考慮節點及邊關係的影響,即:$h_u=\phi(x_u,z_r)$

本文設計了3種不同的[公式]函數

• Subtraction (Sub): $\phi(x_u,z_r)=x_u-z_r$
• Multiplication (Mult): $\phi(x_u,z_r)=x_u*z_r$
• Circular-correlation (Corr): $\phi(x_u,z_r)=x_u\star z_r$

考慮鄰居節點的表示和邊類型的區別,新的聚合公式如下:$h_v=f(\sum_{(u,r)\in\mathcal{N}(v)}W_{\lambda(r)}\phi(x_u,z_r))$其中, $\lambda(r)$是邊的類型.回憶之前介紹的三種邊類型:有向邊,反向邊,自連邊.相應的投影矩陣也有3種.

下圖清晰的展示了有向邊和反向邊的聚合過程.

爲了能夠統一的對節點和邊進行運算,我們需要把邊的表示從邊空間(如$z_r$)投影到節點空間(如$h_r$).$h_r=W_{rel}z_r$其中,$W_{rel}$是一個邊空間到節點空間的投影矩陣.

CompGCN爲了降低大量邊帶來的參數複雜度,這裏作者設計了一組基向量$\{v_1,v_2,\cdots,v_{\mathcal{B}}\}$.所有的邊的表示都可以由一組基向量加權表示.$z_r=\sum_{b=1}^{\mathcal{B}}\alpha_{br}v_b$其中,$\alpha_{br}$代表關係$r$在基向量$v_b$上的係數.

上述過程實際描述的是CompGCN第一層的聚合過程,涉及到節點/邊的空間投影及邊的組合表示. 在第二層及之後的聚合過程中並不需要投影/組合表示,聚合函數也有所不同.$h_v^{k+1}=f(\sum_{(u,r)\in\mathcal{N}(v)}W_{\lambda(r)}^k\phi(h_u^k,h_r^k))$$h_r^{k+1}=W_{rel}^kh_r^k$最後作者分析了CompGCN與之前的一些模型的異同.可以看出,之前的很多圖神經網絡實際都可以認爲是CompGCN的特例.

4、實驗

這裏,作者分別在鏈路預測,節點分類,圖分類上進行了實驗.

在鏈路預測任務上(見Table 3),CompGCN在大部分情況下取得了最優的效果.

作者進一步測試了不同composition operator的影響,見Table 4

當採取CovE+CompGCN(Corr)的時候,模型取得了最佳的效果.

CompGCN的一個特點就是利用基向量來表示各個關係.作者進一步測試了基向量的個數對模型效果的影響.

Figure 3可以看出,在基向量個數設置爲100的時候,模型可以保持99.4%的效果.如果進一步降低基向量的個數,模型效果會持續下降.

作者也測試了固定5個基向量的CompGCN與R-GCN的表現,見Figure 4.可以看出,即使只有5個基向量,CompGCN的效果也優於考慮所有關係的R-GCN.

最後,作者也測試了CompGCN在節點分類/圖分類上的效果,見Table 5. 在大部分情況下,CompGCN都取得了最好的效果.

5、結論

本文提出了一種針對多關係圖的圖神經網絡CompGCN,可以同時學習到節點和邊的表示. 通過一組基向量,CompGCN可以用較少的參數實現對大量關係的描述. 最後,作者通過大量的實驗驗證了CompGCN的有效性.