Graph Isomorphism Network

Paper : GRAPH ISOMORPHISM NETWORK
Code :

摘要

作者使用Weisfeiler-Lehman(WL) test 和同構圖判定問題來評估GNN網絡的表達能力，並提出了GIN網絡結構，理論分析GIN的表達能力優於GraphSAGE GCN等結構，在多任務上準確率達到了SOTA。WL測試與GNN具有相似的信息傳遞方式，在WL test算法運行的過程中，算法構造了從 multiset 到 representation 的單射函數，因此WL test在圖同構問題上具有強表達能力。作者嘗試使用GNN構造與WL test 在圖同構問題上相同強度的表達能力的網絡結構。

本文的貢獻主要有以下四點

1. 證明GNN在圖同構問題上至多與WL test 表達能力相同
2. 提出了GNN與WL test 表達能力相同時，需要滿足的聚合表達式和圖讀出函數的條件
3. 給出了GCN GraphSAGE 等網絡區分不了的網絡結構特例
4. 提出了GIN網絡結構

準備

通用GNN網絡的數學表示可以使用如下形式

$\\a_{v}^{(k)} = \text{Aggregate}^{(k)}(\{h_{u}^{(k-1)}|u\in N(v)\}) \\h_{v}^{(k)} = \text{Combine}^{(k)}(h_v^{(k-1)},a_v^{(k)})$

其中 $h_{v}^{(k)}$ 是第k個迭代層中節點v的特徵向量。我們初始化$h_v^{(0)} = X_v$

對於GraphSAGE網絡，上式表示爲

$\\a_{v}^{(k)} = \max(\{\text{ReLU}(W^{(k)}h_{u}^{(k-1)})|u\in N(v)\}) \\h_{v}^{(k)} = W'^{(k)}(h_{v}^{(k-1)}||a_v^{(k)})$

對於GCN，上式表示爲

$\\h_{v}^{(k)} = \text{ReLU}(W^{(k)}\text{Mean}\{h_{u}^{(k-1)}|u\in N(v)\cup\{v\}\})$

當進行圖分類任務時，需要將點特徵轉化爲全局特徵

$h_G = \text{Readout}(\{h_v^{(K)}|v\in V\})$

WL test：迭代式，用於解決圖同構問題的算法，包含以下兩步

• 聚合節點及其鄰域的標籤
• 將聚合後的標籤散列爲唯一的新標籤

如果在某些迭代中兩個圖之間的節點的標籤不同，則該算法確定兩個圖是非同構的。一個WL test 的例子如下所示

如果將散列後的節點按照在圖中出現的次數排成一個一維向量，該向量(WL subtree kernel)可以用來衡量兩張圖之間的相似度。

理論分析

在以下的理論分析中，假定節點上的特徵是來源於可數空間的，假定GNN每層的輸出特徵也是來自可數空間的。這樣，可以將每種特徵表示映射到一個整數標籤 $\{a,b,c...\}$ 上。

可重複集合(MultiSet)：$X = (S,m)$ 其中，$S$ 表示集合中每種元素，$m$ 給出不同種對應的出現次數。

通過研究GNN何時將兩個節點映射到相同的特徵表示來研究GNN的表示能力，表示能力的理論上限爲當兩個節點對應的子樹相同時，才映射到相同的特徵表示。子樹的定義如下

而GNN的聚合操作可以抽象爲將節點對應的multiset映射到特徵表示上，顯然，當且僅當該映射是單射時GNN具有最強的特徵表示能力。

結論1：令兩個圖$G_1,G_2$ 是任意兩個非同構的圖。如果存在一個圖神經網絡 $\mathcal{A}: \mathcal{G} \rightarrow \mathbb{R}^{d}$ 將圖 $G_1,G_2$ 映射到不同的graph embedding。那麼通過Weisfeiler-Lehman同構測試也可以確定非同構性。

結論1說明，在圖同構問題上，GNN的理論上限就是WL test。

結論2：令 $\mathcal{A}: \mathcal{G} \rightarrow \mathbb{R}^{d}$ 是一個GNN，對於兩個通過Weisfeiler-Lehman同構測試測定爲不同構的兩個圖 $G_1,G_2$ ，在GNN層足夠多的情況下，如果下面的情況成立，則通過GNN可以將這兩個圖映射到不同的graph embedding

1. $\mathcal A$ 用下面的公式迭代的聚合和更新節點特徵：
   $h_{v}^{(k)}=\phi\left(h_{v}^{(k-1)}, f\left(\left\{h_{u}^{(k-1)}: u \in \mathcal{N}(v)\right\}\right)\right)$
   其中函數 $f$ 作用在multiset上，滿足 $\phi$ 函數是單射的
2. 讀出層作用在multiset $\{h_{v}^{(k)}\}$ 上，也是單射的

結論3給出了對於圖同構問題，如何構造理論表達能力最強的GNN。

結論4：輸入的特徵空間 $X$ 是可數的，那麼GNN網絡中的第 $k$ 層的輸出，$h_v^{(k)}$ 也是可數的

這一結論保證了我們可以將GNN等價到WL test 進行考慮。

GIN

結論5：假定點特徵 $\mathcal X$ 是可數的，存在函數 $f :\mathcal{X}\rightarrow \mathbb R^{n}$ 使得 $h(X) = \sum_{x\in X}f(x)$ 是個單射，而且任何定義在multiset上的函數 $g$ 可以表示成 $g(X) = \phi(\sum_{x\in X}f(x))$

結論6：假定點特徵 $\mathcal X$ 是可數的，存在函數 $f :\mathcal{X}\rightarrow \mathbb R^{n}$ 使得對於無窮多個 $\epsilon$，包含所有無理數

$h(c,X) = (1+\varepsilon)f(c)+\sum_{x\in X} f(x)$

是單射函數，其中 $c\in\mathcal X$ 而 $X\subset \mathcal X$ 表示multiset對應的特徵集合，而且任何函數 $g$ 都可以表示爲

$g(c,X) = \phi((1+\varepsilon)f(c)+\sum_{x\in X} f(x))$

使用MLP來擬合 $f,g$，因此，GIN的點特徵更新函數表示爲

$h_v^{(k)} = \text{MLP}^{(k)}((1+\varepsilon^{(k)})h_v^{(k-1)}+\sum_{u\in N(v)}h_u^{(k-1)})$

其中 $\varepsilon^{(k)}$ 是定值或是可學習的。

Graph Embedding構造方法爲

$h_G = ||_{k=1}^K \text{ReadOut}(\{h_v^{(k)}|v\in G\})$

如果 $ReadOut$ 使用Sum，那麼可以轉化爲 WL test 算法。

GraphSAGE 與 GCN

作者給出了使用Mean和Max進行信息聚合表現不好的例子

結論：由於mean和max函數 不滿足單射性，無法區分某些結構的圖，故性能會比sum差。

sum, mean, max 分別可以捕獲的信息特點

• sum：學習全部的標籤以及數量，可以學習精確的結構信息
• mean：學習標籤的比例（比如兩個圖標籤比例相同，但是節點有倍數關係），偏向學習分佈信息
• max：學習最大標籤，忽略多樣，偏向學習有代表性的元素信息

實驗結果

首先，GIN，尤其是GIN-0（固定 $\epsilon = 0$），在所有9個數據集上達到了SOTA。 GIN在包含相對大量訓練圖的社交網絡數據集上表現亮眼。對於Reddit數據集，所有節點都與節點要素共享相同的標量。在這裏，GIN和求和聚合GNN準確捕獲圖結構並明顯優於其他模型。但是，均值聚合GNN無法捕獲未標記圖的任何結構，並且其性能也不比隨機猜測好。即使提供節點度作爲輸入特徵，基於均值的GNN的效果也要比基於求和的GNN差得多。比較GIN（GIN-0和GIN-$\epsilon$），我們觀察到GIN-0略微但始終優於GIN-$\epsilon$。由於兩個模型均能很好地擬合訓練數據，因此與GIN-$\epsilon$相比，其簡單性可以解釋GIN-0具有更好的泛化能力。

總結

本文的理論分析建立在兩個前提下，第一個是圖同構，第二個是圖分類任務。不一定可以簡單的將其泛化到點分類或其他任務上，需要進行更多的分析和實驗。