ICLR 2020|小桃無主，輕帶晚鴉--從邏輯表達視角看GNN

GNN可以表現什麼可以解決什麼問題，是否有改進餘地，在建模網絡數據時，這種形式的模型是否是最優的，其它可能的方向是什麼確實值得進一步的思考。在本次ICRL中確實看到了一些研究這些問題的文章，他們在相關理論上上下求索，給出了一些有意思的結論，獨具一種出水芙蓉，清雅絕塵之美。

ICLR專題

GNN可以表現什麼可以解決什麼問題，是否有改進餘地，在建模網絡數據時，這種形式的模型是否是最優的，其它可能的方向是什麼確實值得進一步的思考。在本次ICRL中確實看到了一些研究這些問題的文章，他們在相關理論上上下求索，給出了一些有意思的結論，獨具一種出水芙蓉，清雅絕塵之美。下面是一篇研究GNN邏輯表達能力的文章。

原文：The Logical Expressiveness of Graph Neural Networks

GNNs經常被和檢測圖同構的Weisfeiler-Lehman（WL）算法聯繫起來，具體地，WL檢測通過爲圖中的每個節點逐步地構造標籤，並通過比較兩個圖中的節點標籤來判斷二者是否同構，而GNNs通過聚合鄰居的特徵向量並和本節點的特徵向量結合起來的過程與此相似。我們稱這種GNNs爲aggregate-combine GNNs，即AC-GNNs。研究發現，如果兩個節點在WL檢測中的標籤相同則他們通過AC-GNNs產生的節點向量也是相同的。因爲存在AC-GNNs可以產生WL檢測的結果，從而AC-GNNs被認爲和WL檢測一在區分節點方面一樣強大。但這並不是說AC-GNNs捕捉到每一種節點分類器的模式，一個簡單的反例爲這種分類器將所有節點分類爲true當且僅當這個圖中有孤立節點。

從而AC-GNNs可以捕捉到怎樣的節點分類器呢？以及是否存在一種GNN可以捕捉到AC-GNNs所不可以捕捉到的分類器呢？

作者在邏輯分類器的層面回答了這些問題，使用FOC2邏輯度量（詳見原文）AC-GNNs的表現力，同時，FOC2和WL檢測的關係如下：一個圖中的兩個節點可以被WL測試分到一類當且僅當他們嚴格滿足一個相同的一元FOC2式子。

從而作者說明

（1）一種特定種類的FOC2可以被AC-GNNs表達，這種邏輯稱爲分級模態邏輯；

（2）使用一種非常簡單的方式，即允許全局readouts，每一層同時也計算一個整個圖的全局特徵向量並將其和局部的聚合結合。這種GNNs被稱爲ACR-GNNs。

爲展現理論上證明的ACR-GNNs的表現力和AC-GNNs與ACR-GNNs的區別，作者選擇在合成數據集上進行實驗，具體如下：一個展現ACR-GNNs可以學習到而AC-GNNs不能學習到的一個簡單的FOC2節點分類器的實驗和一個涉及到更加複雜的FOC2分類器去學習更多直接相關的readout函數的實驗。