轉自 | 新智元 來源 | deepmind等
編輯 | 雅新
【導讀】在上週三ICLR 2020大會中，來自Deepmind的研究人員Petar Veličković介紹了用算法推理的圖表示學習最新研究。該研究提出了主要鄰域聚合（PNA），並通過實踐證明了使用多個聚合策略同時提高了GNN的表現力。
由於圖的不規則性，傳統的深度學習算法在處理複雜的圖時面臨着巨大的挑戰。
近年來，人們對深度學習方法在圖上的擴展有着濃厚的興趣，由此一個新的研究熱點——圖神經網絡（GNN）應運而生。圖神經網絡在算法推理能力上有着不可估量的潛力，甚至有望成爲下個AI拐點。
上週的ICLR 2020大會中，來自Deepmind的研究人員Petar Veličković主要介紹了用於算法推理的圖表示學習最新研究。
圖表示學習
GNN 的出現，給圖表示學習帶來了新的建模方法。圖表示學習是深度學習的一個方向，是一種無監督學習，其核心是研究圖數據的表示。以 DeepWalk、LINE 和 node2vec 爲代表的圖表示學習技術得到廣泛地應用。
爲什麼我們要通過圖來表示學習？是因爲很多數據都是圖結構，例如社交網絡、經濟網絡、生物醫學網絡、信息網絡、互聯網、神經網絡等。
圖數據中蘊含着豐富的結構信息，然而因其內在關聯而產生的一種非線性結構，在補充刻畫數據時，給數據學習帶來了巨大挑戰。因此，圖表示學習在此就會發揮巨大的作用。
它具有兩個重要作用，一是將圖數據表示成線性空間中的向量；二是爲之後的學習任務奠定基礎。
GNN表現力不夠強
圖神經網絡（GNN）在過去十年中一直是活躍的研究領域，同時圖表示學習取得了巨大的突破。但是，由於缺乏標準化的基準和表現力的理論框架，新型圖神經網絡的有效性很難讓人理解。
實際上，該領域的大多數工作都集中在改進一組圖形基準上的GNN架構，而沒有評估其網絡能否正確表示圖的結構特性。
直到最近，纔有關於各種GNN模型表現力的重大研究，主要集中在同構任務和可數特徵空間上。但是，這些主要側重於區分不同的圖形拓撲能力上，而在瞭解它們能否捕獲並利用圖結構的基礎特徵上所做的工作很少。
或者一些工作側重於使用光譜域將卷積神經網絡（CNN）推廣到圖形，這是Bruna等人首先提出的。爲了提高光譜分析效率和改善模型的性能，Chebyshev多項式誕生，後來推廣到Cayley濾波器。
在本文研究工作中，研究人員着眼於不同GNN模型理解光譜分解某些方面的能力，即拉普拉斯圖和光譜半徑，因爲它們構成了圖的光譜特性的基本方面。雖然光譜特性和濾光片沒有在此次的架構中明確編碼，但功能強大的GNN仍然能夠有效地學習。
研究發現：主要鄰域聚合（PNA）
先前經典圖論工作着重於評估GNN模型在單個任務上應用的性能，如最短路徑，圖矩或旅行商問題。
而本文研究者們採用了不同的方法開發多任務基準，同時包含節點級和圖形級的問題。他們還特別觀測了每個GNN預測單源最短路徑，離心率，拉普拉斯特徵的能力，連通性，直徑和光譜半徑。其中許多任務基於使用動態算法編程，因此非常適合於GNN的研究。
Petar表示，「我們相信這項多任務方法可確保GNN能夠同時理解多種特性，這是解決複雜圖形問題的基礎。而且，任務間有效地共享參數，表明了其對圖形的結構特徵有更深入的瞭解。此外，我們通過在更大尺寸的圖形上進行測試來探索網絡的泛化能力存在於訓練集中。」
通過假設當前的GNN的聚合層從節點鄰域進入單層無法提取足夠的信息，這限制了它們的表現力和學習能力。實際上，最近的工作表明不同的聚合器在不同的任務上表現更好。由於不能正確識別鄰域，同時也無法可靠地找到子結構，GNN並不能很好地學習節點集羣。
研究者們首先對引入不可數多集註入性問題提出解決方案，從數學上證明對多種聚合的需求。然後，他們提出了標度的概念，作爲總聚合概括，它允許網絡基於每個節點的程度放大或衰減信號。結合以上內容，研究者又設計了主鄰域聚合（PNA）網絡，並通過實踐證明了使用多個聚合策略同時提高了GNN在圖論問題上的性能。
Petar把目前現有研究中的CNN算法分爲了三個級別 Unit-level, Step-level, Algo-level
作者同時分析了GNN的理論框架擴展到了連續的特徵，並證明了在這種情況下需要多個聚合器。通過呈現標度來聚合，並建議使用對數標度。
針對以上所有因素，作者提出了一種由多個聚合器和標度組成的「主要鄰域聚合」。爲了理解GNN捕獲圖結構的能力，並提出了一種新穎的多任務基準以及用於解決它的編碼過程解碼結構。
Petar表示「我們認爲，我們的發現構成了建立GNN具有表現力模型層次結構的一步，從這個意義上講，PNA模型似乎優於GNN層設計中的現有技術。」
「算法推理是圖形表示學習一個令人興奮的新領域。」
參考鏈接：
https://arxiv.org/pdf/2004.05718.pdf
https://www.reddit.com/r/MachineLearning/comments/gegxuf/graph_representation_learning_for_algorithmic/
—完—