訓練是通過大量無標註的數據進行模型的訓練，得到一套模型參數，利用這套參數對模型進行初始化，再根據具體任務在現有語言模型的基礎上進行精調（MSRA）。預訓練的方法在自然語言處理與計算機視覺領域，都被證明擁有更好的效果。
原文：Strategies for Pre-training Graph neural networks
預訓練是通過大量無標註的數據進行模型的訓練，得到一套模型參數，利用這套參數對模型進行初始化，再根據具體任務在現有語言模型的基礎上進行精調（MSRA）。預訓練的方法在自然語言處理與計算機視覺領域，都被證明擁有更好的效果。不過，在圖的表示學習領域，預訓練仍然是一個具有挑戰性的問題。本文提出了一個在多圖分類任務上的圖神經網絡預訓練模型，希望得到節點級別和圖級別的高質量預訓練參數，可以魯棒的遷移到下游任務。
模型的預訓練主要分爲節點級預訓練和圖級別預訓練兩步。
在節點級上，預訓練時分別考慮圖的結構特徵以及屬性特徵。在結構特徵方面，文中將常見的“節點-鄰居”模型擴展爲“節點鄰居子圖+上下文子圖”，用節點鄰居子圖與上下文子圖的相似性衡量結構相似性，分別用圖神經網絡學習兩個子圖的特徵。節點鄰居子圖和上下文子圖之間的錨節點（“context anchor nodes”）體現了節點鄰居子圖和上下文子圖之間的信息關聯。在屬性特徵方面，利用”MASK-PREDICT”的方法，通過分別mask節點和邊的屬性來學習圖的屬性特徵，這種方法可以是的幫助模型對domain knowledge的學習。
在圖級別上，文中提出了2種與訓練過方法。一種爲在圖級進行有監督的多任務學習（multi-task learning）。在該場景下一般要求預訓練時的任務與實際的下游任務存在較好的關聯性，才能取得較好的預訓練效果。另一種方法爲計算不同圖的相似性（比如圖的編輯距離或者圖的結構相似性等）來進行訓練，這種方法的難點在於如何合理地衡量兩個圖之間的相似性。文中採取的預訓練方式爲，先進行節點級的預訓練，然後利用有監督的多任務學習進行圖級別的預訓練。作者認爲，直接進行多任務圖級別的預訓練可能會造成negative transfer。
實驗結果：
作者在論文公佈的數據集上用常見的圖神經網絡模型進行了實驗。可以看出，pre-training使得GIN、GCN和GraphSAGE的模型表現均取得了提升，GAT的表現顯著下降。作者認爲，GIN的表達力更強，在多數據和領域的pre-training上能夠取得更好的提升。本文首次提出了大規模圖神經網絡預訓練模型，對未來的相關研究具有參考意義。
相關閱讀：
ICLR 2020 | NLP預訓練模型的全新範式：對比學習
ICLR 2020 | 一種高效、表達能力強的可微分歸納邏輯推理模型
ICLR 2020 滿分論文解讀| 一種鏡像生成式機器翻譯模型：MGNMT