Introduction
提出了一種新的基於注意力的圖序列學習神經網絡模型Graph2Seq。Graph2Seq模型遵循傳統的編解碼器方法，包含兩個主要組件，一個圖形編碼器和一個序列解碼器。本文提出的圖形編碼器旨在學習表達性節點嵌入，並將其重新組合成相應的圖形嵌入。爲此,靈感來自最近的圖表示學習方法(漢密爾頓et al ., 2017),我們建議歸納基於神經網絡學習節點從節點屬性通過聚合社區信息嵌入的直接的和間接的圖表,並探討了兩種截然不同的聚合器在每個節點上產生兩個表示連接以形成最終的節點嵌入。此外，我們進一步設計了一種基於注意力的RNN序列解碼器，該解碼器以圖的嵌入作爲初始隱藏狀態，學習基於與相應節點相關的上下文向量和所有先前的預測，聯合對齊和平移，輸出目標預測。
3 GRAPH-TO-SEQUENCE MODEL
3.1 節點的向量表示學習
學習節點的向量表示，然後根據鄰接矩做gregation過程，過程的實現可以採用Mean aggregator，LSTM aggregator
，Pooling aggregator。
3.2 圖的向量表示學習
採用Pooling-based Graph Embedding和Node-based Graph Embedding（在這種方法中，我們將一個超級節點vs添加到輸入圖中，並將圖中的所有其他節點直接添加到vs中。我們使用前面提到的節點嵌入生成算法，通過聚合鄰居節點的嵌入來生成vs的嵌入。將捕獲所有節點信息的vs嵌入視爲圖的嵌入）
3.3 基於注意力機制的解碼器
序列解碼器是一個遞歸神經網絡(RNN)，它預測下一個token yi，給定前面所有單詞y<i = y1，…， yi 1，時間i的RNN隱藏狀態si，以及一個指向編碼器端的上下文向量ci。特別是，上下文向量ci依賴於一組節點表示(z1，…，zV)，圖編碼器將輸入圖形映射到其中。每個節點表示zi包含關於整個圖的信息，重點放在輸入圖的第i個節點周圍的部分。上下文向量計算加權和這些節點表示和計算每個節點的重量αij表示
點注意力權重：
4 解決的任務
1 最短路徑
將問題處理爲求兩個節點No1和No2之間的最短路徑，這兩個節點在圖中表示o1和o2。爲了用Graph2Seq解決這個問題，我們用text屬性START註釋No1，用text屬性END註釋No2。對於其他節點，我們在圖中將它們的id指定爲它們的文本屬性。值得注意的是，在我們的模型中，開始和結束標記是節點特性，它們的向量表示首先被隨機初始化，然後由模型稍後學習。相比之下，在gs - nn中，起始節點和結束節點的向量表示被設置爲一個熱向量，這是專門爲最短路徑任務設計的。