知識圖譜作爲人類知識的載體，蘊含着豐富的語義知識，因此支撐着許多上游的應用，例如問答，推薦等。基於知識圖譜的推理作爲知識圖譜問答的基礎，也是有着不同的解決框架，本文解讀了兩篇不同框架的論文：一篇是基於知識圖譜的向量嵌入技術，完全基於向量操作進行推理演算；另一篇是基於Neural Logic Programming框架，並進一步解決了數值推理的問題。
1，Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings
(ICLR 2020, Poster)
Hongyu Ren, Weihua Hu, Jure Leskovec
隨着知識圖譜向量嵌入的技術發展，衍生出了另一種基於向量的知識圖譜推理方法，與之前的Neural-LP（Neural Logic Programming）類似的推理框架不同，這一推理框架將問題和實體都表示成低維向量，隨後通過向量計算實體與問題的相似度，從而選取相似度較高的實體作爲問題的答案實體。然而，之前的方法都是把問題表示爲單個向量，但較爲複雜的問題可能具有多個答案實體，所以將這種複雜問題表示成語義單一的單個向量明顯是不合理的。本文提出了一種Box Embedding的思想，將問題表示成向量空間中的具有一定空間範圍的box，這樣的query box中就可以自然的包括所有答案實體，充分表示了複雜問題的語義信息。
具體來說，box embedding是由中心向量和偏移向量所組成，覆蓋向量空間中的一定範圍，所以，問題中的源實體也可以看成一種偏移量爲零的特殊box，通過一系列的邏輯向量操作，就可以得到最終的包含答案實體的box。首先文中定義了合取式的邏輯向量操作，認爲合取式都可以用倆種邏輯操作：Projection，Intersection來表示。Projection表示KG中的關係映射，也是由中心向量和偏移向量所組成；Interaction表示多個box embedding的交集，如下圖所示：
最終通過比較實體向量與最後得出的box的距離（Distance），就可以得到答案實體。
隨後，又進一步加入了邏輯的析取表達。文中證明，若將析取也定義成與合取類似的邏輯向量操作的情況，那麼生成的不同問題數量跟知識圖譜的實體數目是成正比的，這將使模型很難泛化到大規模知識圖譜中。所以文中提出將問題轉換成一種由多個合取所組成的析取範式框架(Disjunctive Normal Form)，將析取定義成對所有合取結果的最後一步合併操作，如下圖：
這樣就可以以一種溫和的方式引入析取表達，擴大了模型的表達能力。
模型系統地在三個標準的知識圖譜（FB15K,FB15K-237,NELL995）進行了評測，並與另一個相關的baseline GQE (Hamilton et al., 2018)進行了對比：
p(Projection), i(Intersection),u(Union) 代表不同的問題組成。 實驗結果表明Q2B在所有情況下都顯式的優於Q2E，體現出Box embedding的有效性。
2，Differentiable learning of numerical rules in knowledge graphs
ICLR 2020 (Poster)
Po-Wei Wang, Daria Stepanova, Csaba Domokos, J. Zico Kolter.
先前的基於Neural-LP（Neural Logic Programming）框架的模型一般只能在由<實體，關係，實體>組成的知識圖譜結構謂詞上進行推理，而不能解決涉及到實體屬性數值方面的問題，例如“比A年長的人是誰？”本文是在Neural-LP框架上進行了拓展，加入了數值推理的邏輯，解決了數值比較，屬性聚合以及求反等三個方面的推理。
具體來說，文中把實體屬性的數值比較也定義了成了一種謂詞操作：
其中，p, q表示待比較的屬性，這樣就可以自然的將屬性謂詞使用類似於Neural-LP的謂詞矩陣運算來實現。但是與關係謂詞不同，屬性謂詞矩陣通常是稠密的，因爲屬性在實體上較爲通用，而稠密矩陣的相乘複雜度特別高，所以文中定義了一種排序正則化的思路，將矩陣相乘轉化爲排序後的累加，極大地降低了複雜度。有了之前的定義，求反操作就比較容易得出，即對於之前得到的屬性謂詞矩陣的每一維取非(0->1, 1->0)，但會遵循Local Closed-world Assumption(LCWA)，即至少有一個非0值的行纔會取非。
基於定義的數值比較和求反操作，通過在之上施加聚合函數 F 去達到多個屬性操作聚合作用的效果，例如下面一條邏輯表達式：
其中 F 代表的聚合操作就是由倆種基礎的屬性比較操作的某種聯合作用，聚合函數可用任意的神經網絡來替換，文中使用了簡單的MLP。
模型系統地在兩個標準的知識圖譜（FB15K-237-num, DBP15K-num）上進行了評測，並且爲了體現出數值推理的作用，文中又構造了倆個富含屬性信息的數據集Numerical-1/2，實驗結果如下：
實驗結果可以看出，本文基於Neural-LP拓展出的方法Neural-Num-LP在自造的數據集上，達到了一種很好的效果，而另外倆個相關的baseline因爲沒有加入數值推理的邏輯，所以效果不行；同時，在倆個標準知識圖譜上，Neural-Num-LP也能達到一個較好的效果，體現出框架的一方面很好的保存了關係推理的功能，又較好的建模了數值推理的邏輯。
參考文獻：
[1] Will Hamilton, Payal Bajaj, Marinka Zitnik, Dan Jurafsky, and Jure Leskovec. Embedding logical queries on knowledge graphs. In Advances in Neural Information Processing Systems (NeurIPS), pp. 2027–2038, 2018.
相關閱讀：
ICLR 2020 | 小桃無主，輕帶晚鴉---從邏輯表達視角看GNN
ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs
ICLR 2020 | NLP預訓練模型的全新範式：對比學習