論文筆記整理：康矯健，浙江大學計算機科學與技術系，碩士研究生。
論文鏈接：https://arxiv.org/pdf/1911.08935.pdf
發表會議：AAAI 2020
Motivation
現有的KG Embedding方法大部分僅關注每個三元組的結構化信息
有部分的工作把KG中的路徑信息考慮在內而不僅僅是每次只考慮單個三元組，但是這種方法在獲得路徑表示的時候缺乏可解釋性。
因此本文提出一種基於規則和路徑的知識圖譜表徵學習方法，能夠充分利用logic rules的可解釋性和準確性。
Model
1. 挖掘規則：利用現有KG中的規則挖掘工具（如AMIE）自動從KG中抽取出規則，總共兩類，包括長度爲1的規則和長度爲2的規則，每條規則有一個置信度
2. 挖掘KG中實體之間的路徑：利用PtransE自動挖掘頭實體h和尾實體t之間存在的路徑p，每條路徑p有一個置信度
3. 利用挖掘出來的規則和實體之間的路徑做實體的組合表徵學習。
如上圖所示PtransE挖掘出實體David和USA之間的一條路徑如下
AMIE挖掘出2條長度爲2的規則
一條長度爲1的規則
之後用長度爲2的規則對路徑做composition，其中長度爲2的規則中的第一條可以將
組合成
之後長度爲2的規則中的第二條可以將
組合成
之後根據長度爲1的規則，我們需要讓
4. 損失函數
總共三個score function。
其中第一個score function源於TransE，不做過多解釋。
第二個score function
第三個score function
最終的損失函數爲
其中
分別是對對應三個score function的Margin Loss損失函數，其中第一個損失函數的負樣本是隨機將h、r、t替換掉；第二個損失函數及第三個是隨機替換掉關係。
5. 模型整體框架如下
Experiment
數據集情況：總共使用4個數據集。FB15K和FB15K-237是從Freebase中抽取的，WN18從WordNet中抽取，NELL-995從NELL中抽取。其中FB15-237是不包括inverse關係的，因此FB15K和FB15K-237一般被認爲是兩個不一樣的數據集。
本文做的實驗包括relation prediction和entity prediction。
利用AMIE+挖掘出來的規則如下，每條規則會有一個0到1的閾值
評估指標
MR：the mean rank of correct entities
MRR：the mean reciprocal rank of correct entities
Hits@n ：the proportion of test triples for which correct entity is ranked in the top n predictions
一個三元組的socre如下
baseline的選擇：第一種是TransE、TransR、TransH等Embedding methods；第二種是path-based的methods，如PtransE和DPTransE等。
第一個實驗：rule置信度和路徑長度對最終模型性能的影響
我們可以看到RPJE-S2的性能優於RPJE-S3說明採用長度最多爲2的路徑要優於採用長度最多爲3的路徑，這說明路徑長度過長會使得在path composition的過程中引入過多噪音導致準確率下降。
RPJE-S2性能優於PTransE說明引入規則能夠帶來性能提升；
RPJE-S2性能優於RPJE-min說明規則的置信度需要引入到模型中，並更多關注那些置信度高的規則。
最終路徑長度選擇2，並過濾掉那些置信度小於0.7的規則
第二個實驗：FB15K上的relation prediction和entity prediction，以及FB15K-237上的entity prediction。可以發現RPJE在所有指標上都比baseline好，說明了引入規則和路徑的有效性。值得注意的是FB15-237中是沒有inverse relation的，那麼此時因此rules更能挖掘出關係之間的聯繫。
第三個實驗：在WN18和NELL-995是關係很稀疏的兩個數據集，因此可以挖掘的規則和路徑少，但是RPJE仍然好於baseline，只是提升的程度比FB15K上的少，這說明RPJE可以在各種類型的KG中都有很好的表現，但是更能在那些關係比較多的KG中有好的表現。
第四個實驗：引入規則爲我們提供了可解釋性。
例如我們挖掘的規則中有上面這樣一條規則，那麼在測試的時候我們就知道在預測出來x和y之間有filmlanguage的時候的依據是什麼。
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。