論文作者：Farahnaz Akrami，美國德州大學阿靈頓分校，博士生。
筆記整理：南京大學，張清恆，碩士生。
鏈接：https://arxiv.org/pdf/2003.08001.pdf
代碼：https://github.com/idirlab/kgcompletion
一、概述
目前的知識圖譜（KG）規模龐大，但還遠遠不夠完備。近年來，知識圖譜補全（KGC）研究已然成爲熱門話題，其目標是將缺失的事實補充到KG中。研究者們對KG表示學習模型或嵌入（embedding）模型進行了廣泛的研究，提出了衆多新的嵌入模型。我們進行了實驗研究以評估這些方法，本文將發表在SIGMOD 2020。
本文主要研究了KGC方法的真實有效性，同時發現了基準數據集FB15k、WN18以及YAGO3-10中存在的缺陷。這些數據集被廣泛用於訓練和評估衆多嵌入模型，它們包含大量的反向和重複三元組，本文揭示了這些數據集中存在的數據冗餘和測試集遺漏問題對嵌入模型的影響。本文研究的另一問題是FB15k數據集中存在笛卡爾積關係。數據集中存在的上述問題會導致模型準確性出現誤差。此外，使用這些數據集訓練KGC模型容易導致過擬合，使用上述三元組優化的模型，很難被推廣到真實的應用場景中。簡而言之，通過研究有以下發現：
廣泛使用的基準數據集中存在數據冗餘和測試集遺漏等問題，導致許多模型的準確性被高估了19％-175％；
我們發現笛卡爾積關係也會導致性能評估出現誤差；
用於評估模型的許多測試用例在現實場景中不是真實存在的。
二、嵌入模型與相關數據集
對於KG中的三元組(head entity, relation, tail entity)，使用 (h, r, t) 表示，嵌入模型學習它們的多維表示 h，r，t。衆所周知，數據集在訓練機器學習模型中起着重要作用。用於訓練和測試嵌入模型的數據集存在各種問題，因此這些模型在真實場景下難以發揮效果。
FB15k & FB15k-237
FB15k數據集中包含很多反向關係，存在大量的反向三元組(h,r,t)和(h,r^{-1}, t)，其中 r 和 r^{-1} 是反向關係。例如，(Avatar, film/directed_by, James Cameron)和(James Cameron, director/film, Avatar)是一對反向三元組。事實上，Freebase 使用一種特殊的關係reverse_property 來表示反向關係，例如，(film/directed_by, reverse_property, director/film)。在FB15k中，訓練集中大約有70%的三元組存在反向關係，在測試集中大約有70%的三元組，其對應的反向三元組存在於訓練集中。
這些數據特徵表明，在鏈接預測任務中，嵌入模型將偏向於學習反向關係。更具體地說，該任務在很大程度上可以推斷出兩個關係r1和r2是否形成反向對。考慮到數據集中存在大量的反向三元組，可以不使用複雜的實體和關係嵌入模型實現上述目標。可以使用數據集中三元組的統計信息來生成類似(h,r1,t) => (h, r2, t)形式的簡單規則。實際上，本文使用這樣一個簡單的模型，在FB15k上 FHits@1↑ 指標達到了71.6%，作爲對比，目前性能最優的模型在FB15k上FHits@1↑ 的結果爲73.8%。
值得注意的是，如果給定這類數據，鏈接預測任務在真實世界中是不存在的。對於FB15k而言，來自Freebase的冗餘反向關係是人爲創建的。新的事實總是作爲一對反向三元組添加到Freebase中，由關係reverse_property明確表示。對於這種總是成對出現的內在逆向關係，當某個三元組對應的反向三元組已經出現在KG中時，我們是不需要預測該三元組的。因此，使用FB15k訓練KGC模型會出現過擬合問題，因爲學習的模型針對反向三元組進行了優化，而反向三元組無法推廣到實際應用中。
文章[1]注意到了FB15k存在的上述問題，並通過去除反向關係構造了新的數據集FB15k-237。爲了進一步研究FB15k中冗餘數據的影響，我們進行了一些實驗，比較了FB15k與FB15k-237上的幾種嵌入模型的結果，下表顯示了這些模型在不同指標上的結果。
通過實驗得出的總體觀察結果如下：
1. 刪除反向關係後，所有方法的性能都會大大降低。正如下面的雷達圖所示，在FB15k-237上嵌入模型的性能大大降低。該結果驗證了基於嵌入的方法只能在反向關係上表現良好，然而，基於反向關係推理的直接方法可以實現相當甚至更高的精度。
2. 先前的很多工作認爲一些基於TransE的改進方法明顯優於TransE，我們在FB15k上的實驗也證實了這一點，但在FB15k-237上它們的差距並不大。我們認爲這些模型主要在反向和重複三元組上提升了結果，因此在刪除這些三元組後，它們沒有表現出明顯的優勢。這個假設可以通過我們的發現得到驗證，這些模型能夠正確預測而TransE未能正確預測的大多數三元組，在訓練集中都有反向或重複的三元組。
WN18 & WN18-RR
WN18也存在反向關係的問題，WN18中共有18種關係，其中14種關係構成了7對反向關係對，例如(europe, has_part, republic_of_estonia)和(republic_of_estonia, part_of, europe)是反向三元組，它們涉及到的反向關係是has_part和part_of。與此同時，WN18中還有三種自反關係，分別是verb_group、similar_to和derivationally_related_form。訓練集中約有93％的關係三元組，而測試集中有93％的三元組，在訓練集種存在反向三元組。
爲了消除WN18反向關係，文章[2]通過保留每對反向關係中的一個關係，構造了新的數據集WN18-RR。我們比較了在WN18和WN18-RR上嵌入模型的結果，得出的結論與在FB15k和FB15k-237上觀察到的結論相同。具體結果如下表所示。
YAGO3-10 & YAGO3-10-DR
YAGO3-10具有37種關係，其中isAffiliatedTo (r1)和playsFor (r2)這兩個關係所涉及到的三元組，在訓練集種分別佔35％和30％。在現實世界的語義上，r1包含r2，但由於它們的(subject, object)對基本上重疊，因此它們在此數據集中以重複關係出現。根據我們的實驗，各種模型在r1和r2上取得的結果比其他關係要強得多。通過刪除YAGO3-10中的冗餘數據，本文構造了一個新的數據集YAGO3-10-DR。通過對比YAGO3-10和YAGO3-10-DR，我們得出的結論與在其他數據集上觀察到的結論相同。
三、笛卡爾積關係
本文還在FB15k上發現了另一個問題，本文稱爲笛卡爾積關係（Cartesian product relations）問題，這個問題會導致嵌入模型的現有性能指標與實際不符。對於一個笛卡爾關係，其所涉及到的三元組中的subject-object對構成了對應的笛卡爾積。例如，關係climate是一個笛卡爾積關係，因爲(a, climate, b)對於每個可能的城市a和月份b，都是有效的三元組。再例如，關係position也是一個笛卡爾積關係，因爲在確定的職業體育聯盟中的每個隊伍都有相同的位置。對於這樣的關係，鏈接預測問題就變成了預測一個城市是否有其一月份的氣候，或者某支NFL球隊是否有四分衛位置。這些關係的存在變相提高了模型的精度，而且這樣的預測任務意義不大。與我們觀察到的反向關係相同，FB15k中笛卡爾積關係也是人爲構建的。實際上，60％的笛卡爾積關係是由特殊的“中介節點”造成的。如果要對笛卡爾積關係進行鏈接預測，一種簡單的方法比學習複雜的嵌入模型更有效。我們實現了一種簡單的方法來查找笛卡爾積關係，並在這些關係上進行鏈接預測任務。我們在FB15k中的9個笛卡爾積關係上進行了實驗，使用簡單方法獲得的平均FHits@10↑ 爲98.3％，高於TransE的效果（96.3％）。
參考文獻
[1]Toutanova, Kristina , and D. Chen. "Observed Versus Latent Features for Knowledge Base and Text Inference." Workshop on Continuous Vector Space Models & Their Compositionality 2015.
[2]Tim, Dettmers, and Pasquale, Minervini, and Pontus, Stenetorp, and Sebastian, Riedel. "Convolutional 2D Knowledge Graph Embeddings." AAAI 2018.
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。