基於深度學習的知識圖譜構建（簡要綜述）

1  簡介

       信息技術的發展不斷推動着互聯網技術的變革，Web技術作爲互聯網時的標誌性技術，正處於這場技術變的核心。從網頁的鏈接到數據的鏈接，Web技術正在逐步朝向Web之父Berners-Lee設想中的語義網絡演變。語義網絡是一張數據構成的網絡，語義網絡技術向用戶提供的是一個查詢環境，其核心要義是以圖形的方式向用戶返回經過加工和推理的知識。而知識圖譜技術則是實現智能化語義檢索的基礎和橋樑。

       知識圖譜的概念是由谷歌公司在2012年5月17日提出的，谷歌公司將以此爲基礎構建下一代智能化搜索引擎，知識圖譜技術創造出一種全新的信息檢索模式，爲解決信息檢索問題提供了新的思路。本質上，知識圖譜是一種揭示實體之間關係的語義網絡，可以對現實世界的事物及其相互關係進行形式化地描述。現在的知識圖譜已被用來泛指各種大規模的知識庫。

       知識圖譜通常使用三元組的形式來表示，即，其中是知識庫中的實體集合，共包含種不同的實體；是知識庫中的關係集合，共包含種不同關係；代表知識庫中的三元組集合。三元組的基本形式主要包括<實體1，關係，實體2>和<概念，屬性，屬性值>等，實體是知識圖譜中的最基本元素，不同的實體間存在不同的關係。概念主要指集合、類別、對象類型、事物的種類，例如人物、地理等；屬性主要指對象可能具有的屬性、特徵、特性、特點以及參數，例如國籍、生日等；屬性值主要指對象指定屬性的值，例如中國、1988-09-08等。每個實體(概念的外延)可用一個全局唯一確定的ID來標識，每個屬性-屬性值對可用來刻畫實體的內在特性，而關係可用來連接兩個實體，刻畫它們之間的關聯。

       知識圖譜的架構主要包括自身的邏輯結構以及體系架構。目前，大多數知識圖譜都採用自底向上的方式進行構建，其中最典型就是Google的Knowledge Vault，知識圖譜體系架構如下圖 1所示：

                                                                  圖 1 知識圖譜的體系架構

       深度學習可以視爲“用深度神經網絡來做機器學習”的簡稱。神經網絡並不是一個新的概念，而是一種機器學習的方法，是用類似於大腦神經突觸聯接的結構進行信息處理的數學模型，用來做分類和聚類。卷積神經網絡雖然發佈的時間較早，但是受硬件計算能力的約束，一直到2006年Hilton解決它的訓練問題之後才煥發生機，尤其是2014年以來才大面積的使用，特別是在計算機視覺和聽覺領域裏大放異彩。

       在自然語言處理的一些領域，循環神經網絡（RNN）及其變種長短期記憶網絡（簡稱LSTM）等深度學習算法在處理一些與時間序列相關的文本中，表現卓越。例如，深度學習在中文分詞、實體抽取、機器翻譯、文檔摘要、多輪會話等方面，表現出了強大的能力。只要是對歷史時間序列內容進行分析和建模，然後對新數據進行分類預測的問題（例如中文分詞和實體抽取），都能轉變爲對文本中的每一個漢字角色進行分類。在有足夠數據積累和訓練語料的情況下，深度學習都能以簡單粗暴高效的方式解決問題，並且碾壓之前的技術手段所取得的效果。

       知識圖譜的構建包括三個部分：信息抽取、知識融合和知識加工。其中信息抽取指從各種類型的數據源中提取出實體（概念）、屬性以及實體間的相互關係；知識融合指獲得新知識之後對其進行整合，以消除矛盾和歧義；知識加工指對要融合的新知識進行質量評估，然後加入知識庫，並進行新的關係推理。深度學習在自然語言處理中的傑出表現，可以幫助知識圖譜完成這些構建工作。

       本文中，作者從知識圖譜的構建過程出發，引出深度學習在知識圖譜構建過程中的應用。

2  相關工作

       基於上述介紹，文章在此以實體和關係的表示學習技術爲基礎，討論深度學習在實體抽取、關係抽取、實體消歧、關係補全等任務上的應用。

實體抽取

       實體抽取，即命名實體識別（NER）。命名實體識別是從文本中提取出和人名、地名等特定的短語或名稱的任務。早期的命名實體識別主要基於規則和詞典來進行，對規律性較強的文本環境較爲適合，但難以擺脫對領域專家的的依賴，費時費力且難以移植。隨着語料數據的增長，研究者逐步將機器學習和統計分析技術應用於命名實體識別，其方法可以分爲有監督、半監督和無監督的方法。

       有監督方法基於序列標註思想，結合大量標註語料，定義一系列實體來訓練判別模型。傳統模型包括隱馬爾科夫模型（HMM）、最大熵馬爾科夫模型（MEMM） 、條件隨機場（CRF）等。在深度學習領域，針對序列標註的思路，研究者將卷積神經網絡（CNN）和循環神經網絡用於該任務，結合詞語的表示學習，取得了優於傳統方法的結果。

       半 監 督（ 或 弱 監 督） 方 法 主 要 採 用 boot-strapping 技術，只利用很少的標註數據作爲種子開始學習，結合大量無標註數據，通過模板、句法分析樹等方式迭代地從上下文中發現實體。

       無監督方法則在無標註數據集的情況下，採用聚類等方法，利用類似的上下文推測出類似的概念和實例；或者基於外部知識（如 WordNet 等），完成從一個領域到另一領域的遷移學習。隨着文本數據資源的不斷豐富，研究者結合詞的向量表示和已有的詞典等信息，利用詞向量之間的相對關係 ( 如v (king) -v(queen) = v(man) -v(woman)) 通過訓練詞向量和評估詞語之間的投射關係矩陣，發現新的上下位實體。

關係抽取

       關係抽取是指從無結構的自然語言文本中找出實體之間的語義關係。早期主要採用基於規則的方法，提前定義關係所對應的結構規則，進行特定領域的關係抽取。而後，主要採用基於特徵和核函數的方法，前者主要通過提取文本的語法特徵來構建關係的分類器；後者則利用短語句法、依存語法、實體之間路徑關係等信息設計相應的核函數，並通過核函數計算兩個實例的關係來完成關係抽取。近期，研究者將循環神經網絡等深度學習技術應用於關係抽取中。例如，Xu et al提出一種基於 LSTM 循環神經網絡的方法，對自然語言語句的依存樹中不同實體間的最短依賴路徑進行分析，以確定實體間關係的類別，該方法證實了深度神經網絡在關係抽取中的有效性。

實體消歧

       實體消歧（Entity Disambiguation）是爲了解決實體名的歧義性和多樣性問題，在應用中確定出實體名所指向的真實世界實體。實體是文本信息的重要承載，每一段有意義的文本都描述了一組實體及這些實體相互之間的關聯和交互。通過識別知識圖譜中特定實體在文本中的出現，同時發現文本中知識圖譜未覆蓋的實體，實體消歧在知識圖譜的構建和補全上都起到重要作用。因此，識別並理解文本中的實體信息也就成爲了自然語言理解的基礎問題之一。

       然而，文本中實體信息的理解存在兩方面的挑戰。首先，文本中的實體名通常具有歧義。例如，給定如下三個包含“蘋果”的句子：1）今 天 上 午 蘋 果 由 喬 布 斯 發 布 了 新 一 代iPhone；2）我早餐吃了一個蘋果；3）范冰冰在蘋果中演的不錯。上述三個句子中的 “蘋果”分別指向實體“蘋果公司”、“水果蘋果”及“電影蘋果”。其次，實體的提及（mention）形式具有多樣性，也就是人們可能會用不同的實體名來指向同一個實體。例如，在提到 IBM 公司時，人們可以使用 IBM、Big Blue 或 International Business MachinesCorporation 等不同名字。

       對於實體歧義造成的影響，國內外的大多熟研究從兩個角度進行解決，分別是尋求更高質量的特徵和引入外部資源。在特徵選取方面，何正焱利用DNN（深度神經網絡）方法，提出了一種文檔和實體的相似度爲框架的消歧模型；姜麗麗提出了一種基於帶權圖結構的框架來實現人物實體的消歧工作，並使用實體標籤對每個人物實體進行標註；Bagga和Baldwin將不同文檔間上下文的相似度作爲特徵實現實體消歧的；R.Bekkerman和A.McCallum則結合了社交網絡的鏈接信息和聚類兩種非監督的框架對社交網絡中的人物實體進行消歧。

       給定的文檔集中所包含的被査詢的信息往往是非常有限的，因此網絡公共資源經常被用來挖掘更多的信息以提高同名消歧質量。其中，中科院的韓先培使用了在線知識庫信息來輔助解決實體歧義的，D.Bollegara通過來對Web搜索引擎中的同名人物實體進行消歧；R.Bunescu嘗試使用在線百科全書（Wikipedia）的部分錨文本信息來擴充文檔集，從而完成信息檢測和同名消歧的任務。這些方法能夠非常出色的完成實體消歧的任務，但是由於其需要花費大量的時間進行在線信息採集，因此更適合於服務器端的應用。

關係補全

       關係補全是基於知識庫中已有的知識，進行推理或計算，對知識庫中缺少的關係進行填補的任務。根據分析目標的不同可以分爲兩個方面，一是已知某關係兩端的實體，求取兩實體之間的關係；二是已知某個實體和與之關聯的關係，求取該關係另一端的實體。前者可稱爲鏈接預測，後者可稱爲實體預測。當前，常見的關係補全方法包括基於張量重構的方法和基於翻譯模型的方法等。基於張量重構的方法，以 RESCAL 系統爲主要代表，將知識庫的整個實體關係網絡看作三維張量，其中每個二維切片是對一種關係的描述，該方法將整個知識庫的信息進行編碼整合，推理過程計算量小，但當知識庫規模較大時，張量重構的代價較大。基於翻譯模型的方法則將知識庫中的關係看作實體間的平移向量，即將關係三元組<實體 S，關係 P，實體O> 中的尾部實體 O 看作頭部實體 S 經過關係 P 的翻譯結果。Trans* 系列模型是這類方法的代表。其中，Bordes等人提出的 TransE 模型通過結合實體和關係的表示學習，對知識庫中的 1-1 關係進行補全。在此基礎上，爲了近一步處理1-N、N-1、N-N等複雜關係，出現了TransII、TransR等模型，爲了將孤立三元組關係的語義融合爲關係路徑的語義，出現了PTransE模型，爲了近一步融合知識庫三元組關係和外部文本知識，出現了DKRL模型等。

3  方法

       在該部分，我們對上述實體抽取、關係抽取、實體消歧、關係補全等任務的主流算法結構進行介紹。

3.1  實體抽取

       實體抽取的方法衆多，本文主要解讀基於LSTM+CRF的實體抽取。

       該方法最初由Lample等人於2016年提出，後續經歷了許多的改進。在實體抽取過程中，領域內資源（例如地理資源集gazetteers）或特徵的獲取耗時耗力，而該方法可以避免使用領域內的資源或特徵；另外，傳統的特徵提取過程中會用到複雜的NLP工具，會造成誤差傳遞，而該方法利用神經網絡自動從文本中學習特徵。

                                                                    圖 2 LSTM+CRF實體抽取聯合模型

       該識別模型有兩種識別策略。第一種是：每個句子按照詞序逐個輸入雙向LSTM中，結合正反向隱層輸出得到包含每個詞類別特徵的表示，輸入CRF中，優化目標函數，從而得到每個詞所屬的實體類別。具體的操作流程如圖 2所示。第二種是：通過將每個詞拆成字符序列，利用雙向LSTM得到該詞的正反向兩種表示（字符級別的特徵），並將兩種表示串聯作爲該詞的特徵表示輸入到模型網絡中，操作流程如圖 3。

                                                                  圖 3 字符級別的LSTM+CRF輸入

3.2  關係抽取

       關係抽取任務的類型多種多樣，從難度的角度來說，主要包括從非結構化和半結構化的文本中進行抽取。對於非結構文本中的關係抽取，研究界一般又進行了相應的細分，如下圖 4所示：

                                                                          圖 4 關係抽取的類型

       對於預定義關係抽取，本文以關係分類爲例進行解釋說明。考慮到1）傳統方法依賴NLP工具，人工提取特徵，造成錯誤傳遞；2）句子級語義信息對關係抽取任務至關重要；3）句子中的不同位置的詞有不同程度的重要性等原因，Zhou Peng等人於2016年提出了基於LSTM的關係分類。該方法利用雙向LSTM編碼每個詞的表示，並將相應位置的詞表示使用Hadamard積進行處理，得到最終的詞特徵。利用該向量並經下面一系列計算，最終得到Softmax輸出的分類關係類別：

                                                                     圖 5 基於LSTM的預定義關係抽取

       對於開放式關係抽取，本文以深度學習方法爲例進行介紹。開放式關係抽取通過識別表達語義關係的短語來抽取實體之間的關係，同時使用句法和統計數據來過濾抽取出來的三元組。基於深度學習的開放式關係抽取，使用加入拷貝機制的序列到序列模型，從源句子中拷貝句子片段作爲抽取出的三元組。具體的操作過程如下所示：

                                                                  圖 6 基於深度學習的開放式關係抽取框架

3.3  實體消歧

       當前，實體消歧技術包括基於聚類的實體消歧和基於實體鏈接的實體消歧，本文主要介紹基於實體鏈接的方法。基於實體鏈接的方法包括候選實體的發現和候選實體的鏈接，其中候選實體的發現包括利用 Wikipedia 信息的方法和利用上下文信息的方法，而候選實體鏈接的基本方法是計算實體指稱項和候選實體的相似度並選擇相似度最大的候選實體。候選實體鏈接的獲取過程，包括利用先驗知識做初始排序、局部實體鏈接和協同實體鏈接，這三個步驟都可以單獨進行候選實體鏈接，但大多數模型是將三者組合使用。使用深度學習方法的實體消歧主要體現在：使用表示學習的方法進行局部實體鏈接。

       使用卷積神經網絡的表示學習方法，由Francis-Landau等人於2016年提出。該方法利用卷積網絡分別得到實體指稱項的表示，實體指稱項上下文表示，實體指稱項所在篇章的表示；利用卷積神經網絡得到目標實體標題表示，和目標實體篇章表示。計算實體指稱項的三個表示和目標實體的兩個表示之間兩兩的相似度，得到六維相似度向量。這個向量包含了不同粒度的相似度信息。將這個向量與傳統特徵拼接，通過邏輯斯蒂迴歸得到最終相似度得分。將得分最高的候選實體作爲實體指稱項的鏈接實體。

                                                                          圖 7 基於CNN的表示學習方法

3.4  關係補全

       關係補全，即關係推理。關係推理包括歸納推理（學習推理規則）、演繹推理（推理具體事實）和基於分佈式表示的推理。分佈式知識表示（Knowledge Graph Embedding）的核心思想是將符號化的實體和關係在低維連續向量空間進行表示，在簡化計算的同時最大程度保留原始的圖結構。

       分佈式知識表示的方法有位移距離模型（它們採用基於距離的打分函數來衡量三元組成立的可能性）、語義匹配模型（它們計算實體和關係在隱式向量空間的語義匹配程度，以此來判斷三元組成立的可能性）。TransE及其變種是最具代表性的位移距離模型，其核心思想是實體和關係間的位移假設。對於語義匹配模型，RESCAL及其變種將頭實體和尾實體的表示進行組合後再與關係的表示進行匹配，而SME、NTN、MLP、NAM等模型利用較爲複雜的神經網絡結構完成實體和關係的語義匹配。

                                                                            圖 8 TransE及其變種

                                                                            圖 9 RESCAL及其變種

 

                                                                  圖 10 基於深度神經網絡的語義匹配模型

4  數據集介紹

     （一）實體抽取

       中文實體抽取的標註的數據集規模比較小，兩個比較常用的數據集微博數據集和MSRA數據集，樣本數分別爲1.3k和45k。

     （二）關係抽取

       1）NYT數據集：選擇了Freebase中的四大類關係回標紐約時報。用斯坦福命名實體識別工具識別句子中的實體提，用Freebase三元組中的實體名稱與實體提及進行字符串匹配，將三元組中兩個實體同時出現的句子收集在一起構成包。

       2）WebNLG數據集：該數據集爲了自然語言生成任務而構建，使用了DBPedia中的三元組，包括六個類別（宇航員、建築、紀念碑、大學、運動隊、著作）。

     （三）基於聚類的實體消歧

       基於聚類的實體消歧方法，常用的數據集是WePS數據集，WePS數據來自於網絡。對每一個歧義人名，WePS數據集提供其在搜索引擎中的前N個結果，每個結果包括以下信息：在原來搜索引擎中的排序、URL、Snippet和標題等。

     （四）基於實體鏈接的實體消歧

       (1) AIDA（AIDA CoNLL-YAGO）：由馬普研究所公開的數據集，是目前最大的手工標註實體鏈接數據集。它是基於CoNLL 2013 實體識別數據集上標註的，題材是路透社新聞。
       (2) WNED：自動構建的數據，數據規模很大。WEND-CWEB是從ClueWeb中自動構建的，WNED-WIKI是從Wikipedia中自動構建的。由於是自動構建的數據，所以數據中噪音比較大，可信度較低。
       (3) TAC KBP數據集2009-2018：TAC (Text Analysis Conference) KBP (Knowledge Base Population)是國際上知名的實體鏈接評測，由美國國防高級研究計劃局（DARPA）資助。數據來源是新聞和論壇，是手工標註的數據集。

5  結論

       本文對知識圖譜構建過程進行了介紹，主要包括相關技術方法以及數據集。知識圖譜是最接近真是世界的數據組織結構，符合人的思維模式，可以爲人工智能應用提供基礎環境。領域知識圖譜目前在很多行業中已經發揮越來越重要的作用，技術上的挑戰也有不斷地進展，希望有更多地領域知識圖譜落地，幫助推動行業應用地智能化。

參考文獻

1. 劉嶠, 李楊, 段宏,等. 知識圖譜構建技術綜述[J]. 計算機研究與發展, 2016, 53(3):582-600. 
2. AMIT S. Introducing the Knowledge Graph: things, not strings[R]. America:Official Blog of Google, 2012.
3. 徐增林, 盛泳潘, 賀麗榮,等. 知識圖譜技術綜述[J]. 電子科技大學學報, 2016, 45(4):589-606.
4. Dong X , Gabrilovich E , Heitz G , et al. Knowledge vault: a web-scale approach to probabilistic knowledge fusion[J]. 2014.
5. Schmidhuber J. A local learning algorithm for dynamic feedforward and recurrent networks[J]. Connection Science, 1989, 1(4): 403-412.
6. Hochreiter S, Schmidhuber J. Long short-term memory [J]. Neural Computation, 1997, 9(8):1735-1780.
7. Rau L F. Extracting company names from text[C]//Artificial Intelligence Applications, 1991. Proceedings., Seventh IEEE Conference on. IEEE, 1991, 1: 29-32.
8. Zhou G D, Su J. Named entity recognition using an HMM-based chunk tagger[C]//proceedings of the 40th Annual Meeting on Association for Computational Linguistics. Association for Computational Linguistics, 2002: 473-480.
9. Chieu H L, Ng H T. Named entity recognition: a maximum entropy approach using global information[C]// Proceedings of the 19th international conference on Computational linguistics-Volume 1. Association for Computational Linguistics, 2002: 1-7.
10. Settles B. Biomedical named entity recognition using conditional random fields and rich feature sets[C]// Proceedings of the International Joint Workshop on Natural Language Processing in Biomedicine and its Applications. Association for Computational Linguistics, 2004: 104-107.
11. Collobert R, Weston J. A unified architecture for natural language processing: Deep neural networks with multitask learning[C]//Proceedings of the 25th international conference on Machine learning. ACM, 2008: 160167.
12. Jain A, Pennacchiotti M. Open entity extraction from web search query logs[C]//Proceedings of the 23rd International Conference on Computational Linguistics. Association for Computational Linguistics, 2010: 510518.
13. Hammerton J. Named entity recognition with long short-term memory[C]//Proceedings of the seventh conferenceon Natural language learning at HLT-NAACL 2003-Volume 4. Association for Computational Linguistics, 2003: 172-175.
14. Lenci A, Benotto G. Identifying hypernyms in distributional semantic spaces[C]//Proceedings of the First Joint Conference on Lexical and Computational Semantics-Volume 1: Proceedings of the main conference and the shared task, and Volume 2: Proceedings of the Sixth International Workshop on Semantic Evaluation. Association for Computational Linguistics, 2012: 75-79.
15. Basile P, Caputo A, Semeraro G. Supervised Learning and Distributional Semantic Models for Super-Sense Tagging[M]//AI* IA 2013: Advances in Artificial Intelligence. Springer International Publishing, 2013: 97-108.
16. Fu R, Guo J, Qin B, et al. Learning Semantic Hierarchies via Word Embeddings[C]//ACL (1). 2014: 1199-1209.
17. Kambhatla N. Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations[C]//Proceedings of the ACL 2004 on Interactive poster and demonstration sessions. Association for Computational Linguistics, 2004: 22.
18. Plank, Barbara, and Alessandro Moschitti. "Embedding Semantic Similarity in Tree Kernels for Domain Adaptation of Relation Extraction." ACL (1). 2013.
19. Xu Y, Mou L, Li G, et al. Classifying relations via long short term memory networks along shortest dependency paths[C]//Proceedings of Conference on Empirical Methods in Natural Language Processing. 2015.
20. Zhengyan He，Shuji Liu，M u Li，et al．Learning entity representation for entity disambiguation[C]．In proceedings of Association of Computational Language，2013: 30－34.
21. 姜麗麗．實體搜索與實體解析方法研究[D]．蘭州: 蘭州大學，2012．
22. Bagga A, Baldwin B．Entity-based cross-document coreferencing using the vector space model[C]．Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics ( COLING-ACL), 1998: 79－85．
23. Bekkerman R, McCallum A.  Disambiguating web appearances of people in a social network [C]．Proceedings of the 14th International World Wide Web Conference( WWW) , 2005: 463－470．
24. Han X，Sun L，Zhao J．Collective entity linking in web test: a graph-based method[C]．Proceedings of the 34th international ACM SIGIR Conference on Research and development in Information Retrieval，2011: 765－774．
25. Bollegara D，Matsuo Y，Ishizuka M． Disambiguating personal names on the web using automatically extracted key phrases[C]．Proceedings of the biennial European Conference on Artificial Intelligence(ECAI 2006)，2006．
26. Bunescu R，Pasca M．Using encyclopedic knowledge for named entity disambiguation[C]．Proceedings of EMNLP-CoNLL，2006(6) : 9－16．
27. Nickel M, Tresp V, Kriegel H P. A three-way model for collective learning on multi-relational data[C]//Proceedings of the 28th international conference on machine learning (ICML-11). 2011: 809-816.
28. Nickel M, Tresp V, Kriegel H P. Factorizing yago: scalable machine learning for linked data[C]//Proceedings of the 21st international conference on World Wide Web. ACM, 2012: 271-280.
29. Nickel M, Tresp V. Logistic tensor factorization for multi-relational data C]//Proceedings of ICML, 2013.
30. Bordes A, Usunier N, Garcia-Duran A, Translating embeddings for modeling multi-relational data[C]//Advances in Neural Information Processing Systems. 2013: 2787-2795.
31. Wang Z, Zhang J, Feng J, Knowledge Graph Embedding by Translating on Hyperplanes[C]//AAAI. 2014: 11121119.
32. Lin Y, Liu Z, Sun M, Learning Entity and Relation Embeddings for Knowledge Graph Completion[C]//AAAI. 2015: 2181-2187.
33. Lin Y, Liu Z, Sun M. Modeling relation paths for representation learning of knowledge bases[J]. arXiv preprint arXiv:1506.00379, 2015.
34. Xie R, Liu Z, Jia J, Representation Learning of Knowledge Graphs with Entity Descriptions[J]. 2016.
35. Lample, Guillaume, Ballesteros, Miguel, Subramanian, Sandeep,等. Neural Architectures for Named Entity Recognition[J].
36. Zhou P, Shi W, Tian J, et al. Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification[C]. meeting of the association for computational linguistics, 2016: 207-212.
37. Cui L, Wei F, Zhou M, et al. Neural Open Information Extraction[C]. Meeting of the Association for Computational Linguistics, 2018: 407-413.
38. Francis-Landau M , Durrett G , Klein D . Capturing Semantic Similarity for Entity Linking with Convolutional Neural Networks[C]// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. 2016.
39. Wang Q , Mao Z , Wang B , et al. Knowledge Graph Embedding: A Survey of Approaches and Applications[J]. IEEE Transactions on Knowledge and Data Engineering, 2017, PP(99):1-1.
40. A. Bordes, X. Glorot, J. Weston, and Y. Bengio, “A semantic matching energy function for learning with multi-relational data,” Mach. Learn., vol. 94, no. 2, pp. 233–259, 2014.
41. R. Socher, D. Chen, C. D. Manning, and A. Y. Ng, “Reasoning with neural tensor networks for knowledge base completion,” in Adv. Neural Inf. Process. Syst., 2013, pp. 926–934.
42. X. Dong, E. Gabrilovich, G. Heitz, W. Horn, N. Lao, K. Murphy, T. Strohmann, S. Sun, and W. Zhang, “Knowledge vault: A webscale approach to probabilistic knowledge fusion,” in Proc. 20th ACM SIGKDD Int. Conf. Knowl. Discovery Data Mining, 2014, pp. 601–610.
43. Q. Liu, H. Jiang, A. Evdokimov, Z.-H. Ling, X. Zhu, S. Wei, and Y. Hu, “Probabilistic reasoning via deep learning: Neural association models,” in arXiv:1603.07704, 2016.
44. http://www.nlpir.org/download/weibo_content_corpus.rar
45. https://github.com/guillaumegenthial/sequence_tagging
46. Dunietz J , Gillick D . A New Entity Salience Task with Millions of Training Examples[C]// EACL 2014. 2014.
47. https://gitlab.com/shimorina/webnlg-dataset
48. https://www.dataweps.com/
49. Johannes Hoffart, Mohamed Amir Yosef, Ilaria Bordino, Hagen Furstenau, Manfred Pinkal, Marc Span-iol, Bilyana Taneva, Stefan Thater, and Gerhard Weikum. 2011. Robust disambiguation of named entities in text. In Proceedings of the Conference on Empirical Methods in Natural Language Processing, pages 782–792. Association for Computational Linguistics.
50. Evgeniy Gabrilovich, Michael Ringgaard, and Amarnag Subramanya. 2013. Facc1: Freebase annotation of clueweb corpora, version 1 (release date 2013-06-26, format version 1, correction level 0). Note: http://lemurproject.org/clueweb09/FACC1/Cited by, 5
51. Guo Z , Barbosa D . Robust named entity disambiguation with random walks[J]. Semantic Web, 2017, 9(11):1-21.
52. Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, and Yoshiyasu Takefuji. 2016. Joint learning of the embedding of words and entities for named entity disambiguation. CoNLL 2016, page 250.
53. Amir Globerson, Nevena Lazic, Soumen Chakrabarti, Amarnag Subramanya, Michael Ringgaard, and Fernando Pereira. 2016. Collective entity resolution with multi-focal attention. In ACL (1).
54. Yaming Sun, Lei Lin, Duyu Tang, Nan Yang, Zhenzhou Ji, and Xiaolong Wang. 2015. Modeling mention, context and entity with neural networks for entity disambiguation. In IJCAI, pages 1333–1339.