中科院劉康：低資源環境下的事件知識抽取

不到現場，照樣看最乾貨的學術報告！

嗨，大家好。這裏是學術報告專欄，讀芯術小編不定期挑選並親自跑會，爲大家奉獻科技領域最優秀的學術報告，爲同學們記錄報告乾貨，並想方設法搞到一手的PPT和現場視頻——足夠乾貨，足夠新鮮！話不多說，快快看過來，希望這些優秀的青年學者、專家傑青的學術報告，能讓您在業餘時間的知識閱讀更有價值。

人工智能論壇如今浩如煙海，有硬貨、有乾貨的講座卻百裏挑一。“AI未來說·青年學術論壇”系列講座由中國科學院大學主辦，百度全力支持，讀芯術、paperweekly作爲合作自媒體。承辦單位爲中國科學院大學學生會，協辦單位爲中國科學院計算所研究生會、網絡中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會。2020年6月20日，第16期“AI未來說·青年學術論壇”NLP前沿技術及產業化線上專場論壇以“線上平臺直播+微信社羣圖文直播”形式舉行。中科院劉康帶來報告《低資源環境下的事件知識抽取》。

中科院劉康的報告視頻

劉康，中國科學院自動化研究所模式識別國家重點實驗室研究員，博士生導師。研究領域包括信息抽取、網絡挖掘、問答系統等，同時也涉及模式識別與機器學習方面的基礎研究。在自然語言處理、知識工程等領域國際重要會議和期刊發表論文90餘篇，Google Scholar引用6300餘次，單篇引用1100餘次。曾獲COLING 2014最佳論文獎、Google Focused Research Award、中國中文信息學會“漢王青年創新一等獎”（2014年）、中國中文信息學會“錢偉長中文信息處理科學技術獎”一等獎（2018年）等多項學術獎勵。2016年入選中國科學院青年促進會，2019年入選北京智源人工智能研究員青年科學家。兼任中國中文信息學會青年工作委員會主任、語言與知識計算專業委員會祕書長等學術職務。

報告內容：知識圖譜是人工智能和核心基礎設施之一，現有知識圖譜多關注於以實體爲核心的靜態知識，缺乏對於以事件爲核心的動態知識的刻畫和構建。本報告結合研究組近些年的工作，主要介紹低資源環境下的事件知識的抽取基本方法，包括事件識別、事件要素抽取、事件關係挖掘等方面的最新研究進展。

低資源環境下的事件知識抽取

劉康研究員的研究方向是知識圖譜，旨在從大量語料中抽取知識從而構建大規模知識圖譜，服務上層應用的研究。近年來，知識圖譜研究是個熱點問題，知識圖譜廣泛應用於諸多AI應用如智能問答、對話、推理、搜索引擎等等。知識圖譜應用能夠更好地幫助AI系統更好地理解數據背後語義信息，包括數據和數據語義關係，從而提供更加精準AI服務。

目前大家能夠看到知識圖譜，大部分是以實體爲核心，也就是說嘗試從大量文本中抽取一些實體，同時挖掘出實體和實體之間語義關係，從而對於背後數據進行語義層面上精準描述。我們能夠看到大部分知識圖譜裏，每一個節點都是一些實體，實體和實體邊表示兩個實體的關係。例如，奧巴馬曾經是美國總統，奧巴馬和美國是兩個實體，兩個實體的邊表示曾經是總統關係。在下面知識圖譜裏，最基本三元組是實體關係三元組，由兩個實體以及他們的邊組成。

這樣圖譜往往只是靜態信息的刻畫描述，文本中還存在大量的知識，例如我們可以想象每天接觸很多新聞網頁，大部分並不是以實體爲核心進行描述，往往是以發生的事件進行刻畫描述。對於事件這種類型知識，已有實體爲核心知識圖譜似乎不能精準描述這一類型的知識。

這樣背景之下，很多研究者開始關心以事件爲中心知識圖譜，在這個知識圖譜上面每一個節點不再是實體，而是具體的事件，節點和節點的邊表示事件的關係。這些事件本身是有框架的。什麼算事件呢？結婚事件、暴恐事件、離職事件、地震事件，每一個事件下面都是有一個邊，邊定義了事件類型。例如地震的事件，地震的時間、震級、震源深度、災難等級等等，這些信息都是組成描述屬性框架層面的東西。

要構建大規模事件圖譜，首先需要從文本中抽取各種類型的事件，同時把描述這些事件屬性信息自動抽取出來，這是構建大規模事件圖譜首要步驟。

知道了各種各樣事件類型後，第二步是要分析事件和事件之間語義關係，包括因果關係、時序關係、子事件和主事件關係等，完成這兩個步驟才能構建大規模事件圖譜。

根據ACE定義，從文本中抽取一個事件是要從非結構化句子或一段文本中實現結構化的過程。例如“Baary Diller on Wednesday quit as chief ofVivendi Universal Entertainment”這句話描述一個人從一個公司離職了。首先要判斷出這句話裏描述含有一個事件，同時表示是離職事件，但事件在文本中往往沒有具體的實體能夠指出這是事件，通常說這句話是表達了這個事件，但很難指出來這個事件是由哪個詞表達出來的。

因此，一般會把觸發事件的動詞作爲觸發事件的出發詞。例如quit是一個動詞，事件某某帶有某種動作，而quit觸發了事件動作。所以我們識別一句話裏是不是包含某一個事件的時候，第一步要判斷這句話是不是包含事件觸發詞，觸發詞是不是能夠觸發某一種類型的事件。即第一步要判斷quit是不是觸發詞，第二步判斷quit到底觸發是哪一類型的事件。

除此之外，還要判斷這句話裏所提及很多實體是不是組成這個事件必要元素，以及在事件裏扮演什麼角色。這個例子中quit觸發的是離職的事件，那麼就要判斷所提及一些實體，比如Wednesday、Barry Diller這些實體，在離職事件裏到底扮演什麼樣的角色，比如說Barry Diller是離職事件的person，而person是role的關係。

在實際處理過程中，其實就是通過判斷實體和觸發詞在句子中是不是具有某種關係，這有點像我們在做實體關係抽取時候的任務，判斷一個實體和另外一個實體之間的關係，而事件抽取中判斷實體和觸發詞的關係。通過一系列的判別之後，最終可以把這句話轉變成結構化的形式，如同上圖的表格所示。

抽取事件的下一步是要判斷出兩個事件之間是不是具有某種關係，舉個例子來說這句話裏有兩個事件，一個是地震，一個是海嘯，我們任務是判斷出這兩個事件在這句話裏主要扮演是什麼樣的語義關係。例如在這個例子中，地震是海嘯的原因。

現在對於事件的關係定義還並不是特別完全，已知有因果關係、時序關係、子副類的關係等，大部分事件都是在做因果關係的判別。

下面劉康研究員介紹了在實際工作中發現的一些問題。最大問題是低資源環境下會遇到各種各樣的困難。第一個困難是不管是事件抽取還是事件關係發現，本質上是自然語言處理任務，可以看成分類任務、序列標註任務，但是要做這些事情的話，都需要抽取一些有效特徵。雖然現在有很多深度學習模型能夠幫助我們自動學習這些特徵，但是根據具體任務，如果事先能夠給它一些事先抽取結果提示的話，能夠幫助深度學習模型學到更好的特徵表示，比如事先從文本中把實體抽取出來、事先進行分詞、事先識別詞性等等相關處理。

而當在低資源特別是小語種條件下，甚至沒有充足工具能夠處理出、抽取出相關特徵，比如說經常用Stanford CoreNLP，最多隻能支持50種語言，當想要處理非洲語言甚至我們國家少數民族語言的時候，其實就很難用公開工具做這樣的事情。

另外，低資源常常需要大量訓練數據幫助訓練當前模型。左下圖是ACE給事件抽取評測數據集，總共有20多種數據類型，數據總共有6千多個文檔，而且數據分佈極其不平衡，很多事件類型只有2—3個標註樣本。因此一個巨大挑戰是對於某種事件類型或者某種事件關係，怎麼獲取充足訓練數據。

下面劉康研究員詳細介紹了他們團隊最近剛剛發表的三個工作。第一個工作是從文本中自動抽取一些知識，而不需要用任何工具。另外兩個是通過跨語言數據進行擴充訓練數據，以及應用知識庫的數據來擴充訓練數據。

第一個工作圍繞着事件抽取，事件抽取過程中怎麼學習文本中所表達知識信息，而不需要任何標註。我們看一些例子，這是作爲事件類型識別任務，我們在識別一個事件過程中，上下文中知識信息對於判斷當前事件類型是非常有幫助的。比如說對於第一句話和第二句話，我們看到事件觸發詞都是release，同一個詞卻觸發了不同類型的事件，第一release是觸發了Transfer—Money這麼一個事件，而第二個release觸發釋放某個人的事件。

對於第一句話，如果事先知道上下文實體類型，可以幫助我們判斷它就是Transfer—Money的事件。我們知道European Unit歐盟，它是organization，20 million指的是一個數字，指的是2000萬歐元。我們知道一個機構release一些數字的時候，多半情況下說明是Transfer—Money這麼一個事件。對於第二句話，我們知道Anwar是一個person，April 14是一個day，某一個人在某一個時間release的話應該是指釋放的時間。

因此，實體類型對我們判斷事件類型是非常有幫助的。那麼我們怎麼獲得實體類型呢？我們能不能用NER工具自動文本中跑一遍，把實體類型自動識別出來，再把識別出來結果作爲特徵加到後面判別器裏，進而判別release是什麼事件類型呢？

這樣做問題是第一要有靠譜的實體識別工具，第二任何實體識別都是有錯誤的，都不是100%準確，那麼怎麼規避識別錯誤對於後續判別事件類型的影響，這是兩個核心問題。

我們給出了一種叫做老師和學生的模型，基於模仿模型的策略，是什麼思想呢？對於這一句話來說，The EU is set to release 20 million euros tolraq中，teacher模型裏自動把實體類型給標註出來，假設已經知道UE是organization，20 million是一個數字，我們先經過一個knowledge Annotation把這些東西全部標出來，我們用Teacher Encoder直接學到Feature vector，這裏包含了當前這句話語義表示，同時也支撐了裏面標註的信息。

第二Student Encoder，對這句話我們不做任何的knowledge Annotation，我們就需要它的語義表示，我們也得到了Feature vector，大家注意這時候Student Encoder裏頭，只是從這句話裏寫到這個表示，而沒有進行任何knowledge Annotation。我們儘量逼近兩個Feature vector，最終如果這兩個Feature vector能逼近的話，最後逼近結果就是Student Encoder具備了Knowledge Annotation的性能，雖然是直接學習表示，也能夠把裏面實體信息自動學出來。

對於Teacher Encoder，劉康研究員團隊做的非常簡單，就是雙向GRU的模型，用詞向量，每一個詞向量會標註所屬於實體類別，把類別Embedding拼在Word embedding上面，就可以進行學習了。而對於Student Encoder的話，相當於把Label Embedding這部分給直接砍掉，只有Work Embedding的部分。

整個框架是這樣一個框架，首先有Teacher with annotated knowledge，這句話裏頭標好了Ground-truth Annotation，經過了Teacher Encoder學到向量。第二步直接用Sentence，而沒有用的Ground-truth Annotation，經過Student Encoder學到向量的表示。第三步用Adversarial Learning的策略，儘量讓這兩個向量越來越接近，N步迭代之後，Teacher Student Encoder被定義爲越來越接近於Teacher Encoder。

劉康研究員在ACE數據進行了簡單實驗，從實驗結果中可以看到，左邊這個圖中，只要Teacher Encoder加入了實體標註信息，都要比不加好。這證明知道了一個文本中向量實體表示的時候，確實能夠幫助我們更好判斷事件類型。

右邊這個圖，Golden表示什麼呢？這句話裏事先用人工方式已經標註好了，它的一些實體信息。Predicted是什麼呢？先用NER工具先跑一遍，然後再把實體信息加到後面表示學習過程中去。上面是英文，下面是中文，直接用Student模型，沒有用任何NER模型跑直接學習這樣表示的話，就要比用NER先跑再學習帶來效果好很多。這樣方式第一性能有提升，第二確實在小語種條件下不需要用NER工具學習上下文實體知識的信息。

第二個工作是對於事件抽取怎麼獲得充足訓練數據。現在要構建事件抽取器，原因是沒有充足數據。很多方法可以幫助我們擴充訓練數據，可以借用已有知識資源，弱監督Supervision的方法自動產生訓練數據，這裏介紹用其他語言數據幫助我們進行數據的擴充。

利用其他語言幫助擴充訓練數據基本思路是什麼呢？假如現在要用Training Examples，已經有了少量標註的數據，但是不夠，從Source language來說，在裏面會有大量標註的數據，最簡單想法是把Source language和Training Examples用機器翻譯模型能夠翻譯成Translated Examples，翻譯過來之後再把兩個數據合併訓練事件的detection。但是這樣做問題在於要構建機器翻譯模型的時候，如果當前沒有機器翻譯模型的話，換句話說，當前Target language和Source language不是大語種只是小語種情況下，這幾乎是不可能的。

另外要訓練機器翻譯模型的話，需要大量的平行句對，其實真實情況下很難獲得一些大量源語言和目標語言句對訓練機器翻譯模型。

那能不能儘量減少平行翻譯句對？如果要用到目標語言數據，其實並不太關心這句話是不是能夠完全翻譯正確。比如“一人在坦克向旅店開火時喪生了”，要判斷當前這個句子是什麼類型的事件，其實就是要判斷它的觸發詞是什麼類型，要判斷開火這個詞是什麼樣的事件類型。

這種情況下如果用其他語言數據的時候，只是要找到另外一句話，這中間觸發詞是不是跟開火能夠對應起來，另外Cross lingual這句話裏，觸發詞上下文表達語義是不是和當前語義能夠類似。我們並不是特別關心Cross lingual這句話的完整語序是不是非常正確，只要能夠滿足實際需求就可以。

這裏有兩個問題，第一，fired這個詞翻譯過來到底是不是開火，怎麼能夠達到比較好word-level的translation，那個觸發詞是不是能夠翻譯準確。第二，怎麼處理詞序的信息，當fired翻譯開火的時候，上下文對fired影響是不是能夠保持一致性，在英文裏fired周圍詞對fired影響是不是在中文裏能夠保持一致性。

首先看觸發詞怎麼翻譯的，最簡單方法是有一個詞典，這個詞典裏記錄了詞和詞之間的翻譯，這樣可以根據兩個詞典，兩個詞典把不同語言詞映射同一個語言空間中，這個語言空間可以根據詞和詞間語義相似度對應詞的翻譯。

右上角這個圖，fired直接映射過來找到中心點，看看離它最近另外一個語言詞是什麼詞，比如是火這個詞，則可以作爲翻譯。但這會帶來什麼樣問題呢？因爲詞翻譯並不是完全一一對應，而是根據上下文變化而進行變化的，比如fired這個詞可以翻譯成開火，也可以翻譯成着火，也可以翻譯成解僱，不同語境條件下應該具有不同翻譯，如果按照之前詞典映射方法很難捕捉到這一點。

因此劉康研究員給出了Context-aware Attention，也就是說fired這個詞映射過來和源句子計算一下語義相似度，原句子上下文有很多詞能夠幫助我們對於詞的歧義進行消歧。比如上面一句話裏，fired可能離開火這個詞比較近，這樣可以把開火詞作爲翻譯後的結果。

第二個問題是怎麼保證不同語言語序的一致性，我們有這樣一個假設，不同語言雖然有不同文字描述，但是他們句法結構具有相似性。比如說英文裏fired下位有Tank和Hotel，開火也有坦克和旅店這兩個詞作爲下位詞，給我們什麼啓示呢？判斷一句話的觸發詞是不是觸發某一種類型事件的時候，我們其實在學fired這個觸發詞在文本中語義表示，上下文會對詞產生語義影響。比如說tank對fired產生影響，在中文裏坦克也對開火這個詞產生同樣的影響。我們用句法結構記錄句法上下文的詞，我們已經知道了fired、tank和hotel產生影響，我們自然記錄開火這個詞表示的時候坦克和旅店對它產生影響。用圖神經網絡來學習表示，圖的上下文就用句法結構上下文保證了一致性。

整個框架就是這樣，當一句話來的時候先獲得向量的表示，通過Context-Dependent Lexical Mapping獲得了它對於中文或者Target language的映射，用句法order獲得了當前詞最終的表示，最後來輸出層獲得類別的判別。

在ACE和KBP測試實驗效果，劉康研究員團隊用到資源是Monolingual corpus，Target language裏有一些少量訓練的數據，對於跨語言信息利用只是用於雙語詞典，大概只有6千個字的雙語詞典。句法分解器用Stanford CoreNLP。

可以看到，不管是在Target language下面數據標註是豐富還是不豐富條件下，這樣方法只是在用到詞典信息條件下達到非常不錯的效果，要注意到劉康研究員團隊並沒有用機器翻譯引擎事先把數據翻譯過來，只是用一個詞典信息獲取語義表示。

如右邊這個圖所示，分別用5萬、20萬和40萬雙語句對訓練MT機器翻譯模型，可以看到該方法只是用5000多個雙語詞典就能達到比之前機器翻譯先翻譯帶來更好的效果。

最後劉康研究員介紹了事件原因抽取工作很多情況下仍然存在數據訓練不足的問題，劉康研究員考慮的是能不能利用外部知識來幫助判別當前這兩個事件是不是具有因果關係。

最直觀的想法是可以利用外部知識資源，比如對於這句話來說，地震和海嘯展現了因果關係，如果很難判別它的話，可以把這兩個詞放在已有知識庫查一下，如果在已有因果數據庫得知地震就是海嘯一個原因的話，就很容易判別出他們具有因果關係。現在記錄事件因果關係數據庫很多，都可以提供資源。

但這樣也是有問題的，這句話裏Earthquake和tsunami，雖然知識庫裏有因果關係，但可能在這句話並沒有展示因果關係。所以兩個事件在文本中是不是具有因果關係，還是依賴於上下文的表達。

另外一個問題是怎麼有效捕獲上下文表達。可以給出這樣一個模型，第一步先把一句話中兩個事件放到一個知識庫查一下，把知識庫上下文信息都獲取了，比如這裏earthquake generates，在ConceptNet裏找到所對應的節點，以及把節點周圍節點全部擴展出來，比如earthquake natural disaster、earthquake a tsunami等等，這些都可以找出來，把信息加到文本中來學習當前句子的表示。

第二步把這些事件信息mask掉，先不看事件的內容，而只是看上下文的信息，然後給出Mention Masking Generallzation的model，根據上下文的表示學到一個表示。這樣的話根據當前的知識以及上下文，分別學到兩個表示，第三部分根據兩個表示動態調節出，到最後判別出應該用哪種表示。

首先看怎麼獲取知識。剛纔說ConceptNet找到所對應節點以及節點周圍一些節點，可以直接把它變成字符串的形式，比如earthquake is a natural disaster—seaquake等等。在知識庫裏，這個節點和周圍一些節點，以及之間語句關係用字符串的形式寫成文字，後面事件可以寫成字符串。在原文中把字符串earthquake和tsunami原來兩個事件給替代掉，用了E1和E2標識符標識出來了，並把擴展出來字符串送到BERT模型裏學習標識，把句子CLS表示以及E1和E2學到表示拼成一起，作爲當前兩個事件在文本中表示最終結果。

另外一部分把這句話兩個事件MASK掉，然後分別用MASK1以及MASK2塞到BERT裏，學出來的結果用CLS和MASK1和MASK2拼成這個結果。

這兩個表示結果用了Attention Gate，加了一個Gate，讓模型自動學習，最後判斷當前句子中兩個事件是不是具有因果關係的判別，來動態調整這兩部分的權重，這部分是非常簡單的。

最後用EventStoryLine、Causal-TimeBank、EventCausality這三個數據集測試實驗結果，可以看到不管在哪個數據集都產生同樣趨勢，即加入KG信息確實能夠有效提升position，但是上下文也是非常重要的，把這兩部分合並在一起的話，Full model確實能夠得到很顯著的提升。可以看到StoryLine上有將近6個點的提升，而其他上面也有很顯著的提升。這告訴我們一個道理，在做事件原因判別的時候，不僅要依賴上下文的信息，還需要知識庫裏提供額外的信息。