論文地址：https://www.aclweb.org/anthology/P14-1038.pdf
文章標題：Incremental Joint Extraction of Entity Mentions and Relations（增量聯合提取提及的實體和關係）ACL2014
Abstract
提出了一種增量聯合框架，利用結構感知器和有效的集束搜索同時提取提及的實體和關係。新框架採用了基於半馬爾可夫鏈思想的基於分段的解碼器，與傳統的基於標記的標記方法不同。此外，通過不精確搜索，我們開發了一些新的和有效的全局特性作爲軟約束來捕獲提及的實體和關係之間的相互依賴性。在自動內容提取(ACE)1語料庫上的實驗表明，我們的聯合模型顯著優於強流水線方法基線，該基線的性能優於最佳端到端系統。
一、Introduction
圖一：端到端的實體提及和關係抽取
端到端實體提及和關係提取的目的是從非結構化文本中發現實體提及的關係結構。該問題被人爲地分解爲實體提及邊界識別、實體類型分類和關係提取等幾個部分。雖然採用這樣的流水線方法可以使系統相對容易地進行組裝，但是它有一些限制：首先，它禁止組件之間的交互。上游組件中的錯誤在沒有任何反饋的情況下傳播到下游組件。其次，它將問題過度簡化爲多個本地分類步驟，而沒有對遠程和跨任務依賴關係進行建模。相反，我們把這個任務重新表述爲一個結構化的預測問題，以揭示隱藏結構的語言和邏輯屬性。例如，在圖1中，每個句子的輸出結構可以解釋爲一個圖，其中提到的實體是節點，關係是帶有關係類型的有向弧。通過聯合預測結構，我們的目標是通過捕獲(一)兩個任務之間的交互來解決上述限制。例如，在圖1a中，雖然提取器很難預測“1400”是一個人(PER)，但是上下文單詞“僱用”在“輪胎製造商”和“1400”之間強烈地表明瞭一個僱傭組織(EMP-ORG)的關係，它必須包含PER的提及。(二)隱藏結構的全局特徵。各種實體提及和關係共享語言和邏輯約束。例如，我們可以使用圖1b中的三角形特徵來確保“部隊”之間的關係，每個實體都提到“索馬里/GPE”、“海地/GPE”和“科索沃/GPE”是同一類型的(Physical(PHYS)，在本例中)。
根據上述直覺，我們引入了一個基於結構化感知器的聯合框架(Collins, 2002;Collins和Roark, 2004)使用集束搜索同時提取實體提及和關係。得益於不精確的搜索，我們還能夠以較低的成本使用任意的全局特性。該算法已成功地應用於其它一些自然語言處理(NLP)任務。我們的任務不同於依賴項解析(如(Huang和Sagae, 2010))，因爲關係結構更靈活，每個節點可以有任意的關係弧。我們之前的工作(Li et al.， 2013)使用基於標記的標記感知器模型來聯合提取事件觸發器和參數。相比之下，我們的目標是解決一個更具挑戰性的任務:識別提及邊界和類型以及關係，這就提出了一個問題，即具有不同提及邊界的相同句子的分配在搜索期間很難同步。爲了解決這個問題，我們採用了一種基於分段的譯碼算法(Sarawagi and Cohen, 2004; Zhang and Clark, 2008)基於半馬爾可夫鏈的思想(a.k.a, multiple-beam search algorithm)。
之前關於實體提及和關係的聯合推理的嘗試(如Roth和Yih, 2004;Roth和Yih, 2007))假設實體提及邊界已經給出，提及和關係的分類器是分別學習的。作爲一個關鍵的區別，我們使用單個模型逐步提取實體提及和關係。本文的主要貢獻如下：
- 這是第一個使用單個聯合模型增量預測實體提及率和關係的工作(第3節)。
- 聯合框架中提及邊界的預測提出了在同一集束中同步不同任務的挑戰。我們通過在節段級檢測實體提及來解決這個問題，而不是使用傳統的基於標記的方法(第3.1.1節)。
- 我們設計了一組新穎的全局特徵，這些特徵基於低成本的整個輸出圖結構的軟約束(第4節)。
實驗結果表明，該框架比流水線方法具有更好的性能，全局特徵進一步提高了性能。
二、Background
2.1 Task Definition
我們正在處理的實體提及提取和關係提取任務是那些自動內容提取(ACE)程序。ACE定義了7種主要實體類型，包括人員(PER)、組織(ORG)、地理實體(GPE)、位置(LOC)、設施(FAC)、武器(WEA)和車輛(VEH)。關係抽取的目的是提取目標類型在同一句子中出現的一對實體提及之間的語義關係。ACE ’ 04定義了7種主要關係類型:物理關係(PHYS)、人-社會關係(PER- soc)、就業-組織關係(EMP-ORG)、代理-工件關係(ART)、單位/組織關係(Other-AFF)、gpe - attachment (GPE-AFF)和話語關係(DISC)。ACE’05保留了PER-SOC、ART和GPE-AFF，將PHYS分成PHYS和一個新的關係類型Part-Whole，去除DISC，將EMP-ORG和Other-AFF合併成EMP-ORG。
在這篇論文中，我們使用（特殊符號）表示非實體或非關係類。我們認爲關係是不對稱的。同一關係類型具有相反的方向被認爲是兩個類，我們稱之爲有向關係類型。
以往關於關係提取的研究大多假設在本文中給出了實體提及，我們的目標是解決從原始文本中端到端實體提及和關係提取的問題。
2.2 Baseline System
爲了開發代表最先進的流水線方法的基線系統，我們訓練了一個線性鏈條件隨機場模型(Lafferty et al.， 2001)用於實體提及提取和最大熵模型用於關係提取。
（1）Entity Mention Extraction Model
我們將實體提及提取的問題重新轉換爲當前系統中連續標記標記任務(Florian et al.， 2006)。我們應用了BILOU方案，其中每個標記表示一個令牌分別表示一個實體的開始（Beginning）、內部（Inside）、最後（Last）、外部（Outside）和單元（Unit）。我們的大多數特徵與(Florian et al.，2004;除了我們沒有他們的地名辭典和其他提及檢測系統的輸出作爲特徵。我們的附加功能如下：
- 基於依賴項解析的當前令牌的調控詞(Marneffe et al.， 2006)。
- 布朗聚類中每個單詞的前綴來自TDT5語料庫(Sun et al.， 2011)。
（2）Relation Extraction Model
給定一個帶有實體提及註釋的句子，基線關係提取的目標是將每個提及對分類爲具有方向或(特殊符號，表示non-relation)。我們的大部分關係提取特徵是基於(Zhou et al.， 2005)和(Kambhatla, 2004)的前期工作。我們設計了以下附加功能：
- 包含兩次提及的短語的標籤序列。例如，圖1a中的句子，其順序是“NP VP NP”。我們還增加了每個短語的頭詞。
- (Chan和Roth, 2010)中描述了四種語義模式。
- 我們複製了每個詞的特徵，用它的布朗聚類替換每個詞。
三、Algorithm
3.1 The Model
我們的目標是根據任意的特徵和約束來預測每個句子的隱藏結構。我們使用以下線性模型預測對於x最可能的結構y：
其中每個候選賦值的得分定義爲特徵向量f (x, y)與特徵權值w的內積。
由於該結構包含了實體提及關係和全局特徵，因此我們的目標是利用全局特徵。不存在多項式時間算法來尋找最佳結構。在實際應用中，我們採用集束搜索來逐步擴展輸入句子的部分結構，從而找到得分最高的結構。
3.1.1 Joint Decoding Algorithm
一個主要的挑戰，搜索實體提及和關係增量是不同分配的對齊。同一句子的賦值可以有不同數量的實體提及和關係弧。實體提及提取任務通常被重新轉換爲BIO或BILOU方案的標記級順序標記問題(Ratinov和Roth, 2009;弗洛裏安等人，2006)。我們的任務的一個簡單的解決方案是採用這種策略，將每個令牌視爲一種狀態。然而，同一句子的不同賦值可能有不同的提及邊界。比較部分提及和完全提及的模型得分是不公平的。關係的搜索過程也很難同步。例如，同一句話以“York”結尾的兩個假設是：
該模型將傾向於不正確的分配“New/B-GPE York/L-GPE”，因爲它可以有更多的信息特徵作爲完整的提及(例如，如果整個提及出現在GPE gazetter中的二進制特徵)。此外，由於“New/B-FAC York/I-FAC”還沒有被完全提及，所以對兩個物理關係的預測無法同步。
爲了解決這些問題，我們採用了半馬爾可夫鏈的思想(Sarawagi和Cohen, 2004)，其中每個狀態對應於輸入序列的一段。他們提出了一種用於半馬爾可夫鏈精確推理的維特比算法。我們通過集束搜索來放鬆最大操作，從而得到一個類似於in (Zhang and Clark, 2008)中的多波束算法的基於分段的解碼器。讓ˆd實體提及長度的上界。以第i個令牌結束的k-best局部賦值可計算爲：
其中y[1:i−d]表示在(i-d)-th令牌處結束的部分構型，而y[i−d+1,i]對應於一個新的分段x[i−d+1,i]的結構。我們的聯合解碼算法如圖2所示。對於每個令牌索引i，它爲部分賦值維護一個集束，其最後一部分在第i個令牌結束。搜索過程中有兩種類型的操作：
圖二：實體提及和關係的聯合解碼。
1、APPEND (Lines 3-7)
首先，該算法列舉了所有可能的片段（子序列)，該子序列在具有各種實體類型的當前令牌處結束。一種特殊類型的段是帶有非實體標籤(特殊符號)的單個令牌。然後，將每個段附加到一個先前的集束中，形成新的賦值。最後將k個結果記錄在當前集束中。
2、LINK (Lines 8-16)
在每個附加步驟之後，算法向後查找，將新識別的實體提及和以前的實體提及(如果有的話)與關係弧聯繫起來。在第j個子步驟中，它只考慮在第j個前一個令牌結束的前一個提到。因此，不同的配置保證具有相同數量的子步驟。最後，使用新的關係信息對所有作業重新排序。
有m附加動作,每個後跟最多(i−1)鏈接操作(第8行)。因此最壞時間複雜度是O(ˆd·k·m2),其中ˆd表示段長度的上界。
3.1.2 Example Demonstration
圖三：解碼步驟的例子。x軸和y軸分別表示輸入語句和實體類型。矩形用實體類型表示線段，其中陰影部分是三個相互競爭的假設，以“1400”結尾。實線和箭頭分別表示正確的附加操作和鏈接操作，而虛線表示錯誤的操作。
在這裏，我們通過再次考慮圖1a中描述的句子來演示一個簡單但具體的示例。假設我們處在令牌“1400”處。在這一點上，我們可以提出多個不同長度的實體提及。假設“1400 / PER”、“1400 / ?和“(employs，1400)/PER”是可能的分配，算法將這些新段分別附加到“僱用”和“仍然”令牌梁的部分分配中。圖3說明了這個過程。爲了簡單起見，只給出了搜索空間的一小部分。然後，該算法將新識別的提及項鍊接到相同配置中的前一個提及項。在本例中，前面只提到了“(輪胎製造商)/ORG”。最後，由於“(輪胎製造商)/PER”和“1400 /PER”之間的EMP-ORG關係具有更多指示性的上下文特性，因此模型將首選“1400 /PER”。
3.2 Structured-Perceptron Learning
爲了估計特徵權值，我們使用結構化感知器(Collins, 2002)作爲學習框架，它是用於結構化預測的標準感知器的擴展。Huang等人(2012)用earlyupdate等修正錯誤的更新方法證明了結構感知器在不精確搜索時的收斂性(Collins and Roark, 2004)。由於我們在這項工作中使用了集束搜索，所以我們應用了早期更新。此外，我們使用平均參數來減少過擬合，如(Collins, 2002)。
圖四：感知器算法與集束搜索和早期更新。y0是金標準的前綴，z是頂部賦值。
圖4顯示了帶有早期更新的結構化感知器訓練的僞代碼。這裏BEAMSEARCH在圖2中描述的解碼算法是一樣的,除了如果y0,黃金標準的前綴y,beam在每次執行k-BEST函數(7和16行)後,然後返回頂部作業z和y0參數更新。值得注意的是，這隻有在黃金標準的一個部分在當前令牌結束時纔會發生。例如，在圖1a的示例中，B[2]不能觸發任何早期更新，因爲黃金標準不包含在第二個令牌處結束的任何段。
3.3 Entity Type Constraints
實體類型約束已被證明在預測關係方面是有效的(Roth和Yih, 2007;陳和羅斯，2010)。我們從訓練數據中自動收集每個關係類型的允許實體類型的映射表。我們沒有在後處理推理中應用約束，而是在搜索過程中刪除了違反類型約束的分支。這種類型的修剪可以減少搜索空間，同時使參數更新的輸入噪聲更小。在我們的實驗中，開發集中只有7個關係提及(0.5%)，測試集中只有5個關係提及(0.3%)違反了從訓練數據中收集的約束。
四、Features
我們的框架的一個優點是，我們可以很容易地利用這兩個任務的任意特性。本節描述我們在本文中開發的局部特性(第4.1節)和全局特性(第4.2節)。
4.1 Local Features
我們設計了基於分段的特性來直接評估一個實體的屬性，而不是它所包含的單個令牌。下面是一個基於分段的特徵的例子：
我們的基於分段的功能描述如下:
（1）Gazetteer features
實體類型的每個部分基於匹配的人，國家，城市和組織的地名。
（2）Case features
一段話是大寫、小寫還是混合?
（3）Contextual features
文本的一元語法和二元語法以及片段上下文窗口大小爲2的詞性標記。
（4）Parsing-based features
特性來源於組成解析樹,包括(a)的短語類型最低的共同祖先中包含的令牌,(b)的深度最低的共同祖先,©二進制特徵表明如果部分是基本短語或短語的後綴基地,和(d)的頭文字段和相鄰短語。
此外，我們將每個三重<ui、vi、ti>轉換爲BILOU標記，以實現其包含的令牌的基於令牌的功能。基於標記的提及特性和局部關係特性與我們的流水線系統的特性相同(第2.2節)。
4.2 Global Entity Mention Features
由於有效不精確的搜索,我們能夠使用任意特性從整個結構ˆy捕捉長距離依賴性。在解碼過程中，一旦添加了新的片段，就會提取相關實體提及之間的以下特徵。
（1）Coreference consistency
參照的實體提及應該被分配相同的實體類型。我們使用一些簡單的啓發式規則來確定同一句子中兩個片段之間的高回憶共參考鏈接：
- 完全或部分匹配兩個段的字符串。
- 代詞(如“their”、“it”)指的是前面提到的實體。例如，在“他們的汽車沒有保險”中，“他們”和“他們的”應該具有相同的實體類型。
- 關係代詞(例如“which”、“that”和“who”)指它在解析樹中修飾的名詞短語。例如，在《起跑者是nikita kargalskiy，他可能離他的家鄉有5000英里遠》中，“nikita kargalskiy”和“who”都應該被貼上“人”的標籤。
然後對全局特性進行編碼，以檢查兩個參照段是否共享相同的實體類型。這一特徵對代詞尤其有效，因爲它們的上下文本身通常不能提供信息。
（2）Neighbor coherence
相鄰的實體提及往往具有連貫的實體類型。例如，在“Barbara Starr was reporting from the Pentagon”中，“Barbara Starr”和“Pentagon”是由從屬鏈接連接起來的，因此它們不太可能同時出現。考慮兩種類型的鄰居:(一)當前段之前提到的第一個實體，和(二)由單個單詞或與當前段的依賴鏈接連接的段。我們把這兩個部分的實體類型和鏈接作爲一個全局特性。例如，“PER prep from PER”是上面例子中的一個特性，“Barbara Starr”和“Pentagon”都被標記爲PER提及。
（3）Part-of-whole consistency
如果一個實體引用在語義上是另一個引用的一部分(通過依賴關係鏈接的prep連接)，它們應該被分配相同的實體類型。例如，在“some of Iraq’s exiles”中，“some”和“exiles”都被提及;在“鎮上兩家肉類加工廠之一”中，“一家”和“兩家”都被FAC提及;在“the rest of America”中，“rest”和“America”都被提到了GPE。
4.3 Global Relation Features
關係弧也可以共享相互依賴或服從軟約束。當解碼過程中產生新的關係假設時，我們提取了以下以關係爲中心的全局特徵。
（1）Role coherence
如果提到的實體涉及同一類型的多個關係，那麼它的角色應該是一致的。例如，一份簡歷不可能有一個以上的僱主。然而，一個GPE提及可以是多個實體提及的物理位置。我們將關係類型和實體提到的參數角色組合爲一個全局特性，如圖5a所示。
（2）Triangle constraint
多個實體提到不太可能與相同的關係類型完全連接。我們使用一個負面特性來懲罰任何包含這種結構類型的配置。圖5b顯示了一個示例。
（3）Inter-dependent compatibility
如果兩個實體被一個依賴鏈接連接起來，它們就會與其他實體有兼容的關係。例如，在圖5c中，“索馬里”和“科索沃”之間的conj和從屬關係表明它們可能與提到的第三個實體“勢力”具有相同的關係類型。
（4）Neighbor coherence
與實體提及的相鄰連通性特徵相似，我們也將兩個相鄰關係的類型在同一個句子中組合成雙字母特徵。
五、Experiments
5.1 Data and Scoring Metric
以前關於ACE關係提取的大部分工作都報告了ACE’04數據集的結果。我們將在稍後的實驗中展示，ACE’05在關係類型定義和註釋質量方面都有顯著的改進。因此，我們給出了ACE ’ 05數據的整體表現。我們刪除了兩個非正式類型的小子集——cts和un，然後將剩餘的511個文檔隨機分爲3個部分:351個用於培訓，80個用於開發，剩下的80個用於盲測。爲了與最先進的技術進行比較，我們還對ACE ’ 04語料庫的bnews和nwire子集進行了與之前工作相同的5倍交叉驗證。這些數據集的統計彙總如表1所示。我們運行了Stanford CoreNLP工具包5來自動恢復小寫文檔的真實情況。
我們使用標準的F1度量來評估實體提及提取和關係提取的性能。如果實體的實體類型是正確的，並且它的提及頭的偏移量是正確的，那麼實體提及就被認爲是正確的。如果關係類型正確，則關係提及被認爲是正確的，並且兩個實體提及參數的偏移量都是正確的。與Chan和Roth(2011)一樣，我們排除了DISC關係類型，並刪除了系統輸出中的關係，這些關係通過共引用鏈接隱含地正確，以便進行公平比較。此外，我們結合這兩個標準來評估端到端實體提及和關係提取的性能。
5.2 Development Results
圖六：Learning Curves on Development Set
一般來說，較大的集束尺寸可以產生更好的性能，但會增加訓練和解碼時間。作爲折衷，我們在整個實驗中將光束尺寸設置爲8。圖6顯示了開發集上的學習曲線，並比較了具有和不具有全局特性的性能。從這些圖中我們可以清楚地看到，全局特徵不斷地提高了兩個任務的提取性能。根據這些曲線，我們將訓練迭代次數設置爲22次。
5.3 Overall Performance
表二：Overall performance on ACE’05 corpus
表2展示了各種方法對ACE ’ 05測試數據的整體性能。我們將我們提出的方法(聯合w/ Global)與流水線系統(Pipeline)、只具有局部特徵的聯合模型(聯合w/ local)以及兩個在ACE ’ 05語料庫中註釋了73個文檔的人工標註者進行了比較。
圖七：Two competing hypotheses for “a marcher from Florida” during decoding
我們可以看到，我們的方法在這兩個任務上都顯著優於流水線方法。作爲一個真實的例子，對於來自測試數據的部分句子“a marcher from Florida”，流水線方法沒有將“marcher”作爲一個單獨的提及，從而忽略了“marcher”和“Florida”之間的基本關係。我們的聯合模型正確地識別了實體提及及其關係。圖7顯示了將聯合模型應用到這句話時的細節。在標記“marcher”時，集束中最重要的假設是<?,?>，而正確的答案是第二好的。解碼器對令牌“佛羅里達”進行處理後，每gpe對的鄰域相干特徵將正確的假設提升到波束的頂部。此外，在通過GEN-AFF關係將兩者聯繫起來之後，錯誤假設<?,?>被降至第4位，從而使正確的假設相差很大。
F1在端到端關係提取上的得分只有70%左右，這說明這是一個非常具有挑戰性的任務。此外，註釋者間協議的F1評分爲51.9%，僅比我們提出的方法高2.4%。
與人工標註方法相比，自動標註方法的瓶頸是關係提取的召回率低。在631個遺留的缺失關係中，有318個(50.3%)是由於缺失實體提及參數造成的。在培訓數據中很少出現大量的名義提及頭，如人員(“至上主義者”、“牧羊人”、“寡頭”、“富人”)、地緣政治實體(“美國本土”)、設施(“路障”、“細胞”)、武器(“sim lant”、“核武器”)和車輛(“嬰車”)。此外，關係常常以各種形式含蓄地表達出來。以下是一些例子：
- “賴斯已被布什總統選爲新國務卿”表明“賴斯”與“布什”有密切關係。
- “美國這表明“軍隊”與“巴格達”之間存在“物理關係”。
- “俄羅斯和法國向巴格達派遣飛機”表明“俄羅斯”和“法國”與“飛機”的所有者存在藝術關係。
除了上下文特徵外，還需要更深層次的語義知識來捕捉這種隱含的語義關係。
5.4 Comparison with State-of-the-art
表3比較了ACE ’ 04語料庫的性能。對於實體提及提取，我們的聯合模型在5次交叉驗證中獲得了79.7%的結果，與(Florian et al.， 2006)在單次重複驗證中獲得的最佳F1分數79.2%相當。然而，Florian et al.(2006)使用一些地名辭典和其他信息提取(IE)模型的輸出作爲附加特徵，這提供了顯著的收益(Florian et al.， 2004)。由於這些gazetteers，額外的數據集和外部的IE模型都不是公開的，直接將我們的聯合模型和他們的結果進行比較是不公平的。
對於端到端實體提及和關係提取，在相同的設置下，聯合方法和流水線基線都優於(Chan和Roth, 2011)的最佳結果。
六、Related Work
實體提及提取(e.g.， (Florian et al.， 2004;Florian et al.， 2006;Florian et al.， 2010;Zitouni和Florian, 2008;Ohta et al.， 2012))和關係提取(例如，(Reichartz et al.， 2009;Sun et al.， 2011;江和翟，2007;Bunescu和Mooney, 2005;趙和Grishman, 2005年;庫洛塔和索倫森，2004年;周等，2007;錢，周，2010;錢等，2008;陳和羅斯，2011年;普蘭克和莫斯科提，2013))近年來備受關注，但通常是單獨研究。大多數關係提取工作假設實體提及邊界和/或類型被給定。Chan和Roth(2011)報告了使用預測實體提及率的最佳結果。
之前的一些工作使用關係和實體提及在聯合推理框架中相互增強，包括重新排序(Ji和Grishman, 2005)，整數線性規劃(ILP) (Roth和Yih, 2004;羅斯和Yih, 2007;Yang和Cardie, 2013)，和卡片金字塔解析(Kate和Mooney, 2010)。所有這些工作都指出了利用跨組件交互和更豐富的知識的優點。然而，他們依賴於爲每個子任務分別學習的模型。作爲一個關鍵的區別，我們的方法聯合提取實體提及和關係使用一個單一的模型，其中任意的軟約束可以很容易地納入。其他一些工作將概率圖形模型應用於聯合提取(e.g.， (Singh et al.， 2013;Yu和Lam, 2010))。相比之下，我們的工作採用了一種高效的聯合搜索算法，沒有對多個變量的聯合分佈進行建模，因此更靈活，計算更簡單。此外，(Singh et al.， 2013)使用了goldstandard提邊界。
我們之前的工作(Li et al.， 2013)使用基於標記的解碼器的結構化感知器，基於實體提及和其他候選參數作爲輸入的一部分的假設，聯合預測事件觸發器和參數。在本文中，我們解決了一個更具挑戰性的問題:以原始文本爲輸入，在一個單一的模型中識別邊界、實體提及的類型和關係。Sarawagi和Cohen(2004)提出了一種基於節段的CRFs模型用於名稱標記。Zhang和Clark(2008)使用基於分段的解碼器進行分詞和詞性標註。我們將類似的思想擴展到端到端任務中，通過增量地預測關係和實體提及段。
七、Conclusions and Future Work
在本文中，我們介紹了一種新的體系結構，用於更強大的端到端實體提及和關係提取。我們第一次使用增量集束搜索算法和結構化感知器來解決這個具有挑戰性的任務。當與其他組件聯合檢測提邊界時，對同一波束內的多個任務同步提出了挑戰，採用了一種簡單而有效的基於分段的解碼器來解決這個問題。更重要的是，我們利用了一組基於這兩個任務的語言和邏輯屬性的全局特徵來預測更一致的結構。實驗表明，我們的方法在這兩種任務上都明顯優於流水線方法，並且具有非常先進的技術水平。
在未來的工作中，我們計劃探索更多的軟約束和硬約束，以減少搜索空間，提高準確性。此外，我們的目標是將其他IE組件(如事件提取)合併到聯合模型中。