相關論文一覽
| 方法 | 聯合方法 | 神經網絡 | 特徵編碼融合特徵 | 元素依賴融合特徵 |
|---|---|---|---|---|
| 陳(2015)1 | 否 | 動態多池化CNN | 詞嵌入、位置特徵、類型特徵 | 無 |
| Nguyen(2016)2 | 是 | 雙向 RNN | 詞嵌入、實體類型、依賴樹中詞語依賴邊關係 | 記憶向量/矩陣（觸發詞/論元） |
| 陳 (2016)3 | 是 | 雙向 LSTM（多池化） | 詞嵌入、skip-window CNN特徵 | 張量層（事件論元） |
| sha (2018)4 | 是 | 雙向 LSTM | 依存關係 | 論元關係張量 |
| 丁 (2018) 5 | 否 | RNN | 詞嵌入、詞性特徵、詞語位置特徵、事件類型特徵 | multi-attention |
| 劉(2018)6 | 是 | 雙向 LSTM + 圖卷積網絡 | 詞嵌入、詞性特徵、詞語位置特徵、實體類型特徵 | 自注意力機制、句法捷徑弧 |
| Nguyen(2019)7 | 是 | 雙向 GRU | 詞嵌入、詞性特徵、BIO標註特徵、句法樹依賴關係 | 共享隱藏信息層 |
論文分析
陳（2015）（ACL 2015） 使用的是 pipeline 方法，開了使用 DNN 解決 EE 任務的先河，並提出了可以自動提取詞彙級與句子級特徵的動態多池化 CNN 模型以提取句子中多個特徵，並加入了位置特徵向量、事件類型特徵向量來加強句子整體感知，取得了當時的最好成果，但是存在未能充分捕捉句子中事件觸發詞、論元等元素之間的依賴關係以及pipeline 方法本身存在的錯誤傳播等問題。
Nguyen(2016) 等人首次將 RNN 模型應用到事件聯合抽取任務。通過使用雙向 RNN 模型避免了 pipeline 方法本身的錯誤傳播問題，並通過使用觸發詞記憶向量、論元記憶矩陣等特徵進一步加強了句子中各事件元素等依賴關係感知，進一步提升了事件抽取的效果。
陳（2016）（全國計算語言學會議 2016 最佳論文）等人使用雙向 LSTM 網絡並結合了動態多池化的操作構建了事件聯合抽取模型，通過雙向 LSTM 加強了模型對句子上下文的語義感知能力，並使用一個張量層來進行對事件論元元素間的依賴關係建模和預測，取得了較好的事件抽取效果。
Sha(2018) 等人爲了解決前人在設計模型結構的時候沒有使用好句法的特徵以及沒有很好地對潛在論元元素間的關係進行建模等問題，提出能將依存關係融入框架的 Dependency-Bridge RNN 結構，將依存關係編碼進RNN的輸出，並同時提出 Tensor-Based Argument Interaction 方法來建模論元元素間的關係，例如語義相關、依存相關、共現關係等，並通過實驗證明，該方法明顯提高了模型性能。
丁（2018）等人爲了解決一詞多義及事件元素長依賴問題，提出了一種結合multi-attention 層及深層上下文語義表徵的模型。該模型在特徵編碼階段主要通過預訓練語言模型表徵輸入文本加上詞語詞性、位置和事件類型等特徵向量加強了模型的深層語義感知能力解決一詞多義問題，並通過在模型中加入 multi-attention 層加強了對事件元素關係依賴問題的表徵，較好的解決事件論元的關係推斷問題。
劉（2018）等人提出了從一個句子中抽取多個觸發詞的 JMEE 模型，以此來提升對事件類型判別的準確度。該模型通過使用句法上的捷徑弧(shotcut arcs)解決對句子中的長距離依賴問題。同時使用了圖卷積網絡(GCN)模型來生成每個單詞（圖中的節點）的向量表示並完成對句法樹對建模，最後使用自注意力機制來同時對多個觸發詞及其論元元素進行提取，取得了較好的成果。
Nguyen（2019）等人提出一種基於共享隱藏信息特徵表示的事件聯合抽取模型，將實體發現、觸發詞提取、論元提取及角色分類等任務同時完成。通過使用基本的詞法特徵及雙向 GRU 網絡對文本信息進行表示學習，並將學習得到的上下文信息嵌入在三個不同的子任務間進行共享，該模型沒有過多的依賴句法樹等信息，並取得了較好的效果。
國內外在事件抽取領域的研究主要聚焦於兩點：（1）增強文本深層語義編碼表示；（2）增強事件觸發詞及論元元素間長依賴關係建模。
Reference
Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks, ACL 2015 ↩︎
Joint Event Extraction via Recurrent Neural Networks, NAACL 2016 ↩︎
Y. Chen, S. Liu, S. He, K. Liu, and J. Zhao, ‘‘Event extraction via bidirectional long short-term memory tensor neural networks,’’ in Chi- nese Computational Linguistics and Natural Language Processing Based on Naturally Annotated Big Data. Cham, Switzerland: Springer, 2016, pp. 190–203 ↩︎
Sha, Lei, et al. “Jointly extracting event triggers and arguments by dependency-bridge rnn and tensor-based argument interaction.” Thirty-Second AAAI Conference on Artificial Intelligence. 2018. ↩︎
R. Ding and Z. Li, ‘‘Event extraction with deep contextualized word representation and multi-attention layer,’’ in Proc. Int. Conf. Adv. Data Mining Appl., 2018, pp. 189–201. ↩︎
X. Liu, Z. Luo, and H. Huang, ‘‘Jointly multiple events extraction via attention-based graph information aggregation,’’ in Proc. Conf. Empirical Methods Natural Lang. Process., 2018, pp. 1247–1256. ↩︎
T. M. Nguyen and T. H. Nguyen, ‘‘One for all: Neural joint modeling of entities and events,’’ in Proc. 33rd AAAI Conf. Artif. Intell., vol. 33, 2019, pp. 6851–6858. ↩︎