【論文筆記】Neural Relation Extraction with Multi-lingual Attention

一、概要
  該paper發於ACL2017上，作者主要基於關係事實通常在各種語言中存在某種模式表達，並且不同語言之間的模式是不同的這兩個動機，針對於當前存在的單語言關係抽取的方法，從而存在忽略不同語言中存在大量信息的問題，作者提出了一個基於多語言交叉Attention機制實體關係抽取方法，可以充分不同語言中的關係模式，從而增強關係模式的學習，文中提出的Multi-lingual Attention-based Neural Relation Extraction (MNRE)模型相對單語言模型有較好地提升。
二、模型方法
2.1 模型結構

2.2 Sentence Encoder
  作者對比的CNN、GRU，以及LSTM對句子進行編碼爲distributed representation，在計算效率即效果上發現CNN最好，所以使用CNN對輸入句子進行Encoder。
  這裏同樣使用了word embedding與position embedding作爲Input Representation，具體可以查看【論文筆記】Relation Classification via Multi-Level Attention CNNs對應的內容，之後使用了包括滑窗、卷積、分段Maxpooling、以及tanh函數，從而從輸入句子中得到關於目標實體的關係模式的編碼。

2.3 Multi-lingual Attention
 ①Mono-lingual Attention
  對於第j種語言對應的句子集合Sj ，其mono-lingual vector計算方法如下：

Sj=∑iαijxij
  其中αij 是對應句子向量xij 的Attention權值，其計算方法如下：
αij=exp(eij)∑kexp(exp(ekj)
  其中eij 爲衡量句子向量與關係r之間的關聯度，其計算方式爲：
eij=xiJ⋅rj
  其中rj 爲實體關係對應第j種語言的query vector。

 ②Cross-lingual Attention
  整篇文章的重點就在這裏了！！！假設j與k分別代表兩種不同語言，那麼cross-lingual representationSjk 計算方法如下：

Sjk=∑iαijkxij
  其中αijk 是對應句子向量xij 的Attention權值，其計算方法如下：
αij=exp(eijk)∑kexp(exp(ekjk)
  其中eijk 爲衡量句子向量與關係r之間的關聯度，其計算方式爲：
eijk=xij⋅rk
  其中rk 爲實體關係對應第k種語言的query vector。
  是不是很簡單？？？ACL！ACL!ACL!怎麼自己想不到？

2.4 Prediction
  對於每一個實體對以及對應的句子集在m中語言中，我們通過multi-lingual attention可以獲得m*m的向量{Sjk|j,k∈(1,...,m) }，當j = k時，即爲mono-lingual attention vectors, 不相等時即爲 cross-lingual attention vectors.
  最後把這些向量經過全連接層即softmax函數，然後分別相加即可得到每個關係的概率，爲了更好的考慮不同語言的特點，可以在全連接層時在共享權值的基礎上加上每種語言特有的權值矩陣，如Rk 對應第k種語言。即：

p(r|Sjk,θ)=softmax[(Rk+M)Sjk+d]

三、實驗結果
  作者做得對比實驗就不細講的，雖然這些對比實驗某種程度上是這篇論文價值的重要體現，但不是本次學習模型的目的，所以跳過，簡單貼出一些實驗結果。

四、結論與思考
  該文章提出了多語言Attention關係提取方法，以考慮多種語言之間的模式一致性和互補性。 結果表明，其模型可以有效地建立語言之間的關係模式，實現很好地效果。
五、個人思考：
  ①作者文末提到此次只是針對句子級別的多語言Attention，可能還可以考慮詞和字的多語言Attention，以及本次只是使用的中文和英文兩種語言。
  ②本篇文章方法很簡單，但是卻能做出結果，並中ACL，一個方面是作者做了很多的對比實驗，其並進行深入的討論對比，這是值得學習的地方，另一方面是方法思路符合我們的常理，idea簡單實用。
參考文獻：
①Yankai Lin1, Zhiyuan Liu1,Maosong Sun.Neural Relation Extraction with Multi-lingual Attention
②代碼鏈接：https://github.com/thunlp/MNRE。