語義角色標註《Deep Semantic Role Labeling？What Works and What’s Next》

Motivation:

在語義角色標註（SRL）的任務上，傳統使用神經網絡的做法是將解析樹作爲神經網絡的輸入。最近一種比較流行的做法是使用端到端的神經網絡模型，直接將源句子轉化爲論元標籤，省去生成解析樹的步驟。本文采用的就是端到端的方法，將SRL任務轉化爲一個序列標註問題。

 

模型結構：

爲實現SRL，從源句子到目標序列一共分爲兩部分：

1. Highway LSTM+Softmax：輸入爲<句子單詞，謂詞>，輸出爲每個標籤對應的概率p(yi | x)。

                               

                                                                    圖1

<句子單詞，謂詞>中謂詞取值爲0或1，當單詞是謂詞是取值爲1；否則爲0。

1. 在預測時使用A*算法，同時考慮一些約束信息,約束信息主要有：

• BIO約束，eg:BARG0後面不能接IARG1
• SRL約束，①每個核心角色最多出現一次；②在標記附加角色時，其基本角色已經識別出來
• 語法約束，是否使用解析器生成的語法樹。

A*算法在每一步的選擇由以下兩項組成，即f(w,y1:t)+ g(w,y1:t)：

                      

                                   

f(w,y1:t)是從句子開頭處理到t時刻的代價，也就是已經貼完標籤的單詞；

g(w,y1:t)是從當前時刻t到句子結束的估算成本。

 

錯誤分析：

1. 模型的深度能彌補長距離依賴帶來的效果損失；
2. 使用SRL約束可能會修改已經標對的標籤，降低效果；主要原因有的gold數據也違反SRL約束
3. 介詞短語標註錯誤是主要原因
4. 輸入數據包含單詞是否爲謂詞信息時，模型的效果反而不好。

 

啓發：

1. 模型的成功之處在於用了最近提出新的方法，例如highway connections，RNN-dropouts，參數的正交初始化等；
2. 本文實驗分析角度多樣，分析錯誤貢獻率；