CS224N-共指消解學習筆記

說明：本博文用於記錄學習斯坦福CS224N的相關筆記，其中內容，截圖來自相應課件和視頻。

一、任務定義

共指消解（coreference resolution）：Identify all mentions that refer to the same real world entity，找到所有指向真實世界中同一entity的mention。

例如，在下面這個例子中，Barack Obama，his，he均指代Barack Obama，而Hillary Rodham Clinton、secretary of state、her、she、First Lady均指代Hillary Rodham Clinton。
Barack Obama nominated Hillary Rodham Clinton as his secretary of state on Monday. He chose her because she had foreign affairs experience as a former First Lady.

概念對比

回指

The use of a word that refers to or replaces another word used earlier in a sentence when a term (anaphor照應) refers to another term (antecedent先行詞)

回指是一種語言現象，即下文的詞返指或代替上文的詞。其中，被指代的上文中的詞稱之爲先行詞（antecedent），指代稱爲照應（anaphor）。

回指又可以分爲兩種：代詞回指（pronominal anaphora），以及橋接回指（bridging anaphora）。

• 代詞回指：照應通常是代詞，需要找到代詞對應的先行詞。

• 橋接回指：在橋接回指中，照應和先行詞都是具體指代，但是這兩個指代之間存在一定的照應，或者說解釋關係，例如下文中的“a concert”和“The tickets”：
  We went to see a concert last night. The tickets were really expensive.

在回指中，照應的解釋在一定程度上依賴於先行詞，重點在於找到指代對應的先行詞；而對於共指，指代的解釋取決於指代本身，重點在於判斷指代之間是否具有共指關係，如圖所示：

共指與回指之間存在一定的重疊關係，如圖所示：

下指

下指（Cataphora）：指後照應，順向照應(語言單位由下文加以說明)，與回指的區別在於先行詞通常在指代詞的後面。

二、應用場景

Full text understanding

共指消解有助於對文本的全面理解，從而促進信息抽取（information extraction），自動問答（question answering），文本摘要（summarization）

機器翻譯（machine translation）

在不同的語言中，指代詞各有特點，因此理解代詞的具體指代，有利於提升系統的翻譯效果。

對話系統（Dialogue Systems）

在對話系統，理解不同mention的真實指代，有利於理解用戶的真實意圖，如圖所示：

三、研究方法

共指消解包括兩步：Detect the mentions，以及cluster the mentions。前者比較容易，後者則較爲困難。

Entity Mention：span of text referring to some entity，具體包括代詞（pronouns）、命名實體（named entities）、名詞短語（noun phrases）以及其它。

• 代詞：可以通過詞性標註工具來獲取
• 命名實體：可以通過NER工具來獲取
• 名詞短語：parser，例如 a constituency parser

但是值得注意的是，並不是所有的代詞、命名實體以及名詞短語都是好的mention，例如：
（1）It is sunny
（2）Every student
（3）No student
（4）The best donut in the world
（5）100 miles
在上述例子中，這些mention指代的是一種抽象概念，而不是具體的事物。對於這些指代，可以通過訓練一個分類器來過濾掉，但更常見的方法是將其視爲候選指代。

四、共指消解模型

Rule-based (pronominal anaphora resolution)

代表方法是：Hobbs’ naive algorithm (1976)，以及Knowledge-based Pronominal Coreference（Winograd Schema）。

Mention-Pair Model

基於mention pair的方法通過訓練一個二分類器來判斷給定的mention pair之間是否具有共指關係，然後在預測時通過設定閾值以及共指的傳遞性來將多組mention pair聚成多類。

• 模型輸入：mention集合，以及mention所在文檔
• 模型輸出：mention i 和mention j之間具備共指關係的概率（0-1）
  

訓練

測試

缺陷

Mention-Pair Model的問題在於很難得到較遠距離的mention之間的共指關係，同時很多mention往往只有一個明確的先行詞，而模型卻要預測出mention的所有的先行詞。

Mention-Ranking Model

與mention pair model成對進行訓練不同，mention ranking model直接對mention的所有先行詞（文本中位於指代前面的所有指代都被視爲候選指代）預測一個概率分佈，然後選擇概率最高的mention作爲先行詞。同時，爲了避免模型將當前的指代鏈接到single mention或者first mention，可以在mention集合中增加一個Dummy NA。

在預測時，不同於mention pair模型，mention ranking模型中每個mention只會鏈接到一個mention上，因此可以避免mention pair模型的第二個問題。

Clustering

五、二分類器或ranking模型實現

Non-neural statistical classifier

傳統的機器學習，主要通過人工提取特徵，然後使用SVM，最大熵等方法來實現分類和排序模型。在共指消解模型中，常用的特徵包括：

Simple neural network

輸入層包括word embedding，以及一些額外的分類特徵。Word embeddings包括所有mention的Previous two words, first word, last word, head word。其中，Head word是指mention中最重要的word，可以通過一些parser來得到。分類特徵包括：distance，document genre，以及speaker information等。

More advanced model

除了簡單的前饋神經網絡之外，還可以採用LSTM，或者在模型中融入注意力機制。