Unsupervised Commonsense Question Answering with Self-Talk 閱讀筆記

來源 ACL 2020

本文提出了一種無監督的常識答案選擇方法，這種方法可以生成並且整合來自預訓練語言模型的知識。

任務

multiple-choice question answering tasks. 每個樣本包含上下文$c$、問題$q$和幾個答案選項$a^k_{i=1}$。作者一共選取了5個數據集進行實驗。示例如下：

Model

作者設計了三種模型進行實驗，下面依次介紹。

LM-only Baseline

作者把每個答案選項$a_i$與上下文$c$，問題$q$進行結合，組成選項$opt_i=combine(c,q,a_i)$. $opt_i$是一句自然語言形式的文本，每個候選答案的得分$score(a_i)=CE(opt_i)$. $CE$(cross-entropy loss)的定義如下：
$CE(t_1...t_n)=-1/n \sum_{i=1}^nlog_2 p_{\Bbb L \Bbb M_s}(t_i|t_1...t_{i-1})$
$\Bbb L \Bbb M_s$是預訓練語言模型，$CE$值最低的就是正確的答案。

Baseline Model with External Knowledge

每個實例都有一個clarification list: $CL=\{cl_1,...,cl_m\}$。每個clarification都是一個與問題相關知識的文本片段（怎麼來的在後面介紹)。因爲（作者假設）在回答某個問題時只依賴於一個clarification，所以某個候選答案的得分就是最支持該答案的clarification的分數：
$score(a_i)=min_{cl\in CL}CE(opt_i+cl) \\y=argmin_iscore(a_i)$
作者通過下圖所示的方法從三個不同類型的知識庫（ConceptNet, Google Ngrams, COMET）中生成clarification list：

Self-talk Model

這個方法的思路和上一個一樣，只不過生成clarification的方法不同。即通過用預訓練語言模型生成clarification達到從預訓練語言模型中提取知識的目的。生成clarification的過程分爲下面幾步：

1. 根據上下文和問題前置（question prefixes 事先定義好的）生成clarification question
   每個prefix生成5個問題
2. 生成答案（也就是clarification)
   作者使用context、clarification question和answer prefix的拼接作爲prompt來生成答案。爲每個問題都保留10個回答。

Result

不如有監督訓練的模型，但在無監督的方法中算比較好的