p5 in 2019/12/10
論文名稱：Exploring Answer Stance Detection with Recurrent Conditional Attention
… … … ：使用循環條件注意力結構探索回答立場檢測任務
論文作者：袁建華，趙妍妍，許靜芳，秦兵
論文來源：AAAI2019
下載鏈接：https://wvvw.aaai.org/ojs/index.php/AAAI/article/view/4732
源碼鏈接：https://github.com/surpriseshelf/AnswerStance
參考筆記：https://www.jiqizhixin.com/articles/2019-04-24-17
Abstract
從社區問答QA對中提取人們對問題的觀點立場傾向性是一個有意思的問題，用自動化方法挖掘某一問題下所有回答針對該問題的立場傾向性，能爲人們提供合理、整體的參考信息。
- 以前的方法：立場表達針對的對象(target)要麼是實體(entity)，要麼是聲明(claim)。
- 以前的不足：難以捕獲目標的語義和構建依賴於目標的答案。
- 本文的方法：立場針對的對象是整個問題。
---- 循環條件注意力結構(Recurrent Conditional Attention, RCA)：
1）問題句、回答句的建模網絡，本文使用基於GRU結構的循環神經網絡分別建模問題句和回答句的語義信息；
2）依賴於問題句信息的回答句表示網絡，本文利用注意力機制(Attention)從回答句中提純與問題句有關的表示，降低不相關詞的權重；
3）通過循環閱讀問答對迭代更新真實立場傾向性表示的推敲網絡。在循環閱讀問題對的過程中，RCA模型交錯提煉問題句、回答句語義表示，挖掘問題句-回答句之間的相互依賴關係，逐步推理獲得回答對於問題真實的觀點傾向情況。
Introduction
立場檢測任務的目的是將文本中對某一特定目標的態度歸類爲贊成、反對或中立。
圖1 兩類回答立場檢測任務示例
Approach
- 模型主要包含3個模塊，與模型圖對應關係如下：
1）問題句和回答建模網絡；
2）依賴於問題句信息的回答句表示網絡；
3）立場傾向性表示迭代更新網絡；
圖2 RCA整體架構
3.1 問題句和回答句建模
給定一個問題句XQ和一個回答句XA，本文首先將其中每一個詞轉爲低維稠密的詞嵌入表示，具體地本文使用了一個在百科語料上使用word2vec訓練得到的100維詞向量。然後我們使用GRU(Gated Recurrent Unit)循環神經網絡分別建模問題句和回答句，得到問題句和回答句中每個詞在上下文中的特徵表示。對於給定的一句話X={x1,x2,…,xt,…,xT}，在時刻t，GRU按如下公式更新其狀態：
本文使用雙向GRU兼顧上下文，對於句子中的第 i 個詞，我們將雙向GRU的隱層輸出進行拼接，用hiQ表示問題句中的詞的雙向隱層表示，用hiA表示回答句中的詞的雙向隱層表示。
3.2 Conditional Attention 條件注意力網絡
顯而易見，判別最終的立場應該同時考慮回答句和問題句的內容，需要利用二者的互相關係，發掘文本中與立場傾向相關的語義內容。下面介紹如何從問題句和回答句的表示中，構建立場傾向性的特徵表示。
我們假定，模型在閱讀問答對前不持有立場，即初始立場s0特徵表示爲0。
3.2.1 Question Attention 問題句注意力網絡
首先，CA模塊閱讀問題句內容。由於問題句中不同詞對於理解問題句的語義重要性不同，像“了”、“的”、“呢”、“怎樣”就不如“德國隊”、“牛奶”這些詞在本任務中來得重要，所以CA模塊利用注意機制來篩選問題句對於立場分析比較重要的詞，得到立場相關的問題句表示向量。具體地，我們使用已經累積的立場特徵向量st-1去attend問題句，得到問題句：
其中atiQ是本次閱讀問題句得到的第i個詞的權重歸一化結果。問題句的表示Q~t是問題句所有詞隱層向量的加權平均。
3.2.2 Answer Attention 回答句注意力網絡
同樣地，回答句中不同詞對於判斷其立場傾向的貢獻也存在差異。我們用類似的方法有側重地學習回答句的表示。這裏，CA模塊先使用新的問題句信息Q~t更新立場狀態向量st-1，得到臨時的立場表示st*：
因爲st*中融合了最新獲取的問題句語義，接着CA模塊通過Attention機制來構建考慮問題句信息的回答句表示。
其中atiA是本次閱讀回答句得到的第 i 個詞的權重歸一化結果。回答句的表示A~t是回答句所有詞隱層向量的加權平均。
3.3 Recurrent Stance Polishing 立場表示迭代更新網絡
顯然，最終的立場類別直接依賴於最新的回答句內容，我們需要將A~t融入我們的立場狀態st*。爲此，我們應用另一步GRU更新：
到此爲止，我們完成了RCA模型對問答對的一次閱讀過程。注意，這裏的一次閱讀過程對應兩個GRU時刻更新。
但對於語義較爲複雜的問題對，只對問答對進行一次閱讀往往難以正確推斷其立場傾向性。借鑑前人的工作，我們重複上述閱讀過程k次。這裏，我們根據實驗結果將k設爲3。
在多步閱讀過程中，立場狀態向量st作爲橋樑，構建了間接依賴於回答句的問題句表示和間接依賴問題句的回答句表示，挖掘了立場分類時問答對之間的依賴關係，這樣的交互模式使得RCA模型能從問答對中逐步推理出真實立場傾向情況。
Experiments and Results
數據集： 從百度知道、搜狗問問、明醫等網站爬取、清洗並標註數據，最終得到的13591條問答對語料，語料主要涉及懷孕、食品、安全、疾病等話題。語料的統計信息如下表：
表1 社區問答中帶標註的回答立場數據統計
評估指標： 宏平均、微平均、Accuracy
基準模型： 詞袋模型、雙向LSTM模型、CNN模型、TAN(IJCAI2017)、BiCond(EMNLP2016)、AoA(ACL2017)、RAM(EMNLP2017)
表2 測試集上不同立場檢測模型的性能比較
表3 RCA模型在測試集上的消融測試。呈現宏觀和微觀平均F1分數。
References
- Augenstein,I.;Rockt¨aschel,T.;Vlachos,A.;andBontcheva, K. 2016. Stance detection with bidirectional conditional encoding.In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 876–885.
- Bahdanau, D.; Cho, K.; and Bengio, Y. 2014. Neural Machine Translation by Jointly Learning to Align and Translate. ArXiv e-prints.
- Bhatt, G.; Sharma, A.; Sharma, S.; Nagpal, A.; Raman, B.; andMittal,A. 2018. Combiningneural,statisticalandexternal features for fake news stance identification. In Companion Proceedings of the The Web Conference 2018, WWW ’18, 1353–1357. Republic and Canton of Geneva, Switzerland: International World Wide Web Conferences Steering Committee.