p4 in 2019/12/9
論文名稱：Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs
… … … ：基於可解釋圖推理的知識感知對話生成模型
論文作者：Zhibin Liu, Zheng-Yu Niu, Hua Wu, Haifeng Wang
論文來源：EMNLP2019
下載鏈接：https://arxiv.org/abs/1903.10245v2
源碼鏈接：https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/EMNLP2019-AKGCM
參考筆記：https://mp.weixin.qq.com/s/THt88QskJUFLWtH6USftxw
Abstract
- 以前的方法：引入外部知識，通過選擇具體的內容加入到回覆生成過程中來提升回覆的質量。
- 以前方法的不足：1）知識爲實體/普調詞，無法爲回覆生成提供其他更加豐富的信息；2）非結構化的表示方案要求模型具有很強的能力來從知識文本集合中進行知識選擇或者使用注意力機制。
- 本文的方法：融合非結構化知識和結構化知識，提出基於擴充知識圖（Augmented Knowledge Graphs）的開放域對話生成模型（AKGCM），模型具體由知識選擇和回覆生成這兩個模塊組成。
1）知識選擇：轉化爲一個多跳圖問題，基於強化學習（RL）的推理模型MINERVA來有效地捕獲會話流，實現知識選擇；2）回覆生成：使用帶Copy機制的編碼器-解碼器模型（Encoder-Decoder）基於所選知識和用戶輸入生成最終回覆。 - 本文的貢獻：
1）首次結構化知識和非結構化知識統一爲一個圖，並在對話系統中進行靈活的多跳知識圖推理；
2） two-stage architecture和基於圖的知識選擇機制提供了模糊的可解釋性；
3）在知識選擇上，爲了充分利用頂點中的長文本，將機器閱讀理解（MRC）技術集成到圖形推理過程。
The Proposed Model
圖2：AKGCM模型的整體架構圖
3.2 Augmented Knowledge Graph
給定一個包含非事實知識的事實KG和相關文檔，本文將KG作爲主幹，其中每個頂點包含了一個實體或單詞，每條邊表示一個屬性或者關係。然後將文本切分成句子，通過將這些句子的實體映射到KG的實體頂點，將每個句子與事實KG的實體對齊。因此，本文用非事實型知識擴張了事實KG，並保留了它的表示結構。
3.3 Knowledge Selection on the Graph
論文采用了基於強化學習（RL）的推理模型MINERVA來實現知識選擇模塊，其中的推理過程很好地模擬了會話中的知識跳轉過程（如圖1）。同時，基於路徑選擇的推理方式也爲知識選擇模塊帶來了良好的泛化能力和可解釋性。值得指出的是，擴充知識圖的部分頂點包含長文本知識內容而不僅僅只是實體或詞，這是和之前許多知識圖最大的不同之處。爲了充分利用這些長文本信息，論文借鑑了機器閱讀理解（Machine Reading Comprehension）中的技術，在輸入消息和候選頂點之間進行細粒度的語義匹配，並將結果作爲打分特徵加入MINERVA模型，以此來優化推理算法。
圖1：可解釋推理的會話示例
3.4 Knowledge Aware Generation
輸入： [selected knowledge, message]
輸出： response
兩種神經網絡：1）計算知識選擇的表示；2）計算信息表示。
解碼器接受上述兩個表示，和他們自己的內部狀態表示作爲輸入，然後計算：1）一種概率分值表示下一個單詞是否應該生成或複製；2）一種詞彙的概率分佈，如果應該生成下一個單詞；3）一種輸入單詞的概率分佈，如果應該複製下一個單詞。
然後將這三個概率分佈組合起來，得到P(yt|y<t, X, vY)，從而生成響應中的下一個單詞。
Experiments and Results
數據集： EMNLP dialog dataset 、ICLR dialog dataset
評估指標： 合適度（Appr.）和豐富度（Infor.）
基準模型：
表2：兩個數據集上自動評估的結果
表3：兩個數據集上人工評估的結果
表4：在EMNLP電影對話數據集上的模型簡化測試結果
References
- Rajarshi Das, Shehzaad Dhuliawala, Manzil Zaheer, Luke Vilnis, Ishan Durugkar, Akshay Krishnamurthy, Alex Smola, and Andrew McCallum. 2018. Go for a walk and arrive at the answer: reasoning over paths in knowledge bases using reinforcement learning. In Proceedings of ICLR, pages 1–18.
- Rajarshi Das, Manzil Zaheer, Siva Reddy, and Andrew McCallum. 2017b. Question answering on knowledge bases and text using universal schema and memory networks. In Proceedings of ACL, pages 358–365.