p4 in 2019/12/9
论文名称：Knowledge Aware Conversation Generation with Explainable Reasoning over Augmented Graphs
… … … ：基于可解释图推理的知识感知对话生成模型
论文作者：Zhibin Liu, Zheng-Yu Niu, Hua Wu, Haifeng Wang
论文来源：EMNLP2019
下载链接：https://arxiv.org/abs/1903.10245v2
源码链接：https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/EMNLP2019-AKGCM
参考笔记：https://mp.weixin.qq.com/s/THt88QskJUFLWtH6USftxw
Abstract
- 以前的方法：引入外部知识，通过选择具体的内容加入到回复生成过程中来提升回复的质量。
- 以前方法的不足：1）知识为实体/普调词，无法为回复生成提供其他更加丰富的信息；2）非结构化的表示方案要求模型具有很强的能力来从知识文本集合中进行知识选择或者使用注意力机制。
- 本文的方法：融合非结构化知识和结构化知识，提出基于扩充知识图（Augmented Knowledge Graphs）的开放域对话生成模型（AKGCM），模型具体由知识选择和回复生成这两个模块组成。
1）知识选择：转化为一个多跳图问题，基于强化学习（RL）的推理模型MINERVA来有效地捕获会话流，实现知识选择；2）回复生成：使用带Copy机制的编码器-解码器模型（Encoder-Decoder）基于所选知识和用户输入生成最终回复。 - 本文的贡献：
1）首次结构化知识和非结构化知识统一为一个图，并在对话系统中进行灵活的多跳知识图推理；
2） two-stage architecture和基于图的知识选择机制提供了模糊的可解释性；
3）在知识选择上，为了充分利用顶点中的长文本，将机器阅读理解（MRC）技术集成到图形推理过程。
The Proposed Model
图2：AKGCM模型的整体架构图
3.2 Augmented Knowledge Graph
给定一个包含非事实知识的事实KG和相关文档，本文将KG作为主干，其中每个顶点包含了一个实体或单词，每条边表示一个属性或者关系。然后将文本切分成句子，通过将这些句子的实体映射到KG的实体顶点，将每个句子与事实KG的实体对齐。因此，本文用非事实型知识扩张了事实KG，并保留了它的表示结构。
3.3 Knowledge Selection on the Graph
论文采用了基于强化学习（RL）的推理模型MINERVA来实现知识选择模块，其中的推理过程很好地模拟了会话中的知识跳转过程（如图1）。同时，基于路径选择的推理方式也为知识选择模块带来了良好的泛化能力和可解释性。值得指出的是，扩充知识图的部分顶点包含长文本知识内容而不仅仅只是实体或词，这是和之前许多知识图最大的不同之处。为了充分利用这些长文本信息，论文借鉴了机器阅读理解（Machine Reading Comprehension）中的技术，在输入消息和候选顶点之间进行细粒度的语义匹配，并将结果作为打分特征加入MINERVA模型，以此来优化推理算法。
图1：可解释推理的会话示例
3.4 Knowledge Aware Generation
输入： [selected knowledge, message]
输出： response
两种神经网络：1）计算知识选择的表示；2）计算信息表示。
解码器接受上述两个表示，和他们自己的内部状态表示作为输入，然后计算：1）一种概率分值表示下一个单词是否应该生成或复制；2）一种词汇的概率分布，如果应该生成下一个单词；3）一种输入单词的概率分布，如果应该复制下一个单词。
然后将这三个概率分布组合起来，得到P(yt|y<t, X, vY)，从而生成响应中的下一个单词。
Experiments and Results
数据集： EMNLP dialog dataset 、ICLR dialog dataset
评估指标： 合适度（Appr.）和丰富度（Infor.）
基准模型：
表2：两个数据集上自动评估的结果
表3：两个数据集上人工评估的结果
表4：在EMNLP电影对话数据集上的模型简化测试结果
References
- Rajarshi Das, Shehzaad Dhuliawala, Manzil Zaheer, Luke Vilnis, Ishan Durugkar, Akshay Krishnamurthy, Alex Smola, and Andrew McCallum. 2018. Go for a walk and arrive at the answer: reasoning over paths in knowledge bases using reinforcement learning. In Proceedings of ICLR, pages 1–18.
- Rajarshi Das, Manzil Zaheer, Siva Reddy, and Andrew McCallum. 2017b. Question answering on knowledge bases and text using universal schema and memory networks. In Proceedings of ACL, pages 358–365.