目标导向的视觉对话是“视觉-语言”交叉领域中一个较新的任务，它要求机器能通过多轮对话完成视觉相关的特定目标。该任务兼具研究意义与应用价值。
日前，北京邮电大学王小捷教授团队与美团AI平台NLP中心团队合作，在目标导向的视觉对话任务上的研究论文《Answer-Driven Visual State Estimator for Goal-Oriented Visual Dialogue-commentCZ》被国际多媒体领域顶级会议ACM MM2020录用。
该论文分享了在目标导向视觉对话中的最新进展，即提出了一种响应驱动的视觉状态估计器（Answer-Driven Visual State Estimator，ADVSE）用于融合视觉对话中的对话历史信息和图片信息，其中的聚焦注意力机制（Answer-Driven Focusing Attention，ADFA）能有效强化响应信息，条件视觉信息融合机制（Conditional Visual Information Fusion，CVIF）用于自适应选择全局和差异信息。该估计器不仅可以用于生成问题，还可以用于回答问题。在视觉对话的国际公开数据集GuessWhat?!上的实验结果表明，该模型在问题生成和回答上都取得了当前的领先水平。
原文链接:【https://www.infoq.cn/article/Qw3ztbFTMVmvDAmQ2BTy】。未经作者许可，禁止转载。