論文筆記整理：張傲，天津大學碩士。
Knowledge Graph Grounded Goal Planning for Open-Domain Conversation Generation
來源：哈工大SCIR
動機
讓機器生成有內容並且主題連貫的多輪開放域對話，是人工智能公認的關鍵任務之一。針對這一任務，研究人員嘗試了一些基於端到端的生成模型，但模型生成的回覆內容豐富性較低。有效聊天話題管理技術的實現目前主要面臨兩個挑戰，1. 高層級對話目標（Gonversational Goal，聊天話題）序列的規劃，其困難在於對話系統既要保持對話主題的連貫性，也要兼顧用戶的興趣，以免機器單方面的自說自話；2. 如何基於一個對話目標生成內容豐富的深入對話，此技術可以支持許多實際的對話應用場景，例如多個知識點的持續推薦、某個物品的推薦等。
爲了解決以上兩個問題，本文中提出了一個基於知識圖譜的層次化強化學習框架（KnowHRL），進行多粒度回覆指導信息的選擇。
亮點
KnowHRL的亮點主要包括：
（1）該工作首次將多輪開放域對話拆解爲兩個子任務，即對話目標序列的規劃及給定對話目標的深入對話；
（2）藉助於知識圖譜，該工作爲對話策略（Dialog Policy）學習引入了顯示的、可解釋的對話狀態與動作，不僅便於設計對話目標相關的Reward因子，還可使用對話目標以及細粒度話題指導回覆生成；
（3）實驗結果驗證了KnowHRL模型在多個指標下的有效性，包括話題連貫性、用戶興趣一致性、知識準確率等；
概念及模型
KnowHRL是一個基於知識的三層強化學習模型。具體來說，對於第一個子任務，上層策略學習遍歷知識圖（KG），以規劃顯式目標序列，從而在對話一致性、主題一致性與用戶興趣之間取得良好平衡。對於第二個子任務，中間層策略和下層策略協同工作，藉助目標完成機制，圍繞給定話題的同用戶進行深入聊天。
KnowHRL具體由三層決策模塊構成：
上層決策模塊是第一個多層感知網絡，負責通過在知識圖譜中選取實體類節點，以規劃一個主題連貫、多樣、可持續的聊天話題序列（即圖譜中的實體節點）。考慮到用戶興趣的建模，研究人員在 RL Reward中添加了回覆句與用戶話題一致性的度量因素。Combiner：多個成分利用 component-level attention 進行加權融合。
中層決策模塊是第二個多層感知網絡，負責從實體節點的鄰居中選取一個節點（通常爲實體屬性），作爲細粒度子話題。由於將對話目標是否完成形式化爲SMDP中的Option，本文設計了另外一個模型，可以在中層Policy的每一步決策之後，都去判斷當前對話目標是否完成。
下層決策模塊是第三個多層感知網絡，負責選取一個回覆向量
RL Reward設計：
針對上層決策模塊，本文中提出了五個因子，包括對話目標序列的主題連貫性、對話目標與用戶話題的一致性、圍繞當前對話目標的對話輪數、當前對話目標的可持續性（實體節點的Pagerank）以及來自中層決策模塊的Reward打分。
針對中層決策模塊，本文中設計了兩個因子，一個是話題內的連貫性，另一個是來自下層決策模塊的Reward打分。
針對下層決策模塊，本文中提出了三個因子，包括回覆句的相關性、回覆句的信息豐富度以及回覆句中是否提及了中層決策模塊選擇的細粒度話題（即實體屬性名）。
實驗
實驗設置
數據集：DuConv數據集包含30k對話Session，其中對話輪數爲120k。本文將數據切分爲訓練集（100k輪對話）、開發集（10k 輪對話）以及測試集（10k輪對話）。該數據還提供了電影、明星領域的知識圖譜，由人工進行標註，每個對話Session最終需要引導到一個預先給定的實體，並且對話需要圍繞知識圖譜中的相應知識進行。
Baseline模型：1. CCM：基於圖注意力機制的知識對話模型；2. CCM+LaRL：本文對一個基於隱變量以及RL的對話模型（LaRL）進行了改進，使用了CCM中的兩個圖注意力機制使得LaRL可以充分利用知識圖譜。
評估指標：主題間連貫性（Inter-topic Coherence）、主題內連貫性（Intra-topic Coherence）、用戶興趣一致性（User Interest Consistency）、知識準確率等四個人工指標，同時使用Distinct指標評估回覆多樣性。
實驗結果
實驗樣例
總結
本文中提出了一個基於知識圖譜的層次化強化學習框架，該框架展示瞭如何基於知識圖譜進行層次化的話題內容規劃，從而進一步輔助聊天話題管理以及回覆生成。在公開數據集上的實驗表明，文中提出的方案在主題連貫性、用戶興趣一致性、知識準確率等指標上大幅超越基線。未來可能的改進工作是提升知識圖譜的內容覆蓋，例如可以在圖譜中引入開放域對話的內容。
OpenKG
開放知識圖譜（簡稱 OpenKG）旨在促進中文知識圖譜數據的開放與互聯，促進知識圖譜和語義技術的普及和廣泛應用。
點擊閱讀原文，進入 OpenKG 博客。