聊天機器人/對話生成

在這裏記錄一下聊天機器人方面的瞭解。算是一個Survey吧。
聊天機器人有兩種技術方向：
1. 基於檢索
2. 基於生成模型

術語

Generation based automatic chatting system
Neural Response Generation(NRG)
Generative Adversarial Networks(GAN)

閱讀列表

基於對抗學習的生成式對話模型的堅實第一步 ——始於直觀思維的曲折探索
這篇文章介紹的是 “Neural Response Generation via GAN with an Approximate Embedding Layer”這篇論文的工作，現在還沒發表，以後發表了找來看看。
第一次看到利用對抗網絡來生成對話。

• Safe Response: 如何解決萬金油一樣的回答？
  像這樣的回答：“我也覺得”或“我也是這麼認爲的”
  有時間試試在訓練數據中將這樣的回答去掉。
  這裏涉及到聊天機器人一個很重要的目標：diversity。
  

聊天數據中詞語在句子不同位置的概率分佈具有非常明顯的長尾特性，這一特性通常在句子開頭幾個詞語上體現得尤爲明顯，例如，相當大比例的聊天回覆是以“我”“也”作爲開頭的句子。