文章鏈接:https://arxiv.org/abs/1907.10371
code:https://github.com/Walleclipse/AGPC
本文作者提出一種基於用戶個性化信息來生成評論的方法;個性化信息如下:
方法如模型結構圖:
- 首先是基於seq2seq模型+attention機制,encoder和decoder都採用lstm;
- 應用了一種基於門記憶的特徵embedding; 將用戶的個性化特徵屬性F={f1,…,fk}、經過一個全連接層,得到向量表示u。u可以看作是user feature embedding,表明用戶的個人特徵。如果user feature embedding是靜態的,在decode過程中會影響生成回覆的語法性。爲了解決這個問題,設計了一個gated memory來動態地表達用戶的個人特徵。這個embedding隨着decoder進行不斷衰減;
- 基於博客和用戶個人描述的聯合attention;
- 通過將第3點的信息和第2點的用戶個性化信息一起作爲decoder隱藏狀態更新的輸入,來結合persona信息,進而影響decode過程。這種影響是隱性的,爲了更明確地利用用戶信息來指導word的生成,將用戶信息直接作爲輸出層的輸入;
1. 門機制的加入,動態的輸入給decoder;值得學習;
2. 需要把用戶各種個性化信息,屬性知識進行不同的編碼處理,並用co-attention聯合在一起的處理值得學習借鑑;