DIEN模型介紹

DIEN介紹

在CTR預估中，捕捉用戶行爲背後隱式的興趣是非常重要的，而且因爲外部環境和用戶心智的變化，用戶的興趣會隨着時間不斷演化。
傳統的CTR預估把用戶行爲直接表示爲興趣，缺少在具體行爲背後的隱式興趣，而且很少有工作考慮興趣的演化。
DIEN設計了一個興趣抽取層捕捉了用戶歷史行爲的興趣，在這層中提出了一個輔助loss來監督每一步的興趣抽取。因爲用戶興趣是多樣的，提出了一個興趣演化層去捕捉和當前物品相關的演化過程。並且把注意力機制很巧妙的嵌入了序列結構當中。

興趣抽取層

採用GRU對用戶的行爲信息背後的隱式興趣進行建模.

輔助loss

ht只能捕捉行爲之間的關聯，並不能有效地表示興趣。Target label僅僅包含最終興趣的預測值，但是歷史的隱狀態ht無法獲得有效的監督。
如我們所知，每一步的興趣狀態會直接引導下一步的行爲。所以DIEN提出了輔助loss，用bt+1去監督興趣狀態ht。除了用真實的下個行爲作爲正樣本，也在非行爲樣本中進行了負採樣。也就有N個行爲序列的pair對
輔助loss如下：

最終loss爲：

興趣演化層

因爲內部意識和外部環境的影響，用戶不同的興趣隨着時間不斷變化。用衣服作爲例子，隨着潮流和用戶口味的變化，用戶對衣服的偏好也在變化。這種變化會直接影響候選集合的CTR預估分數。這樣做的優點有兩個：

1. 可以爲最終的興趣表示提供更多相關的歷史信息。
2. 跟隨興趣演化趨勢預估CTR會更好。
   興趣在演化過程中有兩個特徵：
3. 由於興趣的多樣性，興趣會偏移。比如一段時間看書，一段時間看衣服。
4. 儘管興趣會互相影響， 每一種興趣有它自己的演化過程。但我們僅僅關係和當前物品相關的興趣演化過程。
   在第一階段，我們已經獲取了用戶的隱式興趣表達，爲了分析用戶興趣演化的特性，我們結合attention機制和GRU序列學習的能力去建模用戶興趣的演化。局部attention可以加強相關興趣的影響，並減弱興趣偏移的影響。
   
   文章提出了帶attention更新門的GRU，去無縫結合attention和GRU
   
   在AUGRU中，保持了更新門的維度信息，這些決定了每個維度的重要性。基於分化的信息，用attention score去縮放更新門的所有維度，這可以讓不相關的興趣造成更少的影響。

整體模型結構圖

實驗對比

參考

Deep Interest Evolution Network for Click-Through Rate Prediction