《Collaborative Memory Network for Recommendation Systems》推薦系統之協同記憶網絡CMN

論文

0 摘要

推薦系統在使用戶在現代在線平臺中使用個性化內容方面發揮着至關重要的作用。深度學習已經徹底改變了許多研究領域，並且最近對將其應用於協同過濾（CF）的興趣激增。然而，現有方法與潛在因子模型構成了深度學習架構，忽略了一大類CF模型，鄰域或基於記憶的方法。

我們提出了協同存儲網絡（CMN），這是一種深層架構，用於統一兩類CF模型，以非線性方式利用潛在因子模型的全局結構和和鄰域模型局部結構的優勢。在Memory Networks的成功推動下，我們將記憶組件和神經注意機制融合爲鄰域組件。關聯尋址用戶和物品存儲器在記憶模塊中編碼複雜的用戶 - 物品關係與神經注意機制相結合，以學習用戶物品特定的鄰域。最後，輸出模塊利用用戶和物品記憶開發鄰域來產生排名分數。

堆疊多個記憶模塊產生更深層次的架構捕獲日益複雜的用戶 - 物品關係。而且，我們表明CMN組件，記憶網絡和三類CF模型之間的緊密聯繫。綜合實驗結果證明了CMN對三個公開的有效數據集的表現優於競爭基準。注意力量的定性可視化提供了對模型的洞察力推薦過程並建議存在更高階互動。

1 引言

CF模型可以分爲3類。

基於鄰域的方法：包含基於物品的和基於用戶的，該方法根據用戶的歷史行爲，計算物品與用戶之間的相似度來進行top-k推薦，只使用了局部的結構，而忽略了很多全局的信息。
基於隱向量的方法：常用的就是矩陣分解及其變體。將用戶與物品表示成一個大小爲nm的評分評分矩陣，由於評分矩陣是稀疏的，可以將其轉換成nk的用戶矩陣與k*m的物品矩陣相乘。這種做法雖然考慮了全局的信息，但是忽略了一些比較強的局部聯繫。
混合模型：對上述兩個模型的改進，常用的有因子分解機和SVD++方法。

在使用CF模型推薦時，我們通常需要關注兩點：

1. 需要考慮全局的信息，充分利用整個評分矩陣。
2. 需要考慮局部的信息，考慮用戶或者物品之間的相似性。相似性高的用戶或者物品給予更高的權重。

作者提出了一種混合模型，該模型利用記憶網絡和注意力機制用於具有隱式反饋的協同過濾。

記憶組件允許讀寫操作來編碼內部存儲中複雜的用戶和物品關係。 關聯尋址方案充當最近鄰域模型，基於自適應用戶物品狀態來發現語義上類似的用戶。

神經注意機制對具有相似偏好的用戶的特定子集施加更高權重。

最後，根據局部信息與全局信息之間的非線性變換計算排名分數。

2 COLLABORATIVE MEMORY NETWORK

2.1 User Embedding

對於預測用戶$u$對於物品i的評分。我們首先會得到歷史上所有跟物品i有反饋的用戶集合，我們稱作$N(i)$。接下來，我們要計算目標用戶$u$和$N(i)$中每個用戶的相關性，基於公式(1)：

2.2 Neighborhood Attention

通過一個softmax操作轉換爲和爲1的權重向量，參考公式（2）

根據（2）得到的權重向量，通過公式（3）可以得到輸出向量：

2.3 Output Module

根據公式（4）計算用戶$u$對物品$i$的評分

括號中的第一項是用戶的記憶$m_u$和物品的記憶$e_i$進行的 element-wise 相乘操作，這相當於矩陣分解的思想，即考慮了全局的信息。第二項相當於是按照基於鄰域的思路得到的一個輸出向量，即考慮了局部的相關用戶的信息。最終經過激活函數$φ$和輸出層得到最終的預測評分。

2.4 Multiple Hops

CMN模型可以擴展爲多層結構。在每一層，記憶是不變的，變化的主要是權重向量。每一層的權重向量計算公式如（6）

其中，$z^0_{ui}=m_u + e_i$

2.5 Parameter Estimation

採取pair-wise的方式，訓練時每次輸入一個正樣本得到一個評分，輸入一個負樣本得到一個評分，我們希望正樣本的得分遠大於負樣本的得分。這種形式我們稱爲Bayesian Personalized Ranking (BPR) optimization criterion，見公式（7）

其中，$\sigma(x) = 1 / (1 + exp(-x))$

貢獻

1） 基於記憶網絡的成功經驗，提出了一種解決隱式協同過濾問題的協同記憶網絡(CMN)。CMN增強了外部記憶和神經注意力機制。記憶模塊的關聯尋址方案作爲識別相似用戶的最近鄰模型。該注意力機制根據特定的用戶和物品學習用戶鄰域的自適應非線性加權。輸出模塊利用自適應鄰域狀態與用戶、物品記憶之間的非線性相互作用，推導出推薦值。

2）揭示了CMN與兩類重要的協同過濾模型之間的聯繫：隱含因子模型和基於鄰域的相似度模型。進一步，我們揭示了非線性積分融合兩種模型的優點，得到了一個混合模型。

3）在三個公共數據集上的綜合實驗證明了CMN在七個對比基線上的有效性。多個實驗配置證實了記憶模塊的額外好處。

4）注意力權重的定性可視化提供了對記憶組件的深入瞭解，爲更深層次的體系結構捕獲更高階的複雜交互提供了支持證據。

參考：

論文原文：https://arxiv.org/pdf/1804.10862.pdf
代碼：https://github.com/tebesu/CollaborativeMemoryNetwork
博客：https://www.cnblogs.com/shenxiaolin/p/10610997.html