一、基本信息
論文題目：《NAIS: Neural Attentive Item Similarity Model for Recommendation》
發表時間：IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, VOL. 30, NO. 12, DECEMBER 2018
論文作者：
二、摘要
項目對項目協同過濾（又稱基於項目的協同過濾）長期以來被用於在工業環境中構建推薦系統，因爲它具有可解釋性和實時個性化的效率。它構建了一個用戶的profile作爲她的歷史互動項目，推薦類似於用戶的profie的新項目。因此，基於項目的CF方法的關鍵在於對項目相似性的估計。早期的方法使用諸如cosine相似度和pearson coefficient等統計指標來估計項目相似度，因爲它們缺乏針對推薦任務的定製優化，因此不太準確。近年來，有幾項工作試圖從數據中學習項目相似性，將相似性表示爲基礎模型，並通過優化建議感知目標函數估計模型參數。在廣泛應用淺線性模型學習項目相似性的同時，探索基於項目的CF的非線性神經網絡模型的工作相對較少，本文提出了一種基於項目的CF的神經網絡模型，稱爲神經注意項目相似性模型（NAIS），設計NAIS的關鍵是一個注意力網絡，它能夠區分用戶檔案中哪些歷史項目對預測更重要。與目前最先進的基於項目的CF方法因子項相似模型（Fism）[1]相比，我們的NAIS具有更強的表示能力，並且只需注意網絡帶來的一點點附加參數。對兩個公共基準進行的大量實驗證明了NAIS的有效性。這項工作是爲基於項目的CF設計神經網絡模型的第一次嘗試，爲神經推薦系統的未來發展開闢了新的研究可能性。
三、主要內容與工作
1、FISM模型是目前最先進的推薦模型之一，它的缺點是用戶所有交互過的項目對預測的貢獻度相同，這顯然與實際情況不符。在這項工作中，我們基於FISM提出了一個增強的項目相似性模型，改進出在於區分了交互項目對用戶偏好的貢獻的不同重要性。
2、我們的一個關鍵發現是，由於用戶歷史記錄長度的巨大差異，標準關注機制無法從用戶歷史數據中學習。爲了解決這個問題，我們通過平滑用戶歷史來調整注意力設計。我們在兩個公共基準上進行了全面的實驗，以評估Top-K建議，證明我們的NAIS優於FISM，在NDCG方面相對提高了4.5%，並實現了競爭力的表現。爲了便於研究界對NAIS進行驗證和進一步的開發，我們在：https://github.com/aaronheee/neuric-consident-item-collagency-model中發佈了我們的實現代碼。
3、However, such heuristic-based approaches for estimating item similarities lack optimization tailored for recommendation, and thus may yield suboptimal performance. In what follows, we introduce learning-based methods which aim to boost the accuracy of item-based CF by adaptively learning item simi-larities from data.
4、SLIM模型
5、SLIM模型的兩個缺點，一個是線下訓練S時間複雜度爲I的平方。其次，它只能學習兩個共同被評級的項目之間的相似性，但未能捕獲項目之間的可傳遞關係。爲了解決該限制，之後的工作提出了FISM，通過embedding後的低維向量來計算兩項目之間的相似性。具體的FISM的模型如下：
6、本文的NAIS模型
因爲softmax方差太大，修正後：
四、總結
在這項工作中，我們發展了神經網絡方法的項目到項目協同過濾。我們的關鍵論點是，用戶檔案的歷史項目對預測用戶對某個項目的偏好的貢獻並不相等。爲了解決這一問題，我們首先從表象學習的角度重新審視了FISM方法，然後逐步設計了幾種注意機制，以增強其表象能力。我們發現，傳統的神經注意網絡設計[15]、[16]、[17]、[19]在基於項目的CF中效果不佳，因爲用戶歷史長度存在較大差異。我們提出了一個簡單而有效的SoftMax變體來解決用戶行爲的大方差問題。我們進行了實證研究，以驗證我們的NAIS方法的有效性。實驗結果表明，NAIS顯著優於FISM，實現了項目推薦任務的競爭力。
據我們所知，這是第一個爲基於項目的CF設計神經網絡模型的工作，爲神經推薦模型的未來發展開闢了新的研究可能性。在未來，我們特別有興趣探索NAIS方法的深層架構。目前，我們的NAIS設計考慮了成對的相似性，即項目之間的二階交互，因爲考慮了保持模型在在線個性化中的簡單性。這主要是出於推薦方法的實際考慮。爲了進一步提高推薦精度，可以通過在嵌入層上方放置完全連接的層或卷積層來擴展NAI，這已被證明有助於通過建模高階和非線性特徵交互[40]。從技術上講，另一個值得探索的方向是將深部神經網絡與基於圖的方法[42]、[43]結合起來，這種方法具有獨特的優勢，也被廣泛應用於排名。此外，我們有興趣探索最近基於項目的CF的對抗性個性化排名學習，以研究可能的性能改進[37]。最後，我們將研究推薦系統的可解釋性，這是最近一個很有前途的方向[28]、[41]、[44]、[45]，並且可以通過引入基於項目的CF方法的關注網絡來促進。