（譯）序列推薦系統：挑戰，進程與發展

（譯）序列推薦系統：挑戰，進程與發展

摘要

       在近幾年，序列推薦系統（SRSs）的新興主題已經吸引了越來越多的注意。傳統的推薦系統使用協同過濾和基於內容的過濾，與之不同的是，序列推薦系統試圖去理解和構建一個序列模型，這個序列中包括了使用者行爲習慣，用戶與商品的交互，用戶偏好的發展，商品流行的時間。序列推薦系統包含了以上幾個方面，以便更加精確地描述用戶的信息、意圖和目標以及商品的消費趨勢等特徵，從而進行更加準確、個性化和動態地推薦。在本文中，我們對序列推薦系統進行了一次系統的回顧。首先我們展示了序列推薦系統的特點，接着總結並歸納這個研究領域的關鍵挑戰，然後是這個主題的相應研究進程，這其中包括大量近期相關的典型發展情況。最後，我們討論了在這個充滿活力的領域裏，我們這個研究方向的重要性。

1.簡介

       序列推薦系統推薦那些多半對用戶來說是有趣的商品，其方法是在一個序列中通過建立用戶-商品交互（例如：在一個網絡平臺上瀏覽或購買商品）的依賴關係的模型。傳統推薦系統中，包含基於內容的推薦系統和協同過濾式的推薦系統，以靜態方法構造用戶-商品間的交互並且使其只能捕獲用戶的一般性偏好。相反，順序推薦系統將用戶-商品的交互當做一種動態的序列並且將這個序列的依賴關係變成用於捕獲當前和最近的用戶偏好以便更加精確地推薦[Chen et al.，2018]。爲了強化對序列推薦系統的理解，接下來我們展示序列推薦系統的動機與形式化。

動機：爲什麼是序列推薦系統？

       用戶-商品的交互本質上是順序依賴的。在現實世界中，用戶的購物行爲通常發生在一個序列中，而不是以一種孤立的方式發生。將Jimmy的購物事件作爲例子展示在圖1中Jimmy放假之前，他定好了飛機、賓館並且成功租了一輛車，他的下一步行動多半是自駕去一個有吸引力的景點進行參觀。在這個樣例中，賓館多半距離航班目的地的機場比較近，而租車的地點應該與這個賓館也不遠。在這個方案中，Jimmy的每次下一步的行爲均取決於先前的那些行爲，因此這四步消費行爲都是順序依賴。同樣的，在Tina的樣例中我們也能看到這種順序依賴。這種順序依賴通常存在於交易數據中，但是不能被傳統基於內容的推薦系統或協同過濾式的推薦系統很好地捕獲[Kang et al.2018]，那實質上成爲序列推薦系統的發展動機。

 

圖1 兩個序列推薦系統的例子：（1）Jimmy定了一張機票、一個旅館並租了一輛車，他下一步的行動會是什麼？（2）Tina買了一個手機、一個手錶和一副耳機後，她接下來會買什麼？

       用戶的喜好和商品的流行度隨着時間的推移是動態的而非靜態的。事實上，一個用戶的喜好和品位可能會隨着時間的推移而改變。例如，很多過去是iPhone手機粉絲的年輕人，現在已經選擇成爲華爲、三星等手機制造商的粉絲，近幾年來iPhone的流行度已經下降了。這種動態對於精確定位一個用戶或爲了更加準確地推薦商品來說有十分重大的意義，並且它們只能通過序列推薦系統被捕獲。

       用戶-商品交互通常發生於特定的順序上下文中。不同的上下文通常導致不同的用戶與商品間的交互，然而，這經常被像協同過濾這樣的傳統推薦系統所忽視。相反，一個順序推薦系統將先前的順序交互作爲上下文用來預測哪些商品在不久的未來將被交互。因此，通過防止推薦一些與已經選擇過相同或相似的商品，是推薦結果多樣化是簡單的。

形式化：順序推薦系統是什麼？

通常來說，一個順序推薦系統將用戶-商品的交互順序作爲輸入，並在不久後的未來通過在用戶-商品間的交互順序中嵌入一個順序的依賴關係來預測以後用戶與商品間的交互。更特殊的是，給定一個用戶-商品間的交互順序，那麼一個推薦列表中排在頂端的候選商品是通過效用函數最大化（例如：似然函數）生成的。

R = arg max f(S)                 (1)

公式中的f是效用函數中用於輸出對候選商品排序的分數，它可能有多種形式，像條件概率[Wang et al.2018]或者交互值[Huang et al.2018]。S={i1,i2,…,i|s|}是一個用戶-商品交互序列，其中這裏的每一個交互ij=<u,a,v>都包含一個代表用戶的u，代表用戶行爲的a和一個代表對應商品的v。在一些例子中，用戶和商品是與一些元數據相聯繫的（例如，人口統計或特徵），儘管這些行爲可能有不同的類型（例如，點擊，添加到購物車，購買）併發生在多種上下文的情況下（例如，時間，地點，天氣）。輸出R是通過排名分數提供的商品的列表。

       不同於一般的序列模型，在這裏的序列結構是簡單的，因爲這裏的一個序列經常是由一些原子元素構成（例如，真實值，基因），序列推薦系統中的一些學習任務多是更具挑戰的，應爲有更多複雜的序列結構（例如，每一個元素是一個三元組）。這激勵我們去系統地分析序列推薦系統中的這種挑戰並總結相應的進程。

貢獻

本項工作的主要貢獻總結如下：

l  我們系統分析了序列推薦系統中由不同的數據特徵引起的大量關鍵挑戰，並且從數據驅動的角度對他們進行歸類，這就提供了一種新的觀點去更加深刻的理解序列推薦系統的特點。

l  我們在技術方面通過對最先進的技術進行系統歸類，然後總結了序列推薦系統當前研究的進程。

l  我們分享並討論了序列推薦系統的一些前景，以便供社會各界參考。

2.數據特徵和挑戰

在現實世界裏，由於用戶購物行爲、商品特徵和特定購物環境的多樣性和複雜性，生成的用戶-商品交互數據經常有不同的特點。對於序列推薦系統來說，不同的數據特點一般會帶來不同的挑戰，這也就要求有不同的解決方案，正如表1所示。在接下來的五個小節中，我們具體討論了序列推薦系統中由不同的數據特點引起的五個關鍵的挑戰。在每一個小節中，我們首先介紹特定數據的特點，然後說明響應的挑戰。

2.1 長用戶-商品交互序列的處理

       一個長用戶-商品交互序列包含相當數量的用戶-商品的交互。因此，它有很多更好的機會對內部多個交互具有更復雜和更加全面性的依賴關係，這使得序列推薦更具挑戰性。具體來說，兩個最重要的挑戰是學習高階順序依賴關係和學習長期順序依賴關係，以下將分別介紹。

學習高階順序依賴關係

高階順序依賴關係通常存在於用戶-商品交互序列中，尤其是長序列中。與低階順序依賴相比，這種方式相當簡單，而且它能輕易地通過馬爾科夫模型[Garcin et.al.，2013]或因子分解機[Rendel et.at.，2010；Hidasi and Tikk，2016]建模。對於被捕獲，因爲他們複雜的多水平級聯依賴關係交叉多用戶-商品交互，所以高階順序依賴關係是更加複雜和困難的。到目前爲止，已經有兩種基本方法在一定程度上能解決順序推薦系統中的這個挑戰：高階馬爾科夫模型[He and McAuley，2016]和循環神經網絡[Hidasi et al.，2016a]，如表1所示。然而，每一種方法都有自身的限制，例如，包含在高階馬爾科夫模型中的歷史狀態是相當有限的，因爲要被估計的模型參數的數量隨着階數的增長呈現指數型增長，而循環神經網絡中的超強假設限制了循環神經網絡在序列中應用的靈活性。這兩種方法中的技術進展將在第3.1節和3.3節中分別進行詳細的介紹。

 

表1 序列推薦系統中通過數據特點驅動的挑戰的總結

學習長期順序依賴關係

長期順序依賴關係指的是在一個序列中相互之間相距很遠的交互間的依賴關係。例如，給定一個購物序列S1 = {玫瑰花，雞蛋，麪包，一瓶牛奶，一個花瓶}，這包含了Janet成功購買的一籃子商品。顯而易見，花瓶和玫瑰花是高依賴關係，即使他們之間的相距很遠。這種情況在現實中並不少見，因爲用戶的行爲通常是高度不確定的，他們可能會把任何物品放進購物車中。爲了解決這種關鍵的問題，基於長短時記憶和基於門循環單元的循環神經網絡已經被應用於順序推薦系統中了，這種情況下就能捕獲序列中用戶-商品的交互間的長期以來關係。然而，對於用循環神經網絡模型通過過度假設（任何鄰近商品在序列中都是高依賴關係）生成錯誤依賴關係是比較容易發生的。在上面Janet購物的序列中，循環神經網絡通常是通過假設牛奶和花瓶是有依賴關係的來構造S1 的，這是由於他們之間的距離很近，但是實際上是不相關的。爲了解決這個問題，還做了一些其他的努力，在一個統一的模型中，通過利用混合模型的優勢，結合不同時間範圍內的多個子模型去捕獲短期和長期的依賴關係[Tang et al.，2019]。總的來說，這項工作能夠解決的問題相當有限，怒要更多的調查去跨越這一個鴻溝。循環神經網絡和混合模型中的技術進展將在3.3節中介紹。

2.2 使用靈活的排序處理用戶-商品間的交互

在現實世界中，一些用戶-商品間的交互序列是被嚴格限制的，儘管其他方面可能不是這樣，也就是說在一個序列中不是所有的鄰近的交互都是順序依賴的。例如，在一個購物序列S2  = {牛奶，黃油，麪粉}中，牛奶或黃油哪一個首先被買是沒有關係的，但是這些商品的購買導致了接下來去買麪粉的概率會很高；也就是說牛奶和黃油之間沒有嚴格的順序，但是麪粉的順序會取決於它們的組合。因此，對於一個靈活排序的序列，他能更好地捕獲集合順序依賴項，而不是點式的，因爲前者是模糊的，對用戶-商品間的交互沒有嚴格的順序。因此，如何在靈活排序的假設下去捕獲集合順序依賴項成爲了使用靈活排序處理用戶-商品間的交互這一問題的關鍵挑戰。

儘管這個問題很普遍也很重要，但是序列推薦系統的報道學習還沒有引起廣泛的關注。現有的順序推薦系統建立在馬爾科夫鏈上、因子分解機或只能處理點式依賴管的循環神經網絡中，但那並不擅長構建和捕獲集合依賴項。僅有很少的工作已經開始試圖去解決這樣的挑戰，通過利用卷積神經網絡在圖片處理中的長處在不同領域中去構造本地和全局的依賴關係。例如，在交互序列中嵌入矩陣。這種基於卷積神經網絡的序列推薦系統的技術發展將在3.3節中介紹。

2.3 處理帶有噪音的用戶-商品交互序列

由於用戶購物行爲的不確定性，用戶-商品間的交互順序大多是不乾淨的，這意味着這裏邊包含了一些噪音和一些會對預測下一步產生干擾的不相關的交互。在實踐中，一個用戶-商品交互的序列的一些歷史交互信息與預測下一步的交互有着密切的關係，其他的內容大多就是弱相關甚至是不相關的。例如，在另一個購物序列S3 = {燻肉，玫瑰，雞蛋，麪包}中這裏的‘玫瑰’很有可能是噪音元素，因爲它與其他的元素區別很大，與他們間幾乎不相關。下一個元素最大概率應該是一瓶牛奶，它的順序僅取決於燻肉、雞蛋和麪包，即使它與玫瑰沒有關係。序列推薦系統中的另一個關鍵挑戰是去認真而且有區別的學習順序依賴關係，而不是帶有噪聲的用戶-商品間的交互順序。

有不少工作試圖通過利用注意力模型或記憶網絡去解決這種典型問題，這些記憶網絡可以從那些真正與下一步交互預測相關的信息中有選擇地保留和利用信息。這些解決方法的技術發展將在3.3節中進行介紹。

2.4 處理帶有異構關係的用戶-商品交互序列

       異構關係指的是不同類型的關係，這種關係傳遞不同種類的信息，在序列推薦系統中應該進行不同的建模。例如，在一個用戶-商品交互序列中，除了在用戶-商品交互中基於普遍發生的順序依賴關係之外，就其特點而言，還有基於交互項間的相似度的關係。再者而言，儘管這都是順序依賴關係，但長期順序依賴關係與短期順序依賴關係有很大的不同，所以他們不能以同樣的方式進行建模。因此，序列推薦系統中的另一個關鍵挑戰是當處理用戶-商品交互序列與異構關係的聯繫時，如何高效的捕獲這些異構關係然後分別嵌入到用戶-商品間的交互序列中去，並且使它們一起工作，以便可以進行連續的推薦。

       文獻中對於解決存在於序列推薦系統裏的這個問題的記錄是非常有限的。離完成這個挑戰還很遙遠，混合模型[Kang et al.，2018；Tang et at.，2019；Wang et at.，2019]是僅有的解決方案。混合模型集成了通過不同子模型建模得到的不同類型的關係，這可以讓它們共同生成推薦序列。這項技術的進展將在3.3節中進行介紹。

2.5 處理帶有層次結構的用戶-商品交互序列

       通常來說，主要有兩種層次結構，這兩種層次結構大多與用戶-商品交互順序有關：（1）元數據和用戶-商品間交互的異構結構。具體來說，用戶的人口統計數據在一定程度上能決定用戶的喜好，也能進一步影響他們與商品間的交互。類似的，商品的特徵經常在用戶是否會喜歡或與用戶是否會相互影響等方面有一些影響[Hidasi et al., 2016b]；（2）子序列和用戶-商品間交互的層次結構。更具體的說是在序列推薦系統中，一個用戶-商品間的交互包含了多個子序列（也被稱爲會話）。在一些例子裏，除了當前子序列優先交互之外，歷史子序列也可能影響在當前子序列中預測下一步用戶-商品間的交互[Ying et al., 2018]。因此在序列推薦系統中一個更關鍵的挑戰是如何將嵌入在這兩種層次結構中的層次依賴關係合併到順序依賴關係中，然後學習生成更加精確地序列建議。

     儘管不少工作已經開始嘗試在主要方面解決這個問題，但在其他的方面還是很少有研究。一方面，考慮到商品特徵在用戶-商品間交互的影響， 一系列針對序列推薦系統的特徵豐富的自然模型已經被提出了，包括[Hidasi et al., 2016b]。相比較而言，用戶的人口統計數據的影響在現有的序列推薦系統中已經很少被考慮，應該向這個方向作更多的努力。另一方面，包含層次嵌入模型[Wang et al., 2015]、層次循環神經網絡[Quadranaetal.,2017]和層次注意力網絡[Ying et al., 2018]在內的一些層次模型已經被設計用於合併歷史子序列到序列依賴關係中，以便建立更加權威的序列推薦系統。對於解決這個問題的技術發展將在3.2節和3.3節中介紹。

3 研究進展

       爲了概述序列推薦系統的技術進展，並給出更多對於前述挑戰解決方法的技術細節，我們在此節中從技術角度總結並簡單討論了序列推薦系統中的研究進展。特別說明的是，我們首先從技術角度對序列推薦系統的所有方法進行了分類展示，然後簡單強調了每一個類別中方法的當前進展。

       序列推薦系統中方法的類別如圖2所示。從技術角度來說我們觀察到對於序列推薦系統的多種方法首先被分爲了11個原子類（例如，序列模式挖掘，因子分解機，循環神經網絡）。所有這些院子類別將進一步被分爲三個大類，包括傳統序列模型，潛在表徵模型，深度神經網絡模型。一般來說，這三個類的順序是從簡單到複雜來連續說明的。接下來我們將對這三個類別的研究進展進行逐一總結。

 

圖2 從技術角度對序列推薦系統方法的分類

3.1 序列推薦系統的傳統序列模型

       包含序列模式挖掘和馬爾可夫鏈模型在內的傳統序列模型是比較簡單直觀的解決方式，這種方式通過利用序列推薦系統的自然優勢在一個序列中對用戶-商品間的交互建立順序依賴關係。

序列模式挖掘。基於序列模式的推薦系統首先在序列數據上挖掘頻繁模式，接着利用挖掘出的模式去指導後續的推薦。儘管簡單且直接，但是序列模式挖掘通常會生成大量的冗餘模式，那增加了時間和空間的不必要的消耗。另一個明顯的缺點是它經常丟棄罕見的模式和由於頻繁約束的元素，這就限制了對流行的商品推薦結果。因此，出了一篇有代表性的著作[Yap et al., 2012]以外，這門課幾乎沒有報道過什麼作品了。

       馬爾可夫鏈模型。基於馬爾科夫鏈的推薦系統採用馬爾可夫鏈模型去建立序列中用戶-商品間交互的轉換，以便下一步交互的預測。根據使用技術的不同，基於馬爾科夫鏈的推薦系統被分成兩種，一種是基於基礎馬爾科夫鏈的方法，另一種是基於潛在馬爾科夫嵌入的方法。前一種方法直接計算基於顯示觀測到的轉換概率[Garcinetal.,2013]，儘管是後者首先將馬爾科夫鏈嵌入到歐式空間，並且計算了基於歐式空間距離的交互間的轉換概率[Feng et al., 2015]。基於馬爾科夫鏈的推薦系統的缺點是顯而易見的，也就是說，在一方面，由於馬爾可夫假設當前的交互僅取決於一個或最近的幾個交互，所以它們只能捕獲短時依賴關係而忽略掉長時的依賴關係；另一方面，在用戶-商品交互中，它們僅能捕獲點式依賴關係而忽視掉協同依賴關係。所以，在近幾年它們在序列推薦系統中應用的越來越少。

3.2 序列推薦系統中的潛在表徵模型

       潛在表徵模型首先學習一個用戶或者商品的潛在表徵，然後利用這個學習到的潛在表徵去預測後續的用戶-商品交互。因此，更多隱性和複雜的依賴關係在一個潛在空間中被捕獲，這極大地改善了推薦系統的推薦功能。接下來，我們介紹這個類別中的兩種表徵模型。

       因子分解機。基於因子分解機的序列推薦系統通常利用矩陣因子或張量矩陣將觀察到的用戶-商品的交互分解爲潛在的用戶和商品因子以便推薦[Rendle et al., 2010; Hidasi and Tikk, 2016]。不同與協同過濾，矩陣或張量成爲的因子是由交互組成的，而不是昔日通過了初中的評估。這樣的模型是容易因觀察到的數據的稀疏性而影響的，因此無法實現理想的推薦。

       嵌入式。基於嵌入式的序列推薦系統在一個潛在空間中爲每一個用戶和商品學習一個潛在表徵，通過編碼一個序列中所有的用戶-商品的交互來給出隨後的推薦建議。尤其要說明的是，一些著作中採用將這個學習到的潛在表徵作爲神經網絡的輸入去進一步的計算用戶和商品或者用戶連續的行爲的交互值[Wang et al., 2015; 2018]，而其他的工作直接利用它們去計算像歐氏距離這樣的度量作爲交互值[He et al., 2018]。

3.3 序列推薦系統中的深度神經網絡

       深度神經網絡對於在一個序列中的不同實體間（例如，用戶，商品，交互）構建和捕獲綜合關係有自然優勢，因此在過去的幾年裏它們幾乎主導了序列推薦系統。序列推薦系統中取得的最新進展也屬於這個類別。通常來說，這個類別可以被分成兩個子類別：基於基礎深度神經網絡的序列推薦系統和基於帶有先進模型的深度神經網絡的序列推薦系統。

基礎深度神經網絡

       對於序列推薦系統來說，最常用的深度神經網絡模型是循環神經網絡，這是由於它們在序列模型中的自然優勢決定的，但它們也有缺陷。不久前卷積神經網絡和圖神經網絡也被應用於序列推薦系統，以此來彌補循環神經網絡中的不足。接下來，我們分別介紹基於三個深度神經網絡的序列推薦系統。

       基於循環神經網絡的序列推薦系統。給定一個用戶-商品交互的歷史序列，基於循環神經網絡的序列推薦系統試圖通過給定的交互建立一個序列依賴關係，以此預測接下來可能的交互。除了針對基礎循環神經網絡之外，基於長短期記憶[Wu et al., 2017]和門循環控制單元[Hidasi et al., 2016a]的循環神經網絡也被用於在一個序列中捕獲長期依賴關係。近年來，已經見證了基於循環神經網絡的序列推薦系統或者說是整個序列推薦系統的繁榮。除了基礎循環神經網絡結構，一些循環神經網絡的變體在一個序列中能捕獲更加複雜的像層級循環神經網絡[Quadrana et al., 2017]這樣的依賴關係。然而，循環神經網絡不適合序列推薦系統，這是應爲循環神經網絡在兩方面有些不足：（1）由於超強假設：在序列中任何鄰近的交互一定是依賴的，所以它很容易生成錯誤的依賴關係，或許在現實世界中並不存在這樣的例子，因爲在序列內部通常是不相關的或是雜亂的交互；（2）當忽略了協作依賴關係，它就很容易只捕獲點式的依賴關係（例如，一些交互協作會影響下一個內容）。

       基於卷積神經網絡的序列推薦系統。不同於循環神經網絡，給定一個用戶-商品交互的順序，卷積神經網絡首先將所有交互嵌入到矩陣中，接着在時間和潛在空間中將此矩陣視爲一張圖片。最後，卷積神經網絡學習這個序列模式作爲這張圖片的本地特徵，使用卷積過濾以便後續的推薦。因爲卷積神經網絡在序列的交互中沒有強序假設，並且它們學習的是圖像區域間的模式而不是交互間的，因此，基於卷積神經網絡的序列推薦系統在一定程度上能彌補上述基於循環神經網絡的序列推薦系統的缺點。然而。由於卷積神經網絡使用這種過濾有大小限制，所以基於卷積神經網絡的序列推薦系統不能高效的捕獲長期依賴關係，這就限制了它的應用。這個典型的工作有[Tang and Wang, 2018; Yuan et al., 2019]。

       基於圖神經網絡的序列推薦系統。隨着圖神經網絡的高速發展，基於圖神經網絡的序列推薦系統已經被設計，它利用圖神經網絡去建模和捕獲序列中更復雜的用戶-商品間交互的轉換。當每一個序列被映射到路徑上時，有向圖首先建立在序列數據之上，並將每一個交互作爲圖中的一個節點。然後，在圖上學習用戶或商品的嵌入，以便在整個圖中嵌入更復雜的關係[Wu et al., 2019]。這種方法充分利用了圖神經網絡的優勢，能夠捕獲結構關係數據集中複雜的關係。基於圖神經網絡的序列推薦系統已經展示了一個巨大的潛能，它能通過揭示推薦的商品和相應序列的上下文間的複雜關係，以此來提供一個可解釋的推薦。這種序列推薦系統仍然處於早期階段。

高級模型

       爲了解決基於基礎神經網絡結構的序列推薦系統的限制，一些高級模型通常與一類基本的深度神經網絡（例如，循環神經網絡，卷積神經網絡）結合在一起，以此來建立更加權威的序列推薦系統，這種推薦系統能夠解決一些特殊的挑戰。接下來，我們介紹三個常用於序列推薦系統的高級模型。

       注意力模型。注意力模型在序列推薦系統中常被用於強調序列中那些真正的相關和重要的交互，同時淡化那些與下一步交互無關的內容。它們被廣泛的合併到淺層網絡和循環神經網絡中，以便處理有噪音的交互序列。

       記憶網絡。在序列推薦系統中引入記憶網絡，通過合併外部記憶矩陣，可以直接捕獲每個歷史用戶-商品交互和下一個交互間的依賴關係。這樣的矩陣可以更顯式和動態地存儲和更新序列中的歷史交互，以提高模型的表達能力，並減少這些不相關的交互的干擾[Chenetal.,2018]。此外，一些工作還結合了一個鍵值存儲網絡，將交互項的相應知識庫信息按順序存儲和更新，以學習屬性級偏好以增強推薦[Huang et al., 2018]。通常來說，記憶網絡已經在序列推薦系統中展示了其潛能，但是還沒有被充分地研究。

       混合模型。基於混合模型的序列推薦系統結合了不同的擅長捕獲不同種類依賴關係的模型，以此來強化整個模型在捕獲多種依賴關係方面的能力，以便給出更好的推薦。一個典型的例子是[Tangetal.,2019]，它結合了分別適合於短期和長期依賴關係的不同種類的編碼器，以此去學習更加精確的序列表徵，這對序列推薦及其論證相當有效。然而，這些模型處於早期階段。

4 開放式研究方向

       近些年來，尤其是近三年裏，隨着深度學習尤其是循環神經網絡的成功，已經見證了序列推薦系統的快速發展。在本文中歸類和總結研究實踐的同時，我們也已經確定了下面討論的進一步開放式的研究方向。

       上下文感知序列推薦系統。用戶或商品所在的當前上下文可能會極大地影響用戶對商品的選擇，當提出建議時應該考慮到這一點。這在序列推薦系統甚至會更加必要，因爲隨着時間的推移，上下文可能會改變。然而，大多數現存的序列推薦系統都忽視了這個重要的方面。因此，上下文感知序列推薦系統在未來的工作中將成爲一個重要的研究方向。

       社交感知序列推薦系統。用戶生活在社會中，通過網絡或工作與各種各樣的人建立聯繫。其他人的行爲或觀點經常會極大地影響用戶的選擇。因此，在序列推薦系統中需要考慮社交的影響，這在現有的工作中經常被忽略。

       交互式序列推薦系統。在現實中大多數購物行爲都是連續的，而非獨立的事件。換句話說，這事實上是用戶和購物平臺（例如，亞馬遜）之間的序列交互。然而，現有的序列推薦系統經常忽視這樣的交互，並且它們生成的推薦在一個時間步內只生成一個行爲。如何合併用戶-賣家間的交互，並生成多時間步長的推薦是一個很有前途的研究方向。

       跨域序列推薦系統。在現實世界裏，用戶在一定時間內購買的商品通常是來自多個領域，而非單個領域。基本上都是一些來自不同領域的商品間的序列依賴關係，例如買車之後車險的購買。這種跨域序列依賴關係在大多數序列推薦系統中被忽視。因此，跨域序列推薦系統對於通過利用不同領域的信息生成的更加精確地推薦和來自不同領域的多樣的推薦是另一個比較有前途的研究方向，

5 總結

       推薦系統是人工智能在我們生活中最直接和最實用的應用之一。序列推薦系統在過去的三年到五年裏已經成爲推薦系統領域的核心，因爲它們提供了更加智能和更受喜愛的建議，以此來滿足我們日常的需求。我們希望這篇序列推薦系統的總結能爲推薦系統研究界提供一個關於挑戰、近期進展和未來方向的綜述。

致謝

       這項工作得到了澳大利亞研究委員會的部分支持，項目DP爲180102378。

參考文獻

[Chen et al., 2018] Xu Chen, Hongteng Xu, Yongfeng Zhang, and et al. Sequential recommendation with user memory networks. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, pages 108–116, 2018.

[Feng et al., 2015] Shanshan Feng, Xutao Li, Yifeng Zeng, Gao Cong, and Yeow Meng Chee. Personalized ranking metric embedding for next new poi recommendation. In Proceedingsofthe 24thInternationalJointConferenceon Artificial Intelligence, pages 2069–2075, 2015.

[Garcin et al., 2013] Florent Garcin, Christos Dimitrakakis, andBoiFaltings. Personalizednewsrecommendationwith context trees. In Proceedings of the 7th ACM Conference on Recommender Systems, pages 105–112, 2013.

[He and McAuley, 2016] Ruining He and Julian McAuley. Fusing similarity models with markov chains for sparse sequential recommendation. In Proceedings of the 16th IEEE International Conference on Data Mining, pages 191–200, 2016.

[He et al., 2018] RuiningHe,Wang-ChengKang,andJulian McAuley. Translation-based recommendation: A scalable method for modeling sequential behavior. In Proceedings ofthe27thInternationalJointConferenceonArtificialIntelligence, pages 5264–5268, 2018.

[Hidasi and Tikk, 2016] Bal´azs Hidasi and Domonkos Tikk. General factorization framework for context-aware recommendations. Data Mining and Knowledge Discovery, 30(2):342–371, 2016.

[Hidasi et al., 2016a] Bal´azs Hidasi, Alexandros Karatzoglou, and et al. Session-based recommendations with recurrentneuralnetworks. InProceedingsofthe4thInternational Conference on Learning Representations, pages 1–10, 2016.

[Hidasi et al., 2016b] Bal´azs Hidasi, Massimo Quadrana, Alexandros Karatzoglou, and Domonkos Tikk. Parallel recurrent neural network architectures for feature-rich session-based recommendations. In Proceedings of the 10th ACM Conference on Recommender Systems, pages 241–248, 2016.

[Huang et al., 2018] Jin Huang, Wayne Xin Zhao, Hongjian Dou, Ji-Rong Wen, and Edward Y Chang. Improvingsequentialrecommendationwithknowledge-enhanced memorynetworks. InProceedingsofthe41stACMSIGIR Conference on Research & Development in Information Retrieval, pages 505–514, 2018.

[Kang et al., 2018] Wang-Cheng Kang, Mengting Wan, and Julian McAuley. Recommendation through mixtures of heterogeneous item relationships. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, pages 1143–1152, 2018.

[Quadrana et al., 2017] Massimo Quadrana, Alexandros Karatzoglou, and et al. Personalizing session-based recommendations with hierarchical recurrent neural networks. In Proceedings of the 11th ACM Conference on Recommender Systems, pages 130–137, 2017.

[Rendle et al., 2010] Steffen Rendle, Christoph Freudenthaler, and Lars Schmidt-Thieme. Factorizing personalized markov chains for next-basket recommendation. In Proceedings of the 19th International Conference on World Wide Web, pages 811–820, 2010.

[Tang and Wang, 2018] Jiaxi Tang and Ke Wang. Personalized top-n sequential recommendation via convolutional sequence embedding. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, pages 565–573, 2018.

[Tang et al., 2019] Jiaxi Tang, Francois Belletti, Sagar Jain, Minmin Chen, Alex Beutel, and et al. Towards neural mixture recommender for long range dependent user sequences. In Proceedings of the 28th International Conference on World Wide Web, pages 811–820, 2019.

[Wang et al., 2015] Pengfei Wang, Jiafeng Guo, Yanyan Lan,JunXu,ShengxianWan,andXueqiCheng. Learning hierarchical representation model for next basket recommendation. In Proceedings of the 38th ACM SIGIR Conference on Research and Development in Information Retrieval, pages 403–412, 2015.

[Wang et al., 2018] Shoujin Wang, Liang Hu, Longbing Cao,XiaoshuiHuang,DefuLian,andWeiLiu. Attentionbased transactional context embedding for next-item recommendation. In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pages 2532–2539, 2018.

[Wang et al., 2019] Shoujin Wang, Liang Hu, Yang Wang, and et al. Modeling multi-purpose sessions for nextitem recommendations via mixture-channel purpose routing networks. In Proceedings of the 28th International Joint Conference on Artificial Intelligence, pages 1–7, 2019.

[Wu et al., 2017] Chao-Yuan Wu, Amr Ahmed, Alex Beutel, Alexander J Smola, and How Jing. Recurrent recommender networks. In Proceedings of the 10th ACM International Conference on Web Search and Data Mining, pages 495–503, 2017.

[Wu et al., 2019] Shu Wu, Yuyuan Tang, and et al. Sessionbased recommendation with graph neural networks. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pages 1–9, 2019.

[Yap et al., 2012] Ghim-EngYap,Xiao-LiLi,andPhilipYu. Effective next-items recommendation via personalized sequential pattern mining. In Database Systems for Advanced Applications, pages 48–64, 2012.

[Ying et al., 2018] Haochao Ying, Fuzhen Zhuang, Fuzheng Zhang,YanchiLiu,GuandongXu,andXingXie. Sequential recommender system based on hierarchical attention networks. In Proceedings of the 27th International Joint Conference on Artificial Intelligence, 2018.

[Yuan et al., 2019] Fajie Yuan, Alexandros Karatzoglou, Ioannis Arapakis, Joemon M Jose, and Xiangnan He. A simpleconvolutionalgenerativenetworkfornextitemrecommendation. In Proceedings of the 12th ACM International Conference on Web Search and Data Mining, pages 582–590, 2019.