隨着 ChatGPT 的橫空出世與 GPT-4 的重磅登場，生成式 AI（Generative AI）引起了前所未有的關注，基於 GPT（Generative Pre-Trained Transformer）的模型在各類 NLP 和 CV 任務上取得了驚人的效果。生成式 AI 模型可以根據訓練過的數據創建新的內容、模式或解決方案，一些典型應用包括 ChatGPT、Stable Diffusion 和 DALL·E 等（封面圖片來自 DALL·E）。然而，在推薦系統（RS）領域研究中，受限於推薦系統 User/Item ID 的範式，以及大多情況下爲非通用、非常識知識，因而直接將基於 GPT 的模型作爲推薦模型具有一定的侷限性。例如，在電影、圖書和音樂等領域推薦場景直接將 ChatGPT 作爲推薦模型可以取得較好的效果，然而，在其他一些領域推薦場景直接利用 ChatGPT 效果有限。隨着各類生成式模型層出不窮，部分研究人員開始考慮如何在 RS 中有效引入生成式 AI。本文主要關注 RS 和生成式 AI 可能存在的結合點，調研了 RecSys'23 等會議錄用的若干相關工作，以及最新已公開的若干方法。
本文由中國人民大學高瓴人工智能學院孫文奇撰寫，謝若冰編輯，部分內容爲合作論文成果。
1、Generative Next-Basket Recommendation
這篇論文來自人大和騰訊微信，已被 RecSys'23 錄用，其主要關注於自迴歸生成範式解決購物籃推薦問題。
該論文提出一種自迴歸生成下一個購物籃商品的推薦模型，即 GeRec。現有基於深度神經網絡的購物籃推薦工作大多數主要關注用戶偏好和預測商品之間的相關性，忽略了下一個購物籃中商品之間可能存在的關係，通常會導致預測商品的同質化。GeRec 考慮了商品級別和購物籃級別的多粒度用戶偏好，同時考慮了下一個購物籃中商品之間的聯繫，以自迴歸方式生成下一個購物籃中商品。實驗結果表明，在真實世界購物場景中，GeRec 在兼顧性能的情況下，同時提升了下一個購物籃中商品的相關性和多樣性。
2、Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach
https://arxiv.org/abs/2305.07001
這篇論文來自人大和騰訊微信，其主要關注於指令微調的大語言模型（LLM）在推薦系統的應用。
該論文期望發展一種新的推薦範式，即用戶可以靈活的使用自然語言指令來表達自身的需求，而系統通過分析這些指令來實現個性化的推薦，即 InstructRec。爲此，本文首先形式化了推薦指令的三個關鍵因素：偏好，意圖和任務形式。並基於這些因素的組合實例化了不同的交互場景。本文通過 self-instruct 的方式，利用一個指令微調過的模型（teacher-LLM）來基於用戶的歷史行爲，評論等數據，生成大量能反映用戶意圖和偏好的指令數據。利用這些指令數據，微調了 Flan-T5。實驗結果表明，InstructRec 可以一定程度上理解用戶需求，在不同的交互場景中取得了較好的效果。
3、Large Language Models are Zero-Shot Rankers for Recommender Systems
https://arxiv.org/abs/2305.08845
這篇論文來自人大、騰訊微信和加州大學聖迭戈分校，其主要關注於 LLM 作爲推薦模型的零樣本排序問題。
該論文評測了 LLM 在推薦系統中的零樣本排序能力。具體而言，該論文將推薦問題形式化爲給定條件的排序任務，其中用戶的歷史交互作爲條件，召回得到的商品作爲候選。通過設計合適的 prompt 模版，結合條件、候選、排序指令，使得 LLM 可以執行推薦中的排序任務。實驗結果表明，LLM 可以基於用戶的歷史交互實現個性化的排序，但是 LLM 很難感知到用戶歷史交互的序列關係；LLM 在排序時有 position bias 和 popularity bias，但可以被適當的提示或 bootstrapping 等策略所緩解。
4、Can ChatGPT Make Fair Recommendation? A Fairness Evaluation Benchmark for Recommendation with Large Language Model
這篇論文來自中科大和新加坡國立大學，已被 RecSys'23 錄用，其主要關注於 LLM 作爲推薦模型的公平性問題。
該論文提出了一個新的 LLM 作爲推薦模型的公平性測評基準，即 FaiRLLM。這個基準包括精心設計的指標和一個數據集，其中包括兩個推薦場景（音樂和電影）中的八個敏感屬性。FaiRLLM 通過比較大語言模型在"neutral instructions" （沒有包含用戶的敏感屬性）和"sensitive isntructions" （包含敏感屬性）下的推薦結果，來評估將 ChatGPT 作爲推薦模型的公平性。實驗結果表明，ChatGPT 在生成推薦時對一些敏感屬性仍然表現出不公平的現象。
5、Generative Recommendation: Towards Next-generation Recommender Paradigm
https://arxiv.org/abs/2304.03516
這篇論文來自新加坡國立大學和中科大，其主要關注於生成式推薦新範式。
該論文認爲，傳統的推薦模型往往從商品集合中檢索合適的商品來實現個性化推薦。然而，這樣的範式可能存在一些問題：（1）已有的人類生成的物品集合並不一定能符合用戶多樣化的需求；（2）用戶往往通過被動的，低效的反饋（如點擊），來調節推薦。
基於 AIGC 的蓬勃發展，作者構想的下一代的推薦範式應該具有以下兩個目標：（1）通過生成式 AI 來生成個性化的內容；（2）融入用戶指令來指導內容的生成。爲了實現上述目標，該論文提出了一個新的生成式推薦範式，即 GeneRec。具體而言，首先預處理用戶的指令和傳統的反饋作爲生成的依賴。然後，基於 AI editor 和 AI creator 來實例化 AI generator，使得 GeneRec 可以基於用戶的需求重新定製已有的商品和創建新的商品。
6、Large Language Model Augmented Narrative Driven Recommendations
這篇論文來自馬薩諸塞大學，已被 RecSys'23 錄用，其主要關注於 LLM 增強的敘事驅動的推薦（Narrative-driven Recommendation）。
該論文提出了一種基於 LLM 的敘事驅動推薦方法，即 MINT。敘事驅動的推薦是指，用戶通過描述他們的偏好和背景，例如，旅行者在描述他們的喜好和旅行環境時，徵求興趣點的推薦。MINT 利用 GPT-3 模型根據用戶輸入生成敘事 query，然後使用 FLAN-T5 模型根據敘事 query 生成 M 個分數最高的候選商品，之後根據其與用戶敘事 query 的相關性對其進行排序。實驗結果表明，使用 LLM 從用戶-商品交互中創作生成敘事 query，並在 query 和用戶-商品交互數據上訓練檢索模型，是一種訓練小參數量的檢索模型的有效策略。
7、FANS: Fast Non-Autoregressive Sequence Generation for Item List Continuation
這篇論文來自香港理工大學和華爲諾亞方舟實驗室，發表於 WWW'23，其主要關注於非自迴歸方式序列生成在推薦系統中的應用。
該論文提出一種快速的非自迴歸序列生成模型，即 FANS，以提高連續生成商品列表的效率和質量。基於 Transformer 的模型在理解上下文信息和捕獲列表中的商品關係方面顯示出了前景，然而，在實時工業應用中部署它們是具有挑戰的，因爲使用自迴歸生成方式會比較耗時。爲此，FANS 使用非自迴歸方式來生成 Next-K 個商品，代替逐個生成方式。然後，FANS 設計了一個兩階段分類器來減少解碼時間，代替 Transformer 模型中原始的分類器。實驗結果表明，FANS 在兼顧性能的情況下可以顯著提高推理效率，在工業環境中也進行了 FANS 效率的驗證。
8、Generative Sequential Recommendation with GPTRec
這篇論文來自格拉斯哥大學，已被 Gen-IR@SIGIR'23 錄用，其主要關注基於 GPT-2 架構解決序列推薦問題。
該論文提出了基於 GPT-2 架構的序列推薦模型，即 GPTRec。GPTRec 使用基於 SVD 分解的 SVD Tokenisation 算法將 item ID 分解爲 item 子 ID 來解決 item embedding 表過大問題。同時，提出了一種 Next-K 推薦策略，來解決 Top-K 推薦策略不靈活問題。實驗結果表明，使用商品子 ID 的 GPTRec 可以在減少 embedding 表 40%的情況下，與 SASRec 模型的性能相當。此外，使用 Next-K 推薦策略的 GPTRec 生成的推薦結果在 NDCG@10 指標上與 SASRec 相當，爲未來研究提供了強有力的起點。
9、GPT4Rec: A Generative Framework for Personalized Recommendation and User Interests Interpretation
https://arxiv.org/abs/2304.03879
這篇論文來自密歇根大學和亞馬遜，其主要關注於 GPT-2 架構與檢索相結合的方式用於推薦系統。
該論文認爲，現有的推薦模型存在以下限制：（1）未能利用商品的內容信息和 NLP 模型的語言建模能力；（2）無法解釋用戶興趣來提升推薦的相關性和多樣性；（3）無法適配更實際的應用場景，例如不斷增加新的商品。爲此，該論文提出 GPT4Rec，利用靈活的生成式框架來處理推薦任務。具體而言，基於用戶歷史交互的物品，和它們對應的標題 ，GPT4Rec 首先利用 GPT-2 來生成搜索 query，然後將 query 送入搜索引擎（BM25），來基於這個 query 檢索相關商品。實驗結果表明，GPT4Rec 可以生成多樣化的召回商品以及覆蓋用戶的多樣化的興趣。
10、Recommender Systems with Generative Retrieval
https://arxiv.org/abs/2305.05065
這篇論文來自威斯康星大學麥迪遜分校和谷歌，其主要關注將生成式檢索用於推薦系統。
該論文提出一種量化和生成檢索相結合的單階段範式用於推薦系統，即 TIGER。現有的推薦系統在使用大規模檢索模型時通常採用兩階段的方式：訓練雙編碼器模型將查詢和候選商品嵌入同一空間，然後搜索近似最近鄰商品，在給定查詢嵌入的情況下選擇最佳候選商品。TIGER 在單階段中對目標候選商品的 ID 進行自迴歸解碼，爲此，TIGER 採用了語義 ID 而不是隨機生成的 ID，語義 ID 是由量化方法生成碼字元組。在有了所有商品的語義 ID 後，就可以訓練基於 Transformer 的序列到序列模型來預測下一個商品的語義 ID 了。由於該模型以自迴歸的方式直接預測下一個商品的語義 ID（由碼字元組組成），因此可以將其視爲生成檢索模型。實驗結果表明，這種單階段範式取得了較好的性能效果，同時相比現有方法有更好的泛化能力，從而改進了冷啓動商品的推薦。
