推薦算法知識梳理

這裏參考張俊林老師的文章添加鏈接描述

架構介紹

推薦系統架構介紹

• 召回：縮小可選集
• 粗排：有時候因爲每個用戶召回環節返回的物品數量還是太多，怕排序環節速度跟不上，所以可以在召回和精排之間加入一個粗排環節，通過少量用戶和物品特徵，簡單模型，來對召回的結果進行粗略的排序，在保證一定精準的前提下，進一步減少往後傳送的物品數量，粗排往往是可選的，可用可不同，跟場景有關。
• 精排：使用你能想到的任何特徵，可以上你能承受速度極限的複雜模型，儘量精準地對物品進行個性化排序。
• 重排：傳統地看，這裏往往會上各種技術及業務策略，比如去已讀、去重、打散、多樣性保證、固定類型物品插入等等，主要是技術產品策略主導或者爲了改進用戶體驗的。

召回

簡單介紹

技術含量不太高，模型用的少，偏向策略型導向，往往靈機一動，就能想到一個策略，增加一路新的召回。總體而言，召回環節的有監督模型化以及一切Embedding化，這是兩個相輔相成的總體發展趨勢。而embedding的具體方法，則可以有各種選擇。

非個性化召回

• 熱門商品
• 歷史點擊率高的物料

多路召回

可以把某路召回，看成是某個排序模型的排序結果，只不過，這個排序模型，在用戶側和物品側只用了一個特徵。比如說，標籤召回，其實就是用用戶興趣標籤和物品標籤進行排序的單特徵排序結果；再比如協同召回，可以看成是隻包含UID和ItemID的兩個特徵的排序結果

模型召回

核心思想是：將用戶特徵和物品特徵分離，各自通過某個具體的模型，分別打出用戶Embedding以及物品Embedding。
理論上來說，任何你能見到的有監督模型，都可以用來做這個召回模型，比如FM／FFM／DNN等，常說的所謂“雙塔”模型，指的其實是用戶側和物品側特徵分離分別打Embedding的結構而已，並非具體的模型。

雙塔模型

DNN雙塔召回：Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations

因子分解

fm召回

發散點

• 優點：
  多路召回每路截斷條數的超參個性化問題等會自然被消解掉
• 缺點：
  召回內容頭部問題，因爲之前多路，每路召回個數靠硬性截斷，可以根據需要，保證你想要召回的，總能通過某一路拉回來；而由於換成了模型召回，面向海量物料庫，排在前列得分高的可能聚集在幾個物料分佈比較多的頭部領域（解決這個問題的方法包括比如訓練數據對頭部領域的降採樣，減少某些領域主導，以及在模型角度鼓勵多樣性等不同的方法）
• 如果在召回階段使用模型召回，理論上也應該同步採用和排序模型相同的優化目標，尤其是如果排序階段採用多目標優化的情況下，召回模型也應該對應採取相同的多目標優化
• 如果整個流程中包含粗排模塊，粗排也應該採用和精排相同的多目標優化，幾個環節優化目標應保持一致。因爲召回和粗排是精排的前置環節，否則，如果優化目標不一致，很可能會出現高質量精排目標，在前置環節就被過濾掉的可能，影響整體效果

用戶行爲序列召回

一般用戶之所以會對物品發生行爲，往往意味着這些物品是符合用戶興趣的，而不同類型的行爲，可能代表了不同程度的興趣。比如購買就是比點擊更能表徵用戶興趣的行爲。

抽象地來看的話，利用用戶行爲過的物品序列對用戶興趣建模，本質上就是這麼個過程：輸入是用戶行爲過的物品序列，可以只用物品ID表徵，也可以融入物品的Side Information比如名稱，描述，圖片等，現在我們需要一個函數Fun，這個函數以這些物品爲輸入，需要通過一定的方法把這些進行糅合到一個embedding裏，而這個糅合好的embedding，就代表了用戶興趣。無論是在召回過程，還是排序過程，都可以融入用戶行爲序列。在召回階段，我們可以用用戶興趣Embedding採取向量召回，而在排序階段，這個embedding則可以作爲用戶側的特徵。
核心在於：這個物品聚合函數Fun如何定義
用戶行爲序列中的物品，是有時間順序的。理論上，任何能夠體現時序特點或特徵局部性關聯的模型，都比較適合應用在這裏，典型的比如CNN、RNN、Transformer等，都比較適合用來集成用戶行爲序列信息。而目前的很多試驗結果證明，GRU（RNN的變體模型）可能是聚合用戶行爲序列效果最好又比較簡單的模型。當然，RNN不能並行的低效率，那是另外一個問題。
排序側表徵用戶特徵的時候，可以只用用戶行爲過的物品序列，也可以混合用戶其它特徵，比如羣體屬性特徵等一起來表徵用戶興趣，方式比較靈活。比如DIEN，就是典型的採用混合模式的方法

改進

多用戶興趣拆分：用戶往往是多興趣的，比如可能同時對娛樂、體育、收藏感興趣。這些不同的興趣也能從用戶行爲序列的物品構成上看出來，比如行爲序列中大部分是娛樂類，一部分體育類，少部分收藏類等。那麼能否把用戶行爲序列物品中，這種不同類型的用戶興趣細分，而不是都籠統地打到一個用戶興趣Embedding裏呢？用戶多興趣拆分就是解決這類更細緻刻畫用戶興趣的方向

用戶多興趣拆分

本質上，把用戶行爲序列打到多個embedding上，實際它是個類似聚類的過程，就是把不同的Item，聚類到不同的興趣類別裏去。目前常用的拆分用戶興趣embedding的方法，主要是膠囊網絡和Memory Network，但是理論上，很多類似聚類的方法應該都是有效的，所以完全可以在這塊替換成你自己的能產生聚類效果的方法來做
這種興趣拆分，在召回階段是很合適的，可以定向解決頭部問題。
對於排序環節，是否有必要把用戶興趣拆分成多個，必要性不是太大。非要用的話，可以這麼解釋：當行爲序列物品太多的時候，Atttention計算是非常耗時的操作，如果我們把這種Attention計算，放到聚類完的幾個興趣embedding維度計算，無疑能極大提升訓練和預測的速度

典型工作：

• 召回：Multi-Interest Network with Dynamic Routing for Recommendation at Tmall
• 排序：Practice on Long Sequential User Behavior Modeling for Click-Through Rate Prediction

知識圖譜融合召回

用戶-物品交互的二部圖用得最多。而知識圖譜這類數據是可以考慮用來增強推薦效果的，尤其是對於用戶行爲數據稀疏的場景，或者冷啓動場景。
以上圖例子說明，用戶點擊過電影“泰坦尼克號”，這是用戶行爲數據，我們知道，電影“泰坦尼克號”的主演是萊昂納多，於是可以推薦其它由萊昂納多主演的電影給這個用戶。後面這幾步操作，利用的是電影領域的知識圖譜數據，通過知識圖譜中的“電影1—>主演—>電影2”的圖路徑給出的推薦結果

用於做推薦，一般有兩大類知識圖譜融合模式：知識圖譜Embedding模式（KGE）及圖路徑模式。

• 知識圖譜Embedding模式。首先根據TransE等對知識圖譜進行Embedding化編碼的工具，將節點和邊轉換成Embedding表徵方式。然後根據用戶行爲過的物品，以及物品在知識圖譜中的Embedding和知識圖譜中其它知識embedding的距離，來擴展物品的信息含量，或者擴充用戶行爲數據，類似用已知的用戶行爲數據，在知識圖譜輔助下進行外擴。知識圖譜的Embedding模式在可解釋性方面比較弱，因爲知識之間的關聯是通過Embedding計算出來的，不好解釋爲什麼從這個知識跳到那個知識；
• 而圖路徑模式，則是根據物品屬性之間的關聯等人工定義好的所謂Meta-Path，也就是人工定義的知識圖譜中知識的關聯和傳播模式，通過中間屬性來對知識傳播進行路徑搭建，具體例子就是上面說的“電影1主演電影2”，這就是人事先定義好的Meta-Path，也就是人把自己的經驗寫成規則，來利用知識圖譜裏的數據。圖路徑模式在可解釋性方面效果較好，因爲是人工定義的傳播路徑，所以非常好理解知識傳播關係，但是往往實際應用效果並不好

知識圖譜是一種信息拓展的模式，對知識進行近距離的拓展，這可能會帶來信息補充作用，但是如果拓展的比較遠，或者拓展不當，反而可能會引入噪音。
所以，知識圖譜在排序側並不是特別好用，如果想用的話，比較適合用戶行爲數據非常稀疏以及用戶冷啓動的場景，也就是說如果用戶數據太少，需要拓展，可以考慮使用它。
另外，知識圖譜還有一個普適性的問題，完全通用的知識圖譜在特定場景下是否好用，對此我是有疑問的，而專業性的知識圖譜，還有一個如何構建以及構建成本問題；而且很多時候，所謂的知識傳播，是可以通過添加屬性特徵來解決的，比如：電影1—>主演—>電影2這種知識傳播路徑，完全可以通過把主演作爲電影這個實體的屬性特徵加入常規排序模型，來達到類似知識近距離傳播的目的，所以感覺也不是很有必要在排序側專門去做知識圖譜拓展這種事情
至於如何利用知識圖譜做召回，其實很直觀，比如可以採取如下的無監督學習版本：例如，推薦系統裏對用戶感興趣的實體比如某個或者某些明星，往往是個單獨的召回路，而可以根據用戶的興趣實體，通過知識圖譜的實體Embedding化表達後（或者直接在知識圖譜節點上外擴），通過知識外擴或者可以根據Embedding相似性，拓展出相關實體。形成另外一路相關性弱，但是泛化能力強的Knowledge融合召回路。

典型工作：

1. KGAT: Knowledge Graph Attention Network for Recommendation
2. RippleNet: Propagating User Preferences on the Knowledge Graph for Recommender Systems

圖神經網絡模型召回

因爲圖神經網絡，最終獲得的往往是圖中節點的embedding，這個embedding，就像我們上面說的，其實融合了各種異質信息。所以它是特別適合用來做召回的，比如拿到圖網絡中用戶的embedding和物品embedding，可以直接用來做向量召回。當然，物品和用戶的embedding也可以作爲特徵，引入排序模型中，這都是比較自然的。有些推薦場景也可以直接根據embedding計算user to user/item to item的推薦結果，比如看了又看這種推薦場景
早期的圖神經網絡做推薦，因爲需要全局信息，所以計算速度是個問題，往往圖規模都非常小，不具備實戰價值。而GraphSAGE則通過一些手段比如從臨近節點進行採樣等減少計算規模，加快計算速度，很多後期改進計算效率的方法都是從這個工作衍生的；而PinSage在GraphSAGE基礎上（這是同一撥人做的），進一步採取大規模分佈式計算，拓展了圖計算的實用性，可以計算Pinterest的30億規模節點、180億規模邊的巨型圖，併產生了較好的落地效果。所以這兩個工作可以重點借鑑一下
典型工作：

• GraphSAGE: Inductive Representation Learning on Large Graphs
• PinSage: Graph Convolutional Neural Networks for Web-Scale Recommender Systems

排序

技術發展趨勢

模型表達能力代表了模型是否具備充分利用有效特徵及特徵組合的能力，其中顯示特徵組合、新型特徵抽取器、增強學習技術應用以及AutoML自動探索模型結構是這方面明顯的技術進化方向；模型優化目標則體現了我們希望推薦系統去做好什麼，往往跟業務目標有關聯，這裏我們主要從技術角度來探討，而多目標優化以及ListWise最優是目前最常見的技術進化方向，ListWise優化目標在排序階段和重排階段都可採用，我們把它放到重排部分去講，這裏主要介紹多目標優化；從特徵和信息角度，如何採用更豐富的新類型特徵，以及信息和特徵的擴充及融合是主要技術進化方向，用戶長短期興趣分離、用戶行爲序列數據的使用、圖神經網絡以及多模態融合等是這方面的主要技術趨勢。

模型表達能力

顯示特徵組合

純粹的簡單DNN模型本質上其實是在FM模型的特徵Embedding化基礎上，添加幾層MLP隱層來進行隱式的特徵非線性自動組合而已。所謂隱式，意思是並沒有明確的網絡結構對特徵的二階組合、三階組合進行直接建模，只是通過MLP，讓不同特徵發生交互，至於怎麼發生交互的，怎麼進行特徵組合的，誰也說不清楚，這是MLP結構隱式特徵組合的作用，當然由於MLP的引入，也會在特徵組合時候考慮進入了特徵間的非線性關係。

顯式特徵組合，就是在模型結構中，明確設計一些子網絡或者子結構，對二階特徵組合、三階特徵組合，甚至更高階的特徵組合進行表徵。比如說DeepFM，Deep部分就是個典型的DNN模型，這個大家基本都會用，而FM部分則是明確對特徵二階組合進行建模的子模型。這就是一個典型的顯式二階特徵組合的模型。而如果進一步拓展的話，很自然想到的一個改進思路是：除了明確的把特徵二階組合做一個子結構，還可以把特徵三階特徵組合，更高階特徵組合……分別做一個模型子結構。融合這些子結構一起來做預測。這就是顯式特徵組合的含義，其實這條線的發展脈絡是異常清晰的。典型的對高階特徵組合建模的比如Deep& Cross、XDeepFM模型等，就是這麼個思路。

• 侷限性：在實際做事情的時候，其實顯式結構把三階特徵組合引入，已經基本足夠了

特徵抽取器的進化

MLP結構用來捕獲特徵組合，是效率比較低下的，除非把隱層神經元個數急劇放大，而這又會急劇增加參數規模。與自然語言處理和圖像處理比較，推薦領域的特徵抽取器仍然處於非常初級的發展階段
目前其它AI領域裏，常用的特徵抽取器包括圖像領域的CNN、NLP領域的RNN和Transformer。這些新型特徵抽取器，在推薦領域最近兩年也逐步開始嘗試使用，但是宏觀地看，在推薦領域，相對MLP結構並未取得明顯優勢，這裏的原因比較複雜。CNN捕獲局部特徵關聯是非常有效的結構，但是並不太適合做純特徵輸入的推薦模型，因爲推薦領域的特徵之間，在輸入順序上並無必然的序列關係，基本屬於人工定義隨機順序，而CNN處理這種遠距離特徵關係能力薄弱，所以並不是特別適合用來處理特徵級的推薦模型。當然，對於行爲序列數據，因爲本身帶有序列屬性，所以CNN和RNN都是非常適合應用在行爲序列結構上的，也是有一定應用歷史的典型工具，但是對於沒有序關係存在的特徵來說，這兩個模型的優勢不能發揮出來，反而會放大各自的劣勢，比如CNN的捕獲遠距離特徵關係能力差的弱點，以及RNN的不可並行處理、所以速度慢的劣勢等。

Transformer作爲NLP領域最新型也是最有效的特徵抽取器，從其工作機制來說，其實是非常適合用來做推薦的。爲什麼這麼說呢？核心在於Transformer的Multi-Head Self Attention機制上。MHA結構在NLP裏面，會對輸入句子中任意兩個單詞的相關程度作出判斷，而如果把這種關係套用到推薦領域，就是通過MHA來對任意特徵進行特徵組合，而上文說過，特徵組合對於推薦是個很重要的環節，所以從這個角度來說，Transformer是特別適合來對特徵組合進行建模的，一層Transformer Block代表了特徵的二階組合，更多的Transformer Block代表了更高階的特徵組合。但是，實際上如果應用Transformer來做推薦，其應用效果並沒有體現出明顯優勢，甚至沒有體現出什麼優勢，基本稍微好於或者類似於典型的MLP結構的效果。這意味着，可能我們需要針對推薦領域特點，對Transformer需要進行鍼對性的改造，而不是完全直接照搬NLP裏的結構

AutoML在推薦的應用

在cv，nlp領域，目前都能通過AutoML找到比人設計的效果更好的模型結構。AutoML通過各種基礎算子的任意組合，在超大的算子組合空間內，尋找性能表現最好的模型，幾乎可以達到窮舉遍歷的效果，如果設計精良的AutoML，一定可以自己找到超過目前人類專家設計的最好的那個模型，現在AutoML的不成熟，體現在需要搜索的空間太大，比較消耗計算資源方面而已，隨着技術的不斷成熟，搜索成本越來越低，AutoML在很多算法方向超過人類表現只是個時間問題。



我們用ENAS作爲網絡搜索工具，設計了推薦領域網絡結構自動探索的嘗試。ENAS是個非常高效率的AutoML工具，可以做到單GPU半天搜索找到最優的網絡結構，但是它定義的主要是CNN結構和RNN結構搜索。我們對ENAS進行了改造，包括算子定義，優化目標以及評價指標定義等。DNN排序模型因爲模型比較單一，所以算子是比較好找的，我們定義了推薦領域的常用算子，然後在這些算子組合空間內通過ENAS自動尋找效果最優的網絡結構，最終找到的一個表現最好的網絡結構如下圖所示：

總體而言，目前AutoML來做推薦模型，還很不成熟，找出的結構相對人工設計結構效果優勢也不是太明顯。這與DNN Ranking模型比較簡單，算子類型太少以及模型深度做不起來也有很大關係

典型工作：

• 雙線性特徵組合: FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction

增強學習在推薦的應用

一般而言，增強學習有幾個關鍵要素：狀態、行爲以及回報。在推薦場景下，我們可以把狀態St定義爲用戶的行爲歷史物品集合；推薦系統可選的行爲空間則是根據用戶當前狀態St推薦給用戶的推薦結果列表，這裏可以看出，推薦場景下，用戶行爲空間是巨大無比的，這制約了很多無法對巨大行爲空間建模的增強學習方法的應用；而回報呢，則是用戶對推薦系統給出的列表內容進行互動的行爲價值，比如可以定義點擊了某個物品，則回報是1，購買了某個物品，回報是5….諸如此類。有了這幾個要素的場景定義，就可以用典型的增強學習來對推薦進行建模。

利用增強學習來做推薦系統，有幾個顯而易見的好處，比如：

1. 比較容易對“利用-探索”（Exploitation/Exploration）建模。所謂利用，就是推薦給用戶當前收益最大的物品，一般推薦模型都是優化這個目標；所謂探索，就是隨機推給用戶一些物品，以此來探測用戶潛在感興趣的東西。如果要進行探索，往往會犧牲推薦系統的當前總體收益，畢竟探索效率比較低，相當的通過探索渠道推給用戶的物品，用戶其實並不感興趣，浪費了推薦位。但是，利用-探索的均衡，是比較容易通過調節增強學習的回報（Reward）來體現這個事情的，比較自然；
2. 比較容易體現用戶興趣的動態變化。我們知道，用戶興趣有長期穩定的，也有不斷變化的。而增強學習比較容易通過用戶行爲和反饋的物品對應的回報的重要性，而動態對推薦結果產生變化，所以是比較容易融入體現用戶興趣變化這個特點的。
3. 有利於推薦系統長期收益建模。這點是增強學習做推薦最有優勢的一個點。我們優化推薦系統，往往會有一些短期的目標比如增加點擊率等，但是長期目標比如用戶體驗或者用戶活躍留存等指標，一般不太好直接優化，而增強學習模型比較容易對長期收益目標來進行建模。

從實際落地角度來看，推薦系統裏要嘗試增強學習方法，如果你有這個衝動，最好還是抑制一下。主要原因是，貌似增強學習是技術落地投入產出比非常低的技術點。首先投入高，要想把增強學習做work，意味着有很多大坑在等着你去踩，數據怎麼做、模型怎麼寫、回報怎麼拍，長期收益怎麼定義、建模並拆解成回報…….超大規模實際場景的用戶和物品，增強學習這麼複雜的模型，系統怎麼才能真的落地並撐住流量……很多坑在裏面；其次，貌似目前看到的文獻看，貌似很少見到真的把增強學習大規模推到真實線上系統，併產生很好的收益的系統。Youtube在最近一年做了不少嘗試，雖說把系統推上線了，但是收益怎樣不好說。而且，從另外一個角度看，做增強學習裏面還是有不少Trick在，那些收益到底是系統帶來的，還是Trick帶來的，真還不太好說。所以，綜合而言，目前看在增強學習做推薦投入，貌似還是一筆不太合算的買賣。

模型優化目標

多目標優化

推薦系統的多目標優化（點擊，互動，時長等多個目標同時優化）嚴格來說不僅僅是趨勢，而是目前很多公司的研發現狀。對於推薦系統來說，不同的優化目標可能存在互相拉後腿的現象，比如互動和時長，往往拉起一個指標另外一個就會明顯往下掉，而多目標旨在平衡不同目標的相互影響，儘量能夠做到所有指標同步上漲，即使很難做到，也儘量做到在某個優化目標上漲的情況下，不拉低或者將盡量少拉低其它指標。

從技術角度講，多目標優化最關鍵的有兩個問題。第一個問題是多個優化目標的模型結構問題；第二個問題是不同優化目標的重要性如何界定的問題。
既然存在多個優化目標，最簡單直接的方式，也是目前最常用的方式是：每個優化目標獨立優化，比如點擊目標訓練一個模型，互動目標訓練一個模型，時長目標訓練一個模型，各自優化，然後每個目標獨立給實例預測打分，給每個目標設定權重值，各個目標打分加權求和線性融合，或者引入權重指數及根據目標關係引入非線性融合。這是目前最常見的落地方案。因爲目標之間獨立優化，模型是通過分數融合來實現多目標的，所以可以把這種多目標方式稱作“Share-Nothing”結構。這個結構實現和優化方式很簡單。
與Share-Nothing結構相比，其實我們是可以讓不同優化目標共享一部分參數的，一旦引入不同目標或者任務的參數共享，我們就踏入了Transfer Learning的領地了。那麼爲什麼要共享參數呢？一方面出於計算效率考慮，不同目標共享結構能夠提升計算效率；另外一點，假設我們有兩類任務或者目標，其中一個目標的訓練數據很充分，而另外一個目標的訓練數據比較少；如果獨立優化，訓練數據少的目標可能很難獲得很好的效果；如果兩個任務相關性比較高的話，其實我們可以通過共享參數，達到把大訓練數據任務的知識遷移給訓練數據比較少的任務的目的，這樣可以極大提升訓練數據量比較少的任務的效果。Share-Bottom結構是個非常典型的共享參數的多目標優化結構，核心思想是在比如網絡的底層參數，所有任務共享參數，而上層網絡，不同任務各自維護自己獨有的一部分參數，這樣就能達成通過共享參數實現知識遷移的目的。但是，Share-Bottom結構有他的缺點：如果兩個任務不那麼相關的話，因爲強制共享參數，所以可能任務之間相互干擾，會拉低不同目標的效果。MMOE針對Share-Bottom結構的侷限進行了改進，核心思想也很簡單，就是把底層全部共享的參數切分成小的子網絡，不同任務根據自己的特點，學習配置不同權重的小網絡來進行參數共享。這樣做的話，即使是兩個任務不太相關，可以通過不同的配置來達到模型解耦的目的，而如果模型相關性強，可以共享更多的子網絡。明顯這樣的組合方式更靈活，所以對於MMOE來說，無論是相關還是不相關的任務，它都可以達到我們想要的效果。
假設我們選定了模型結構，仍然存在一個很關鍵的問題：不同優化目標權重如何設定？當然，我們可以根據業務要求，強制制定一些權重，比如視頻網站可能更重視時長或者完播率等指標，那就把這個目標權重設置大一些。但是，我們講過，有些任務之間的指標優化是負相關的，提升某個目標的權重，有可能造成另外一些指標的下跌。所以，如何設定不同目標權重，能夠儘量減少相互之間的負面影響，就非常重要。這塊貌似目前並沒有特別簡單實用的方案，很多實際做法做起來還是根據經驗拍一些權重參數上線AB測試，費時費力。而如何用模型自動尋找最優權重參數組合就是一個非常有價值的方向，目前最常用的方式是採用帕累托最優的方案來進行權重組合尋優，這是從經濟學引入的技術方案，未來還有很大的發展空間。

特徵擴充及信息融合

多模態信息融合

所謂模態，指的是不同類型的或者模態形式的信息存在形式，比如文本、圖片、視頻、音頻、互動行爲、社交關係等，都是信息不同的存在模態形式。
多模態融合，從技術手段來說，本質上是把不同模態類型的信息，通過比如Embedding編碼，映射到統一的語義空間內，使得不同模態的信息，表達相同語義的信息完全可類比。比如說自然語言說的單詞“蘋果”，和一張蘋果的圖片，應該通過一定的技術手段，對兩者進行信息編碼，比如打出的embedding，相似度是很高的，這意味着不同模態的知識映射到了相同的語義空間了。這樣，你可以通過文本的蘋果，比如搜索包含蘋果的照片。

如果在推薦裏融入多模態，從算法層面看，並不難，它的難點其實在它處；本質上，多模態做推薦，如果說難點的話，難在工程效率。因爲目前很多模態的信息抽取器，比如圖片的特徵抽取，用深層ResNet或者ReceptionNet，效果都很好，但是因爲網絡層深太深，抽取圖片特徵的速度問題就是多模態落地面臨的主要問題。所以，本質上，在推薦領域應用多模態，看上去其實是個工程效率問題，而非複雜的算法問題。而且，如果融合多模態的話，離開DNN模型，基本是不現實的。在這點上，可以比較充分體現DNN模型相對傳統模型的絕對技術優勢。

長期興趣／短期興趣分離

對於推薦系統而言，準確描述用戶興趣是非常重要的。目前常用的描述用戶興趣的方式主要有兩類。一類是以用戶側特徵的角度來表徵用戶興趣，也是最常見的；另外一類是以用戶發生過行爲的物品序列作爲用戶興趣的表徵。

用戶短期興趣：往往使用用戶點擊（或購買，互動等其它行爲類型）過的物品序列來表徵，尤其對於比較活躍的用戶，用點擊序列更能體現短期的含義，因爲出於工程效率的考慮，如果用戶行爲序列太長，往往不會都拿來使用，而是使用最近的K個行爲序列中的物品，來表徵用戶興趣，而這明顯更含有短期的含義；因爲點擊序列具備序列性和時間屬性，所以對於這類數據，用那些能夠刻畫序列特性或者物品局部相關性的模型比較合適，比如RNN／CNN和Transformer都比較適合用來對用戶短期興趣建模。
用戶長期興趣：目前在對長短期興趣分離的工作中，關於如何刻畫用戶長期興趣，往往還是用非常簡單的方法，就是用UID特徵來表徵用戶的長期興趣，通過訓練過程對UID進行Embedding編碼，以此學習到的UID Embedding作爲用戶長期興趣表徵

重排技術演進趨勢

在重排環節，常規的做法，這裏是個策略出沒之地，就是集中了各種業務和技術策略。比如爲了更好的推薦體驗，這裏會加入去除重複、結果打散增加推薦結果的多樣性、強插某種類型的推薦結果等等不同類型的策略。

按理說，這塊沒什麼可講的。但是，如果從技術發展趨勢角度看，重排階段上模型，來代替各種花樣的業務策略，是個總體的大趨勢。

List Wise重排序

關於List Wise排序，可以從兩個角度來說，一個是優化目標或損失函數；一個是推薦模塊的模型結構。

推薦系統裏Learning to Rank做排序，我們知道常見的有三種優化目標：Point Wise、Pair Wise和List Wise。所以我們首先應該明確的一點是：List Wise它不是指的具體的某個或者某類模型，而是指的模型的優化目標或者損失函數定義方式，理論上各種不用的模型都可以使用List Wise損失來進行模型訓練。最簡單的損失函數定義是Point Wise，就是輸入用戶特徵和單個物品特徵，對這個物品進行打分，物品之間的排序，就是誰應該在誰前面，不用考慮。明顯這種方式無論是訓練還是在線推理，都非常簡單直接效率高，但是它的缺點是沒有考慮物品直接的關聯，而這在排序中其實是有用的。Pair Wise損失在訓練模型時，直接用兩個物品的順序關係來訓練模型，就是說優化目標是物品A排序要高於物品B，類似這種優化目標。其實Pair Wise的Loss在推薦領域已經被非常廣泛得使用，比如BPR損失，就是典型且非常有效的Pair Wise的Loss Function，經常被使用，尤其在隱式反饋中，是非常有效的優化目標。List Wise的Loss更關注整個列表中物品順序關係，會從列表整體中物品順序的角度考慮，來優化模型。在推薦中，List Wise損失函數因爲訓練數據的製作難，訓練速度慢，在線推理速度慢等多種原因，儘管用的還比較少，但是因爲更注重排序結果整體的最優性，所以也是目前很多推薦系統正在做的事情。
從模型結構上來看。因爲重排序模塊往往是放在精排模塊之後，而精排已經對推薦物品做了比較準確的打分，所以往往重排模塊的輸入是精排模塊的Top得分輸出結果，也就是說，是有序的。而精排模塊的打分或者排序對於重排模塊來說，是非常重要的參考信息。於是，這個排序模塊的輸出順序就比較重要，而能夠考慮到輸入的序列性的模型，自然就是重排模型的首選。我們知道，最常見的考慮時序性的模型是RNN和Transformer，所以經常把這兩類模型用在重排模塊，這是很自然的事情。一般的做法是：排序Top結果的物品有序，作爲RNN或者Transformer的輸入，RNN或者Transformer明顯可以考慮在特徵級別，融合當前物品上下文，也就是排序列表中其它物品的特徵，來從列表整體評估效果。RNN或者Transformer每個輸入對應位置經過特徵融合，再次輸出預測得分，按照新預測的得分重新對物品排序，就完成了融合上下文信息，進行重新排序的目的。
典型工作：

1. Personalized Re-ranking for Recommendation
2. Learning a Deep Listwise Context Model for Ranking Refinement

參考文獻

https://zhuanlan.zhihu.com/p/100019681