傳統機器學習和前沿深度學習推薦模型演化關係介紹

本文來自王喆老師《深度學習推薦系統》一書，如果有一定的推薦系統基礎的話，建議讀一讀，當然如果只是初學者的話還是建議從基礎的開始學起，比如《推薦系統開發實戰》。

傳統機器學習推薦模型演化

簡單講，傳統推薦模型的發展主要由以下幾部分組成

協同過濾算法族

即上圖中藍色部分，協同過濾是推薦系統的首選模型，從物品相似度和用戶相似角度出發，衍生出了ItemCF和UserCF兩種算法。爲了使協同過濾衍生出矩陣分解模型（Matrix Factorization，MF），並發展出矩陣分解的各分支模型。

邏輯迴歸模型族

協同過濾僅利用用戶和物品之間顯式或者隱式反饋信息，邏輯迴歸能夠利用和融合更多用戶、物品和上下文特徵。從LR模型衍生出的各種模型同樣“枝繁葉茂”，包括增強了非線性能力的大規模分片線性模型（Large Scale Piece-wise Linear Model，LS-PLM），由邏輯迴歸發展出來的FM模型，以及與多種不同模型配合使用後的組合模型等。

LS-PLM模型是阿里巴巴曾經使用的主流推薦模型，本質上，LS-PLM可以看作是對邏輯迴歸的自然推廣，他在邏輯迴歸的基礎上採用了分而治之的思路，先對樣本進行分片，而在樣本分片中應用邏輯迴歸進行CTR預估。

比如在電商領域要預估女性受衆點擊女裝廣告的CTR，那麼顯然我們不希望把男性用戶點擊數碼類的樣本數據也考慮進來，因爲這些樣本不僅與我們要訓練的模型目標無關，甚至會在模型訓練過程中擾亂相關特徵的權重，爲了讓CTR模型對不同用戶羣體、不同使用場景更加具有針對性，其採用的方法是先對全量樣本進行聚類，再對每個分類實施邏輯迴歸進行CTR預估。LS-PLM的思路就來自於此。

LS-PLM的數學形式爲：
$f(x) = \sum_{i=1}^{m}\pi_i (x).\eta _i(x) = \sum_{i=1}^{m} \frac{e^{{\mu_i.x}}}{ \sum_{j=1}^{m}e^{{\mu_j.x}} } . \frac{1}{1+e^{-w_i . x}}$

首先用聚類函數$\pi$對樣本進行分類（這裏的$\pi$採用了softmax函數對樣本進行多分類），再用LR模型計算樣本在分片中具體的CTR，然後將二者相乘後求和。

其中超參數 “分片數” $m$ 可以較好的平衡模型的擬合和推廣能力。$m=1$時，LS-PLM退化爲LR，$m$越大，模型的擬合能力越強。阿里給出的$m$的經驗值爲12。

因子分解機模型族

因子分解機模型在傳統的邏輯迴歸的基礎上，加入了二階部分，使模型具備了進行特徵組合的能力，更進一步，在因子分解機基礎上發展出來的域感知因子分解機（Field-aware Factorization Machine，FFM）則通過加入特徵域的概念，進一步加強了因子分解機特徵交叉的能力。

組合模型

爲了融合多個模型的優點，將不同模型組合使用時構建推薦模型常用的方法，Fackbook提出的GBDT+LR組合模型是業界影響力較大的組合方式，此外，組合模型體現出的特徵工程模型化的思路，也成爲了深度學習推薦模型的引子和核心思想之一。

前沿深度學習推薦模型演化

改變神經網絡的複雜程度

從最簡單的單層神經網絡模型（AutoRec），到經典的深度神經網絡結構（Deep Crossing），其主要的進化方式在於—增加了深度神經網絡的層數和結構複雜度。

改變特徵交叉方式

這類模型的主要改變在於豐富了深度學習網絡中的特徵交叉的方式。例如，改變了用戶向量和物品向量互操作方式的NCF（Neural Collaborative Filtering，神經網絡協同過濾）,定義了多種特徵向量交叉操作的PNN（Product-based Neural Network，基於積操作的神經網絡）模型。

組合模型

這類模型主要是指Wide&Deep模型及其後續變種等，其思路是通過組合兩種不同特點、優勢互補的深度學習網絡，提升模型的綜合能力。

FM模型的深度學習演化版本

傳統推薦模型FM在深度學習時代有了諸多後續版本，其中包括NFM（Neural Factorization Machine，神經網絡因子分解機），FNN（Factorization-machine supported network，基於因子分解機支持的神經網絡），AFM（Attention neural Factorization Machine，注意力因子分解機）等，他們對FM的改進方向各不相同。例如NFM模型主要使用神經網絡提升FM二階部分的特徵交叉能力，AFM是引入了注意力機制的FM模型，FNN利用FM的結果進行網絡初始化。

注意力機制與推薦模型的結合

這類模型主要是將注意力機制應用於深度學習推薦模型中，主要包括了FM與注意力機制的AFM和引入了注意力機制的CTR預估模型DIN(Deep Interest Network，深度興趣網絡)

序列模型與推薦模型的結合

這類模型的特點是使用序列模型模擬用戶行爲和用戶興趣的演化趨勢，代表模型是DIEN(Deep Interest Evolution Network，深度興趣進化網絡)

強化學習與推薦模型的結合

這類模型將強化學習應用與推薦領域，簽到模型的在線學習和實時更新，其代表模型是DRN（Deep Reinforcement Laearning Network，深度強化學習網絡）。

---

【技術服務】，詳情點擊查看： https://mp.weixin.qq.com/s/PtX9ukKRBmazAWARprGIAg

---

掃一掃 關注微信公衆號！號主 專注於搜索和推薦系統，嘗試使用算法去更好的服務於用戶，包括但不侷限於機器學習，深度學習，強化學習，自然語言理解，知識圖譜，還不定時分享技術，資料，思考等文章！