推薦系統CTR預估模型之DeepFM

 Deepfm是華爲諾亞方舟實驗室和哈工大在2017年合作發表的一篇論文,思想和實現都很簡單,只是在wide&deep的基礎上加一個FM,其中FM和DNN共享原始的embedding特徵向量,由於FM計算的時間複雜度爲O(Kn),其中K爲field的個數,一般也很小,故deepfm實際計算的時間複雜度和DNN接近。
在這裏插入圖片描述
 上圖爲deepfm的模型結構,可以看出和deep&cross類似,只是把cross層換成了FM層,FM層計算很簡單,一般FM的公式可以定義爲如下公式:
在這裏插入圖片描述
 其中vi 是第 i 維特徵的隱向量,⟨⋅,⋅⟩ 代表向量點積。隱向量的長度爲 k(k<<n),直觀上看,上式的時間複雜度是O(knn),上面這個公式可以經過化簡得到如下公式:
在這裏插入圖片描述
 這樣FM模型的計算時間複雜度就可以由O(knn)簡化成O(K*n). 最後再把FM層的特徵向量和DNN的特徵向量concat, 最後再經過一個二分類的softmax,就可以得到預測爲正,負樣本的概率。

模型的tensorflow實現代碼可以參考: https://github.com/qiaoguan/deep-ctr-prediction/tree/master/DeepFM
參考文獻: Huifeng Guo et all. “DeepFM: A Factorization-Machine based Neural Network for CTR Prediction,” In IJCAI,2017.

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章