Deep&Cross是google在2017年發表的一篇論文,其思想和wide&deep基本一致,只是把wide&deep中的wide部分變成cross層,來彌補DNN不能顯示的學習交叉特徵這一缺陷,一般情況下效果會好於wide&deep,而且模型複雜度與與wide&deep接近。
模型結構如上圖,右邊的DNN部分和wide&deep中的DNN完全一致,左邊的cross層,計算也很簡單,
x0爲原始特徵經過embedding後的特徵向量,後一層的結果可以由其前一層,和x0計算而來,從公式可以看出,計算非常簡單,最後再把cross層的特徵向量和DNN的特徵向量concat, 最後再經過一個二分類的softmax,就可以得到預測爲正,負樣本的概率。
模型的tensorflow實現代碼可以參考:https://github.com/qiaoguan/deep-ctr-prediction/tree/master/DeepCross
參考文獻: Ruoxi Wang et all. “Deep & Cross Network for Ad Click Predictions,” In ADKDD,2017.