記錄一次講座筆記，講課的是花椒直播的改機算法架構工程師，王洋；王洋浙大+新加坡南洋理工大學，通信系統專業
推薦系統：幫助用戶發現內容，克服信息過載
通過分析用戶行爲，對用戶興趣建模，預測用戶的興趣
早期，基於熱度推薦：熱度高的一般質量有保證，但是集中在頭部，難以千人千面
現代化推薦系統
全樣本，生成粗排序（百萬量級），再生成精緻排序（幾百個量級），在推薦給用戶（10量級）
所以分兩步分別是：
召回與排序。
召回
基於鄰域的協同過濾
1計算用戶與物品的相似度矩陣
2計算出用戶對缺失物品的得分
將得分高的部分推薦給用戶，就可以得知該用戶沒看過的物品裏哪個更可能喜歡了
具體舉例：
早期使用：基於主播的協同過濾
由於是n方，用戶的話會維度爆炸
原因：
1主播維度小，計算少
2根據用戶的歷史行爲推薦，可解釋性強
3新用戶看一個主播即可開始推薦其他
總結
1是基於統計的方法，不是優化學習的方法
2只使用局部數據進行推薦，更像是策略
3用戶和物品維度大時對內存需求較大
基於隱向量的協同過濾
矩陣分解
顯式反饋：打分，評分
隱式反饋：交互頻率；點擊觀看等，評分矩陣一般是01形式
顯式反饋常用方法：
用兩個小矩陣相乘，擬合出大矩陣
隱式反饋常用方法：
交互程度r ， 如觀看時間大於10s
x，y是兩個小矩陣
c表示置信度正比於反饋程度
n方級別編程nk級別
可解釋性差，未用到其他特徵，不夠全面
基於深度學習的矩陣分解
內積可以用DNN學習
NCF網絡 Neural collaborative Filtering
NeuMF
鏈接地址爲：
https://mp.weixin.qq.com/s/ERfIcCJ7ne4OjfRStdR_vw
其他召回模型
Youtube召回模型
使用了較複雜的信息
線上用戶隱向量實時計算；物品隱向量離線存好
二者相乘
排序（精排）
特徵工程
直播不同於物品的推薦，直播是連續行爲，有實時特徵（比如遊戲直播，有五殺時情況與平時不同；是否在跳舞等）
訓練集的生成
藍色部分；使用之前數據組成用戶畫像
排序模型
- LR
- FM/FFM
- GBDT+LR
LR邏輯迴歸
線性迴歸
人工特徵交叉成本高（需要先驗知識）
FM因式分解機
（自動進行特徵交叉）
使用Vi Vj內積模擬特徵交叉
但是隻能進行二階特徵交叉
GBDT+LR
GBDT以天的時間級別更新
LR部分實時更新
深度學習排序
Wide&Deep類模型
- DNN
學習特徵間的潛在關係（全連接層），有泛化能力
![在這裏插入圖片描述]()
- LR+DNN
![在這裏插入圖片描述]()
下圖左邊是LR 右邊是DNN
DIN深度興趣網絡
多任務學習的模型
業界主流模型之一
可優化的目標包括：點擊、觀看、送禮、關乎、轉發等
宗旨：平衡不同目標的相互影響，做到全局最優（不要出現某個目標特別佔主導）
ESMM模型
把樣本空間分爲三個部分
曝光；點擊；轉化三個層次
是共享底層卷積的（但是共享部分可能有問題，如多任務相關性比較低）
改進：
MMOE 不同的任務使用不同的底層網絡（使用門）減輕不同任務干擾
鏈接地址爲：
https://mp.weixin.qq.com/s/e6Spp7smIEUUExJxHzUOFA
直播內容的理解與識別
把直播中最核心，最精彩的部分挖掘出來推薦給用戶
直播實時性特徵
