由於近些年深度學習技術的飛速發展,大力加速推動了AI在互聯網以及傳統各個行業的商業化落地,其中,推薦系統、計算廣告等領域彰顯的尤爲明顯。由於推薦系統與提升用戶量以及商業化變現有着密不可分的聯繫,各大公司都放出了衆多推薦系統相關職位,且薪水不菲,目前發展勢頭很猛。
但是,這裏存在幾個問題,很多欲從事推薦系統的同學大多數學習的方式是自學,1、往往是學了很多的推薦算法模型,瞭解些推薦裏常用的算法,如:協同過濾、FM、deepFM等,但是卻不清楚這些模型在工業界推薦系統中是如何串聯、如何配合、有哪些坑,哪些trick的,導致無論面試還是真正去業界做推薦系統,都會被推薦領域的”老槍老炮“們一眼識別出小白屬性。2、對於算法原理理解不深刻,這就會導致實際應用時不能很好地將模型的性能發揮出來,另外面試時對於大廠面試官的刨根問底,只能是眼睜睜的丟掉offer。
CF、FM、DSSM、DeepFM等這些推薦業界明星模型,你真的清楚他們的內部運行原理以及使用場景嗎?真的瞭解FM模型與SVM有什麼相似之處嗎?FM固然可以用作爲打分模型,但它可以用來做matching嗎,如果可以,如何做?item2Vec模型在業界是如何緩解冷啓動的問題的?雙塔模型優勢在哪?深度模型到底是如何做matching的,是離線計算好結果還是實時的對網絡進行前向計算?DeepFM具體實現時,wide端和deep端的優化方式是一樣的嗎?基於Graph的推薦方法在業界的應用目前是怎樣的?基於上述的目的,貪心學院推出了《推薦系統工程師培養計劃2期》,由一線的推薦系統負責人親自全程直播講解。
01 課程大綱
第一部分:推薦系統之內容理解與畫像構建
Week1:機器學習基礎
邏輯迴歸模型
梯度下降法
神經網絡模型
過擬合與正則
常用的評價指標
常用的優化算法
向量、矩陣基礎
Week2:推薦系統基礎
推薦系統概述、架構設計
推薦系統後臺數據流設計
常用的技術棧
推薦系統中的評價指標
簡單的用戶協同
環境搭建
Week3:內容畫像的構建以及NLP技術
內容畫像的搭建基礎
關鍵詞提取技術tf-idf, textRank
LSTM與注意力機制
Attention的幾種常用方式
Self-Attention
Multi-head Attention
雙線性Attention
NLP工具的使用
MySQL數據庫的搭建與內容畫像存儲
Week4:用戶畫像的構建
用戶畫像與內容畫像的關係
用戶畫像的架構
用戶畫像的擴展
用戶畫像與排序特徵
用途:基於標籤的用戶畫像
標籤權重的計算方法(貝葉斯平滑、時間衰減)
基於用戶畫像的召回方法
Redis的搭建與使用
基於Redis的用戶畫像存儲
Hadoop, Hive, Spark等工具使用
第二部分:召回模型與策略、數據與採樣的學問
Week5:傳統Matching方法
MF召回法以及求解
特徵值分解
傳統奇異值分解之SVM
FunkSVD
ALS方法
SVD++
基於物品的協同Item-CF
Week6:深度 Matching方法
MF召回法以及求解
理解Embedding技術
Embedding爲什麼有效
Embedding與稀疏ID類特徵的關係
Item-CF召回與Item2Vec
Airbnb序列召回與冷啓動緩解思路
NCF召回以及變種
YouTube召回方法
從DSSM到雙塔模型
雙塔模型工業界的部署方法
多興趣召回
MIND召回
Faiss工具介紹
KD樹,LSH,Simhash
Week7: Graph Embedding與用戶行爲構建圖
MIND召回
隨機遊走於傳統協同方法
Deepwalk
Node2Vec及其同質性與結構性
LINE
隨機遊走的實現
Alias採樣方法
Neo4j講解
Graph Embedding的實現
Node2Vec的實現
Week8: 圖推薦、圖神經網絡、採樣與熱度打壓
MIND召回
Graph Embedding優化
EGS,注意力機制及其變種
Ripple網絡方法
召回層採樣的坑與技巧
熱度抑制
EGES的實現
GCN和GAT
GraphSage
第三部分:排序模型、重排序與多目標
Week9: 經典Ranking模型方法
MIND召回
Ranking與用戶畫像
物品畫像
LR模型
GBDT+ LR
FM模型詳解、業界使用方法與坑
FFM模型
AUC與GAUC
增量學習與Online Learning
從L1稀疏化、FOBOS到FTRL算法
基於FM實現Ranking精排序
Week10: 深度Ranking模型與工業採樣技巧
粗排與精排及其意義
主流深度推薦模型的集中範式
特徵自動組合:Deep&Cross, XDeepFM, PNN
特徵重要度提取以及無用特徵去噪:AFM, DeepFFM
序列推薦模型:DIN,DIEN, AttRes,Stamp
獨闢蹊徑之序列推薦的優化思路
深度模型工具的介紹與使用
MLSQL
DeepCTR等與工業界採樣方法
Week11: 重排序與多目標學習
多目標學習的幾種範式
範式一:樣本加權
範式二:多模型融合
範式三:聯合訓練、ESMM,MMOE框架,ESM2等
ESMM的實現
第四部分:實時召回策略與前沿推薦技術
Week12-13: 工業界新聞推薦系統中冷啓動與熱點文章實時召回
人羣分桶
實時交互正反饋
實時召回與實時畫像技術
人羣投票
人羣等級投票
降維分發
後驗與先驗的結合
引入注意力機制的優化興趣增加和衰減
熱點文章召回策略
本地文章召回策略
算法策略與運營配合協作
Week14: 強化學習與推薦系統、AutoML與推薦系統
強化學習概念、以及在推薦系統中的對應
DP算法本質思想
馬爾科夫決策
蒙特卡洛搜索所樹(MCTS)
UCB及其在推薦系統中的應用
湯普森採樣法
Q-Learning、DRN、策略梯度
強化學習在推薦場景中的應用
Week15: 項目總結,部署以職業規劃
工業界項目的部署
推薦系統崗位的面試要點
大廠的面試攻略
如何準備簡歷、包裝自己
職業規劃
課程其他的細節可以聯繫課程顧問來獲取
添加課程顧問微信
報名、課程諮詢
????????????
02 課程中的部分案例和作業
1. 基於畫像的推薦項目
推薦系統主要分爲兩個環節:召回和排序。這兩個階段,都離不開用戶畫像的支持,而用戶畫像又是在內容畫像基礎之上不斷累積用戶行爲而來,故首先需要有內容畫像,構建文本物品的內容畫像需要nlp技術的支持,存儲內容和用戶畫像依賴常用數據庫以及貝葉斯平滑、威爾遜置信區間等技術;學習本項目後,你將瞭解到如何使用nlp技術抽取物品信息形成內容標籤,依託mysql、Redis等數據庫存儲內容畫像,並基於內容畫像和用戶行爲形成用戶畫像,在此基礎之上建立基於畫像的推薦系統。
2. 新聞推薦項目
目前業界最主流的推薦系統使用 “多路召回 + 精排” 的方式,本項目中,帶你掌握這種工業界最流行的推薦方式,你將使用MF、雙塔等深度網絡進算法對用戶和物品進行表達,並基於ANN檢索的方式實現召回,最後使用精排,對每個候選物品進行打分並排序,最後按照得分對用戶進行物品展示。
3. 基於圖很深度網絡的新聞推薦項目
目前業界有個趨勢:“ 將圖方法引入推薦系統 ”,那麼具體要如何操作呢,有哪些圖的推薦算法是目前業界比較流行的?這些方法是如何嵌入到推薦系統中的?哪些方法是基於用戶行爲的?哪些方法是同時引入先驗的知識圖譜信息與用戶行爲的?本項目帶你掌握這些圖方法,基於圖方法對用戶進行興趣建模,從而實現召回目的;在精排打分階段,目前業界各大廠也已經由傳統模型全面替換成深度網絡及其各種變種了,本項目將在排序階段帶你掌握深度網絡的排序玩兒法。
4. 實時召回推薦項目
目前業界流行的 “ 召回 + 精排 ” 模式的推薦方式有沒有弊端呢?仔細想想,如果只基於這種方式來爲用戶展示物品,很多時候模型很難及時響應用戶的實時交互需求,在本項目中,將帶你實現推薦領域的實時交互策略、以及熱點文章推薦的實時交互技術;讓你瞭解如何計算實時收益、實現實時畫像、增加推薦系統的實時交互性。
5. 實現基於用戶協同的文本推薦
在深度學習盛行的時代,經典的協同過濾方法是否還在各大公司的推薦引擎中使用呢?答案是肯定的,協同算法在推薦領域中有這不可磨滅的基因,作爲分發和傳播能力極強的方法,至今,協同過濾方法仍然在工業界有這廣泛的應用。此案例中,同學們將親手實踐協同算法的威力。
6. 基於NLP技術、Redis構建與存儲內容畫像
用戶畫像在推薦領域有着至關重要的作用,主流的協同以及今天大火的深度召回方法,如雙塔、YouToBe召回方法等的情況下,基於用戶畫像的召回方法仍然適用,因其極具可控性與解釋性,推薦領域,因其有這天然的業務性,導致推薦系統對可解釋性要求極高,當出現推薦的bad case時,基於用戶畫像的召回策略是查找bad case的重要手段。
7. Item2Vec的實現
推薦業務領域常常有如下場景,相關推薦、猜你還喜歡等,熟悉吧?背後支持的算法和系統策略邏輯是什麼呢?答案就在此案例中,類似的相關推薦場景,即爲:根據現有物品推薦另一相關的物品或者商品,藉助於用戶行爲與word2vec思路,將item Embedding引入此場景,並適當引入side info信息來做商品的相關推薦方法,此案例將爲你揭曉其中的祕密。
8. FM方法的實現
MF(矩陣分解)算法作爲推薦算法經典代表作之一,其是最早體現出Embedding泛化擴展思想的雛形;之後,FM(因子分解機)算法在MF(矩陣分解)基礎之上發揚光大,將Embedding思想進一步引入傳統的機器學習做推薦,FM算法看成推薦領域的萬金油,召回、粗排、精排均可用FM實現,在深度學習上線資源較困難的情況下,可視爲推薦領域的baseline的不二法門,此案例中,你將親自感受FM算法的魅力。
9. Wide&Deep算法實現
推薦算法本質上就是在解決兩個問題:記憶和泛化,傳統的LR等模型,將大量的ID類稀疏特徵直接餵給模型,再由廣義線性模型直接學習這些ID類特徵的權重,本質上就是模型對特徵的簡單粗暴的記憶,因此,泛化擴展性得不到保證,從未出現過的特徵(如很重要的交叉特徵等),模型無法學習該特徵權重,故特徵的指徵能力無法體現;因此,深度學習模型引入Embedding稠密向量概念,將不同特徵之間的一部分共性抽象出,放入Embedding空間進行學習,這樣的操作可以近乎看作是模糊查找,具有較強的泛化能力,但記憶性顯然不如LR等模型,wide&&deep的提出是兼容記憶性與泛化性的考慮,在此基礎上,後續的DeepFM等模型,也只是在wide端加強了模型對特徵的顯式交叉,但架構本質與wide&&deep模型是一樣的。此案例就來帶大家實操WDL方法。
03 課程適合誰?
大學生
理工科相關專業的本科/碩士/博士生,畢業後想從事AI工作的人
今後想從事推薦系統相關工作的人
希望能夠深入AI領域,爲科研或者出國做準備
希望系統性學習推薦相關的技術
在職人士
目前從事IT相關的工作,今後想做跟推薦相關的項目
目前從事AI相關的工作,希望與時俱進,加深對技術的理解
希望能夠及時掌握前沿技術
04 報名須知
1、本課程爲收費教學。
2、本期僅招收剩餘名額有限。
3、品質保障!正式開課後7天內,無條件全額退款。
4、學習本課程需要具備一定的機器學習基礎。
●●●
課程其他的細節可以聯繫課程顧問來獲取
添加課程顧問微信
報名、課程諮詢
????????????