原创 Youtube時長預估

Watch Time推導 論文中排序模型的訓練目標爲視頻點擊率，記爲： p=P(y=1∣x)=11+e−θTxp = P(y=1|x)=\frac{1}{1+e^{-\theta^Tx}}p=P(y=1∣x)=1+e−θTx1​

2020-07-05 02:15:09 2

原创 推薦系統實踐筆記（三）

1. 線性迴歸 最小二乘估計的概率解釋 線性迴歸模型如下： y(i)=θTx(i)+ϵ(i)y^{(i)}=\theta^Tx^{(i)}+\epsilon^{(i)}y(i)=θTx(i)+ϵ(i) 並假設誤差ϵ\epsil

2020-06-28 23:10:09

原创 推薦系統技術內幕（四）：算法篇之召回與融合

基於內容的推薦算法 基於內容的推薦算法，建立在這樣一個基本假設上：用戶會喜歡他喜歡的物品的相似物品。 這是一個很樸素的假設，也比較符合人性，比如如果喜歡看喜劇之王，大概率也會喜歡大話西遊。在這個假設的基礎上，我們的推薦算法的過程就

2020-06-20 22:38:14

原创 推薦系統實踐筆記（二）：利用與探索問題

推薦系統的經典問題之一，利用（Exploitation） 與 探索（Exploration）問題 Exploitation：滿足已知的用戶需求 Exploration：探索未知的用戶需求 Exploitation的必要性比較容

2020-06-20 21:38:02 1

原创 推薦算法普查（基於深度學習）

摘要 深度學習已經成爲推薦算法研究者們理想的選擇。隨着機器學習領域研究興趣的強力增長，已經很難跟蹤誰纔是TopN推薦問題的最先進算法。與此同時，最近有幾篇文章指出現在機器學習領域實踐方面的一些問題，比如結果可復現性，以及basel

2020-06-20 20:40:43

原创 高斯過程（一）

我們來考慮一個簡單的線性迴歸問題： 假設我們需要建模的函數爲f:R→Rf:R\rightarrow Rf:R→R 我們有一些觀察數據$ \bold x = [x_1, …,x_N]^T, \bold y=[y_1,…,y_N]^

2020-06-20 20:40:43

原创 深度模型（十五）：Calibrated Recommendations

原文地址：Calibrated Recommendations 1 簡介 推薦系統在許多不同的應用程序域中提供個性化的用戶體驗，包括在線購物，社交網絡和音樂/視頻流。 在本文中，我們揭示針對準確性（例如，排序指標）進行訓練的推薦系

2020-06-20 20:40:43

原创 深度模型（十二）：Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba

簡介 互聯網技術一直不斷地在改變着商業，今天電子商務已經非常普及了。阿里作爲中國最大的電子商務企業，使得全世界的消費者和企業在線上做生意。阿里擁有十億的用戶，2017年的總交易額（Gross Merchandise Volume）

2020-06-20 20:40:43

原创 AllReduce

背景 深度學習領域的關鍵挑戰之一，就是耗時。耗時的原因來自於兩個方面，一方面是模型越來越大，參數越來越多，千萬甚至數十億，另一個方面是訓練數據量的增多。所以更低的耗時、更快速的實驗，對於模型的的開發效率至關重要，使研究者有機會探索

2020-06-20 20:40:43

原创 交叉墒與類不均衡問題

對於一個二分類模型，衡量模型效果的標準指標之一，是log-loss或binary cross entory(後面統一稱之爲交叉墒【cross entropy】)。給定一個二分類預測任務，模型不直接輸出0/1，而是輸出一個概率值y^

2020-06-20 20:40:43

原创 深度模型（十一）：On Using Very Large Target Vocabulary for Neural Machine Translation

摘要 近來提出的完全基於神經網絡的神經機器翻譯，相比於傳統方法比如基於短語的統計機器翻譯，取得了令人滿意的成績。但是在神經機器翻譯對詞表的大小有限制，隨着詞表的增大，訓練的複雜度以及解碼的複雜度都會相應增大。本文提出了一種基於重要

2020-06-20 20:40:43

原创 深度模型（十四）：CB2CF

原文地址：CB2CF: A Neural Multiview Content-to-Collaborative Filtering Model for Completely Cold Item Recommendations 1.

2020-06-20 20:40:43 1

原创 pslite技術內幕（二）：實戰篇

ps-lite項目實現了參數服務器框架中的通信模塊，簡化了原paper中的設計，將集羣中節點分爲scheduler, worker和server三類，主要解決節點間的通信問題。 核心類 類名 功能 代碼位置 Simp

2020-06-20 20:40:43

原创 推薦系統實踐筆記（一）

推薦算法工程師的工作一般都可以建模爲帶約束條件的最優求解問題。 目標設定 目標的設定需要較強的業務理解和領域知識：尤其是偏中長期的目標 目標的測量方法與目標本身同樣重要：需要考慮採用哪些指標，哪些屬於短期指標，哪些屬於長期指標，

2020-03-16 13:49:23 1

原创 CUDA編程手冊（一）

1 簡介 1.1 從圖像處理到通用並行計算 由於市場對實時高清3D圖形計算的強烈需求，可編程圖像處理器(programmable Graphic Processor Unit)或簡稱GPU，已發展成高並行、多核、多線程的處理器，擁

2020-02-21 14:59:15 1