原创 DeepFM理論與其應用 1. CTR預估中的特徵分析 2.深度學習在CTR預估的進展 3.DeepFM核心思想 4. DeepFM重要參數 5. DeepFM的實現 引用

DeepFM[1]是哈工大Guo博士在華爲諾亞實驗室實習期間,提出的一種深度學習方法,它基於Google的經典論文Wide&Deep learning 基礎上,通過將原論文的wide部分--LR部分替換成FM[4],從而改進了原模型依然需要

原创 願你心明眼亮 1. 信息時代 2. 信息來源 3. 行動體系

近日武漢疫情,席捲全球,九州閉戶,萬民蒙難。給我極大的震撼,從歲末到元宵,可謂日日涕淚縱橫。到此刻真正明白,沉默也是一種罪行。 於是,寫下這篇小文,希望能夠幫助或啓發我的朋友們,如何建立一個真實、實時的私人資訊系統,並從中受益。 1. 信息

原创 DeepFM理論與其應用

DeepFM[1]是哈工大Guo博士在華爲諾亞實驗室實習期間,提出的一種深度學習方法,它基於Google的經典論文Wide&Deep learning 基礎上,通過將原論文的wide部分--LR部分替換成FM[4],從而改進了原模型依然需要

原创 數學公式撰寫

RStudio安裝LaTeX以及Rticles #LaTeX公式生成 install.packages("miniUI") install.packages("bookdown") bookdown:::mathquill() ins

原创 一站式機器學習平臺資源介紹

1. 緣起 近日和公司同學分享了推薦系統的構建、策略、算法等相關內容。由於課程長度緣故,來不及和大家實踐一下,如何實現一個簡單推薦系統的CTR預估模型。於是,課後想分享一個基於Jupyter Notebook的demo,發現居然一時間找不到

原创 推薦資料彙總與解說

最近和好幾位朋友討論推薦系統的搭建和升級,暫時沒空將全部實踐過的部分都寫出來,但是看過的資料和論文倒是一氣呵成地梳理出來,對想從零搭建一個推薦系統或者對推薦系統現有效果不滿希望升級的同學來說,可能有用,也可能沒用,你都已經看過。 1. 架構

原创 大數據團隊工作與建設

1. 概要 在過去五年間,負責過從數百萬DAU到幾千萬DAU的成熟型數據算法團隊,也曾負責從零開始的到幾百萬DAU增長型團隊,積累了一些數據建設的想法思考以及數據團隊管理經驗。以前數據團隊-啓明星的好幾個小夥伴,現在也陸續走上了數據團隊負

原创 糖豆實時推薦系統設計與實現

1.實時推薦系統與相關工作 1.1 原因 實時計算能夠及時捕獲用戶短時興趣,同時能夠快速反饋分發當前系統的用戶興趣內容。大量實踐以及發表的文章都顯示了推薦系統實時化,對推薦精準度的提升的有效性和必要性。 1.2 騰訊架構與實現 實時推薦相關

原创 如何真誠讀過的一本傳記

近來讀書,多是傳記,有些真誠直接,有些謙遜中肯,也有一些偉光正。在地鐵、快車、餐廳裏斷斷續續看完村上君的《我的職業是小說家》。所有的故事都會收場,正如所有的路都會走完。姑且摘錄些片段,權當一段往事。 這幾年來,村上君一直作爲最熱門的諾獎陪跑

原创 糖豆數據倉庫模型

數據倉庫是面向主題的、集成的、時變的和非易失的有組織的數據集合,支持管理決策制定。不同於面向OLTP(On-Line Transaction Processing)數據庫建設,數據倉庫爲OLAP(On-Line Analytical Pro

原创 深度學習於糖豆推薦應用--圖片模糊識別

1. 引言 糖豆的小視頻大部分來自UGC,我們的用戶更多分佈在三四線城市,她們經濟條件相對沒有那麼良好,受限於手機相機、光線、拍攝者的抖動等影響導致部分上傳的視頻的首圖圖像質量不高。低質量圖片類型主要包括運動模糊、對焦模糊、圖片發黑(白)等

原创 LBS大數據產品規劃

1. 產品 用戶分羣 用戶相似度(提供不同維度給客戶,返回相似度)(單一推薦,羣體lookalike) 用戶離羣檢測(風控模型) 用戶關係網絡(wifi數據、運單數據,同城、同商圈,同鄉、三元閉包) 用戶位置模型(用戶不同時間段,使用的交

原创 糖豆A/B 測試實驗平臺

1. 初步 1.1 名詞解釋 實驗位: 實施AB測試的客戶端位置,由客戶端頁面和模塊組合而成,比如:首頁--猜你喜歡。 策略: 每個實驗內部的實驗方法,由具體業務生成控制,對應到具體一個業務功能。 分桶:根據用戶設備號取模,得到0~99

原创 春節讀書小記一

多年異地求學的經歷告訴我,切勿假期帶書回家,因爲你一本都不會看。如果說這些年學會了什麼做人的道理,那應該是,從善如流。也可以是,不要低估你的懶惰。 還好有kindle,使得路途變成讀書的好光陰,略微記錄路上讀完的幾本書。 回家的飛機上先看的

原创 糖豆推薦系統第一期開發與評估報告

1.緣起 糖豆作爲國內最大的廣場舞平臺,全網的MAU已經超過4000萬,每月PGC和UCG生產的視頻個數已經超過15萬個,每月用戶觀看的視頻也超過100萬個。然而之前糖豆APP首頁主要還是依賴內容編輯手工推薦來發現內容,每天的推薦量也是幾十