原创 Bert論文閱讀

前言 Google又出新作Bert：Pre-training of Deep Bidirectional Transformers，在11項測試中取得了牛逼的效果。主要是將之前的Transform加上更爲泛化的預訓練，得到了很

2020-06-24 08:01:49

原创 DIEN在新聞推薦中的簡化探索

前言   阿里的DIEN的文章很有意思，用GRU對用戶行爲作興趣狀態描述，再用target與各個興趣狀態計算次attention，再交給AUGRU來捕捉興趣演化。最近嘗試着將其思路應用到實際新聞推薦中，鑑於原本DIEN模型稍微

2020-06-24 08:01:49

原创 興趣探測的多樣性解決方案

問題背景 還是繼續前文的問題，給用戶展示新聞的時候，除了保證興趣滿足度之外，還要保證用戶興趣發散探測，不至於興趣太收斂。我們上文討論到了用地雷克雷分佈==》再到用F(user, tag, var)=ctr的方式，雖然彌補了單個用戶

2020-04-21 08:21:19

原创 微信的look-alike的啓發

前言 微信搞的look-alike很有意思哈，我們來看下，發現對我們做內容推薦還是很有啓發的。 解決問題 1）馬太效應 推薦系統裏投放數據具有馬太效應，長尾數據無法獲得足夠曝光得到用戶反饋，頭部數據則越來越得到更多的曝光。導致窮者

2020-04-14 05:05:59

原创 興趣探測的模型化探索

背景 最近跟阿力討論了下興趣探測的事情，啓發了非常有意思的解決思路。在此簡要整理下，沒準以後擴展成統一的數學模型理論，還可以發篇小文章呢。 探測的關鍵問題和嘗試思路 興趣探測的核心問題 探測對象：對什麼樣的用戶探測 探測資源：用

2020-04-11 00:10:40

原创 整屏建模解決挑選首條的嘗試

問題背景 在推薦流裏，首位佔據着讀者視野內的重要位置，第一條推薦內容的優劣決定着讀者的第一印象；同時不同位置點擊的統計來看，也是順位衰減的。現對屏內哪條數據該放到第一條，在模型側嘗試解決下。 基本思路 當一屏數據作爲候選集，我們可

2020-04-02 17:30:22

原创 初識GAN

前言 　　簡單認識下GAN，GAN與最大似然的關係，幾個基本概念的介紹 GAN 對抗網絡 　　GAN的思想，一個判別模型D，一個生成模型G組成對抗網絡。如何對抗呢？ D的目的是儘量識別出G生成的樣本，D(x) 表示樣本

2020-02-20 22:42:41

原创 強化學習的基礎知識

　　最近又有alpha zero 以100：0戰敗 alpha master（(打敗當前人類最牛圍棋選手柯潔的人工智能）的消息，給強化學習注入了更強的一劑興奮劑。剛好順手學習了下有關強化學習的一些基礎，現整理給大家共饗。 Wha

2020-02-20 22:42:41

原创 RBM的理解

前言 　　對RBM(Restricted Boltzmann Machine)的理解進行簡單的總結。 　　主要涉及RBM的圖結構，爲什麼場能E(v,h)要如此定義，優化的思路到底是怎麼來的，MRF與MC在優化時起到怎麼樣的作

2020-02-20 22:42:41

原创 Batch Normalize的幾點說明

前言 　　前面也講過部分Batch Normalize的內容，單獨拿出來成文，是因爲感覺這方法非常贊，加快訓練速度十幾倍不等，模型越複雜越受益。 　　一句話總結BN：對每層輸入加同分布約束，再加參數線性變換學習其表達能力。

2020-02-20 22:42:41

原创 深度殘差網絡的一波兩折

　　最近拜讀了何凱明大神的深度殘差網絡，一方面驚訝於其對網絡深度的拓展，一方面又被Andreas等人的挑戰思路所震驚，殘差網絡並不是擴展深度，而是增強了網絡多樣性。果然，科學探索的路上權威不可迷信，真理總是被不斷髮掘。現梳理下殘差

2020-02-20 22:42:40

原创 不同loss函數在不同網絡結構下的誤差後傳

前言 　　推導下最小均方差（MSE）和交叉熵（CE）兩種loss函數的導數，看看還是否滿足誤差後傳的原則？有什麼區別？ 　　在一般地網絡結構下是怎麼樣的？在CNN下又是怎麼推導的？在RNN結構下（LSTM）又是怎麼推導的？直

2020-02-20 22:42:38

原创 wide & Deep 和 Deep & Cross 及tensorflow實現

前言 　　最近讀了下Google的兩篇文章《Wide&Deep Learning》和《Deep&Cross Network》，趁着熱乎比較下，順道寫個demo，免得後面用的時候瞎搞。 　　前者是用來給用戶推薦潛在喜歡的APP

2020-02-20 22:42:38

原创 從 dropout 到 Inception Network

前言 　　乍看兩者好像差的很遠的樣子，現梳理下Inception的發展脈絡，發現其中還是有很深的淵源的。dropout是ensemble by training方法，maxout則在dropout的思路上，擴展出了新的appr

2020-02-20 22:42:38

原创 Error Back Propagation in BPNeuralNetwork及手寫字體識別python版

　　神經網絡這麼牛掰，歸功於其強大的學習能力，而神經網絡模型的好壞則依賴於Error Back Propagation 算法的強力支撐，現在對其進行一下推導，知其然知其所以然~ 神經網絡簡介 　　神經網絡，顧名思義是嘗試去模仿動物

2020-02-20 22:42:38