原创 Understanding LSTM Networks

　　對RNN網絡中的LSTM結構學習下。翻譯篇非常好的博客，原文地址附後面。 Recurrent Neural Network 　　人們從不會隨意地開始自己的思考，當你在讀這篇博文的時候，你根據之前所讀的文字來理解現在每個

2020-02-20 22:42:38

原创 Network自身能力利用率問題

隨筆 　　大家在設計network時，更關注的是準確率什麼的，但是一個好的network，不僅在準確率上是高的，而且自身結構上也是精簡高效的。 　　關於如何評價設計的網絡結構是否發揮了最大的能效呢？下面介紹幾個指標。 inf

2020-02-20 22:42:37

原创 圖文推薦系統之數據冷啓小結

數據冷啓前言新聞推薦必須面對的入場問題簡單粗暴有時更救命止渴更漂亮優雅的入場姿勢探索後記 前言 問渠哪得清如許，爲有源頭活水來---朱熹

2019-06-29 15:22:08

原创 推薦系統之Airbnb推薦：Real-time Personalizaton using Embeddings for Search Ranking at Airbnb

前言 Airbnb在2018年KDD的best-paper，關於向量化如何在民宿訂購平臺裏的實時推薦實踐的，寫得非常實在。 業務特點 Aribnb他們具有非常鮮明的業務特點，是短租市場，且是個雙向市場，既要優化商家又要優化租客，用戶有

2019-03-31 15:17:02

原创 Bert源碼閱讀

前言 對Google開源出來的bert代碼，來閱讀下。不糾結於代碼組織形式，而只是梳理下其訓練集的生成，訓練的self-attention和multi-head的具體實現。 訓練集的生成 主要實現在create_pretrai

2018-12-23 18:54:24 16

原创 The Illustrated Transformer【譯】

前言 翻譯一篇非常讚的解釋Transformer的文章，原文鏈接。 在之前的文章中，Attention成了深度學習模型中無處不在的方法，它是種幫助提升NMT（Neural Machine Translation）的翻譯效果的思想。

2018-12-19 06:49:39 13

原创 Bert閱讀

前言 Google又出新作Bert：Pre-training of Deep Bidirectional Transformers，在11項測試中取得了牛逼的效果。主要是將之前的Transform加上更爲泛化的預訓練，得到了很好的

2018-12-07 18:55:58 2

原创 推薦系統之阿里廣告：Deep Interest Evolution Network for CTR

前言 阿里又出了篇DIEN，據傳提高了20.7%，讓我們拿來一睹爲快。 亮點 1）構建興趣提取層，並加入輔助loss來更有效學習興趣狀態。 2）構建AUGRU（GRU with Attention Update Gate），可以接住興

2018-11-26 03:53:26 6

原创 使用TF Service搭建在線服務：part-2

前文已經在服務器上下載好了docker，下面來搭建一個完整的開發測試服務環境。 先從Docker Hub上拉取一個tf service鏡像，然後我們改造成需要的虛擬環境。 $ sudo service docker restart $

2018-09-17 08:31:21

原创 使用TF Service搭建在線服務：part-1

　　現在利用docker來配置可用的虛擬服務環境並搭載tf Service模塊，直接在各個服務器上拉取虛擬服務鏡像，就可以快速地部署模型預測服務了。 docker 安裝 　　Docker官方要求內核必須3.x+纔可以，查看內核$

2018-09-17 08:31:21