原创 Language Model and Recurrent Neural Networks （一）
本文是我去年十月份在公司的團隊技術分享會里面分享過的內容，分享這個內容的初衷是我發現自己對RNN(本文均指Recurrent Neural Networks而非Recursive Neural Networks)比較陌生，想找個
2020-07-08 04:31:28
3
原创 Word Embeddings And Word Sense
最近在學習2019版的CS224N，把所聽到的知識做成筆記，以便自己不時地回顧這些知識，另外還希望可以方便沒有時間看課程的朋友們用來做個快速的overview（當然，親自上課是最好的選擇）。我也儘量地把所有課程的知識細節都寫出來
2020-07-08 04:31:28
8
原创 漫談ELMo
詞嵌入在很長一段時間內對NLP領域有很大的推動的作用，以至於embedding已經成爲NLP任務中的一個標準操作。而研究人員卻發現，詞嵌入雖好，但弊端也明顯，於是乎，語言模型就上位了……如果說Word2Vec是NLP領域裏面的一
2019-08-25 14:27:03
原创 Language Model and Recurrent Neural Networks （二）
本文是我去年十月份在公司的團隊技術分享會裏面分享過的內容，分享這個內容的初衷是我發現自己對RNN(本文均指Recurrent Neural Networks而非Recursive Neural Networks)比較陌生，想找個
2019-06-30 14:21:32
原创 Language Model and Recurrent Neural Networks
本文是我去年十月份在公司的團隊技術分享會裏面分享過的內容，分享這個內容的初衷是我發現自己對RNN(本文均指Recurrent Neural Networks而非Recursive Neural Networks)比較陌生，想找個
2019-06-29 14:20:23
1
原创 Wide&Deep versus DeepFM
最近在回顧一下深度學習在推薦系統上的應用，重點回顧了兩個比較著名的模型：Wide&Deep 和 DeepFM。剛好前者是谷歌研究員提出的，後者是有三位作者來自華爲，又剛好最近這兩家公司的話題性這麼強……emmmmm 推薦系統
2019-06-10 14:56:44
原创 神經網絡的提升方法（1）——交叉熵
本文是電子書Neural Networks and Deep Learning的讀書筆記，我不能保證自己理解是否有偏誤或者忽略了原文的精彩地方，如有請讀者指出，另外還是推薦英文閱讀能力較強的讀者直接去閱讀原書，因爲寫得真的不錯。原書地址：
2018-09-03 18:09:14
3
原创 神經網絡的提升方法（2）——正則化
過擬合 過擬合是一個普遍存在的問題，尤其是在神經網絡領域，神經網絡模型動輒都有上萬個參數，現代的深度網絡參數則更是上百萬的參數，所以深度網絡更容易出現過擬合現象。 過擬合現象主要體現在accuracy rate和cost兩方面： 1
2018-08-24 00:10:25
原创 TensorFlow Doc編程指南——2 Tensor的秩，形狀和類型
TensorFlow程序使用一個tensor數據結構來代表所有數據。你可以認爲一個TensorFlow的tensor是一個n維數組或者列表。一個tensor有一個靜態類型和動態維度。只有tensor可以在計算圖節點之間被傳遞。 Rank
2018-08-24 00:10:25
原创 模型融合方法
本文是《KAGGLE ENSEMBLING GUIDE》一文的閱讀筆記，忽略了一些不感興趣的內容，原文請閱：https://mlwave.com/kaggle-ensembling-guide/ 模型融合是kaggle等比賽中經常使
2018-08-24 00:10:25
原创 TensorFlow Doc編程指南——1 變量的創建、初始化、存儲、加載
source:https://www.tensorflow.org/programmers_guide/variables 訓練一個模型時，你需要使用變量來保存和更新權值。變量是在內存緩衝區內的tensor，它們必須被顯式初始
2018-08-24 00:10:24