原创 如何從零建立一個詞表
背景：當我們拿到一份語料，但是卻沒有分詞的詞表，我們如何找到一個最佳的詞表，能夠對這份語料是最匹配和適應的呢？ 解決方案： 首先，我認爲詞的定義是指，對語料能做語義上最合理的劃分。 這裏會有一種矛盾，如果詞數量越多，那麼在統計ngram文
2020-07-05 13:43:56
原创 語言模型在大詞彙表上 softmax 計算的改進方法
參考文 獻：https://nndl.github.io/old-chap/chap-%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E4%B8%8E%E8%AF%8D%E5%B5%8C%E5%85%
2020-07-05 13:43:56
原创 git push總是提交失敗
git push 結果提示如下 hint: Updates were rejected because a pushed branch tip is behind its remote hint: counterpart. Ch
2020-07-05 13:43:56
原创 github優秀代碼錦集
https://github.com/keon/awesome-nlp https://github.com/glample/tagger https://github.com/guoguibing/librec 優秀推薦系統代碼
2020-07-05 13:43:56
原创 LSTM一般最多堆疊多少層
在大規模翻譯任務的經驗中,簡單的堆疊LSTM層最多可以工作4層,很少工作6層,超過8層就很差了。 Redisual connection有助於梯度的反向傳播，能夠幫助lstm堆疊更多層，實現更深層的訓練，但是一般也就是最多到8層。 參考
2020-07-05 13:43:56
原创 lstm是怎麼解決梯度消失問題的
https://www.quora.com/How-does-LSTM-help-prevent-the-vanishing-and-exploding-gradient-problem-in-a-recurrent-neural-net
2020-06-16 15:15:29