原创 NAACL2019論文
最近關注了一下NAACL2019，看了accepted papers，選了一些感興趣的論文，有事沒事看看，記錄一下。 A Variational Approach to Weakly Supervised Document-Level M
2020-06-25 08:33:41
2
原创 AAAI2019論文
最近關注了一下AAAI2019，看了accepted papers，選了一些感興趣的論文，主要是自然語言處理方向文本分類的一些論文，有事沒事看看，記錄一下。 Weighted Channel Dropout for Regularizat
2020-06-25 08:33:41
原创 深入理解VAE(變分自編碼器)
原文地址：https://pan.baidu.com/s/1LNolV-_SZcEhV0vz2RkDRQ ； 本文進行翻譯和總結。 VAE VAE是兩種主要神經網絡生成模型中的一種，另一種典型的方法是GAN。VAE是一種自編碼器，在訓
2020-06-25 08:33:30
2
原创 神經網絡中的激活函數、優化方法
一文概覽深度學習中的激活函數： https://blog.csdn.net/uwr44uouqcnsuqb60zk2/article/details/78441062 BERT中的GELU： https://www.cnblogs.com
2020-06-25 08:33:30
原创 tf servering 的筆記
兩步走 docker run -it -p 8500:8500 tensorflow/serving:latest-devel tensorflow_model_server --rest_api_port=8501 --model_
2020-04-20 07:51:06
原创 查找字典元素的方式及速度；python2 python3下的區別
測試一下python字典中元素查找速度情況 測試代碼如下： 創建了一個字典，比較 in dict ； in dict.keys() 和 in set 三種查找方式。 在p
2020-04-20 07:51:06
原创 預訓練語言模型的一些筆記總結
ELMO 全稱爲 embedding from language model，顧名思義從語言模型中獲取詞向量。 之前的詞向量方法的兩個問題： 1.複雜的詞特性，語法(pos任務)和語義(消歧)。 2.多義，不同上下文語
2020-02-26 01:08:01
原创 Transformer-based模型中的位置信息編碼
華爲推出的預訓練模型nezha的其中一項創新點爲使用了相對位置的函數式編碼。於是本文對於Transformer相關的模型中對於字詞的位置編碼方式進行簡單的總結。本文參考了https://zhuanlan.zhihu.com
2020-02-26 01:08:01
原创 深入理解GANs(生成對抗網絡)
本文與前文VAE出自同一作者，在此筆者進行翻譯總結。 生成隨機變量 從生成隨機變量開始討論，均勻分佈變量可以通過僞隨機數過程生成。生成隨機變量的方法有很多，比如拒絕採樣，Metropolis-Hasting algor
2019-10-26 12:25:08
14
原创 正態分佈的前世今生總結
原文鏈接：https://cosx.org/2013/01/story-of-normal-distribution-1 該博文詳細介紹了正態分佈的起源和發展。 伽利略關於誤差的描述： 1.觀測數據存在誤差； 2.誤差是對稱分佈的；
2019-10-26 12:25:08
原创 深度學習中初始化方法：xavier和MSRA
Xavier初始化方法 源自論文：Understanding the difficulty of training deep feedforward neural networks Xavier;Bengio 思想：
2019-09-09 10:04:32
原创 白板推導：EM算法與GMM
EM期望最大 MLE求解存在隱變量的混合模型時無法得到解析解。 EM公式: 其中X是觀測變量，Z是隱變量，(X,Z)表示完全數據，θ是參數。 EM算法步驟：
2019-08-29 10:50:02
4
原创 Normalization總結
本文是對張俊林的博文：深度學習中的Normalization模型 歸納總結。 原博文地址：https://mp.weixin.qq.com/s/BPPGr7_5nVQXXYC5omHRTA Normalization：規範化 規範化分
2019-08-29 10:50:02
3
原创 白板推導：SVM
支持向量機(SVM) svm有三寶：間隔，對偶，核技巧。 svm又分成：hard margin svm；soft margin svm；kernel svm 間隔 svm思想：最大間隔分類器, 幾何間隔：（點到直線的距離） 函數間
2019-08-15 09:41:44