原创 依存句法分析—A Fast and Accurate Dependency Parser using Neural Networks

一、問題描述 這是一篇使用神經網絡來做依存句法分析的經典文章,傳統的依存句法分析特徵向量稀疏,特徵向量泛化能力差,特徵計算消耗大,用神經網絡做transition-based貪心模型可以緩解上述問題,準確率提高,速度變快。由於源代碼是ja

原创 圖像識別——AlexNet原理解析及實現

轉載自:https://blog.csdn.net/u012679707/article/details/80793916 &nbs

原创 fasttext源碼解析

轉載自知乎 作者:張曉輝 鏈接:https://zhuanlan.zhihu.com/p/64960839     https://zhuanlan.zhihu.com/p/65687490 來源:知乎 著作權歸作者所有。商業轉載請聯繫作

原创 Graph Embedding(一)—— DeepWalk的原理及實現

1. 概念介紹 圖:是一種非常常用的結構,包含邊和節點; Graph Embedding:圖中的每個節點會對應一個詞向量,某兩個節點挨的越近(或者聯繫越緊密、或者共同的邊越多),詞向量在詞向量空間裏也就越近(想想單詞的詞向量的定義,和這差

原创 推薦系統——MF及其python實現

前言 目前推薦系統中用的最多的就是矩陣分解方法,在Netflix Prize推薦系統大賽中取得突出效果。以用戶-項目評分矩陣爲例,矩陣分解就是預測出評分矩陣中的缺失值,然後根據預測值以某種方式向用戶推薦。今天以“用戶-項

原创 文獻閱讀筆記—Deep contextualized word representations

遷移學習在nlp領域的應用之pretrain language representation,四連載,建議按順序看,看完對該方向一定會非常清楚的! (一)ELMO:Deep contextualized word representati

原创 RNN與LSTM系列(二)——LSTM的參數個數

轉載:https://www.cnblogs.com/wushaogui/p/9176617.html 目錄: 1. LSTM簡單介紹 2.簡單假設樣例 3.神經元分析 3.1忘記門層 3.2細胞狀態 3.3輸出層 3.4總結 4.測試

原创 詞向量訓練skipgram的python實現

skipgram的原理及公式推倒就不詳細說了,主要記錄一下第一個正向傳播和反向傳播都自己寫的神經網絡,也終於體驗了一把負採樣對於詞向量訓練速度的驚人提升,感人!雖然最終的時間複雜度依然較高,不過我正在研究同樣使用python的gensim

原创 排序算法python實現集錦

1. 直接插入排序——升序 #直接插入排序 升序排序 def insert_sort(a): length = len(a) for i in range(1, length): if a[i] <

原创 文獻閱讀筆記—Multiway Attention Networks for Modeling Sentence Pairs

1. 問題描述 這是一篇計算兩個句子間相似度的文章,用於句子p是否是句子q的另一種表達(paraphrase identification)、句子p是否可以從句子q中推斷出(natural language inference)、句子p是

原创 可解釋性(2)—— RNN可視化工具RNNVis

一、背景 解釋RNN爲什麼那麼困難:       1. hidden state多,更新hidden state所用的參數更多。       2.使用RNN處理的文本等序列數據,本身語義信息繁多,難以解釋。       3.輸入一個單詞會

原创 文獻閱讀筆記—Improving Language Understanding by Generative Pre-Training

遷移學習在nlp領域的應用之pretrain language representation,四連載,建議按順序看,看完對該方向一定會非常清楚的! (一)ELMO:Deep contextualized word representati

原创 文獻閱讀筆記—BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding

遷移學習在nlp領域的應用之pretrain language representation,四連載,建議按順序看,看完對該方向一定會非常清楚的! (一)ELMO:Deep contextualized word representati

原创 用python + stack實現括號有效問題

def isValid(self, s): Parentheses = [] count = 0 Parenthese_dict = {'(' : ')', '[' :

原创 知識圖譜_關係抽取_文獻筆記(二)

本文介紹一篇18年EMNLP的文章Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning。對知識圖譜關係抽取前世瞭解一下,再來