原创 答案選取(基於嵌入表示的相似度量)

1. ICLR2016- lstm-based deep learning models for nonfactoid answer selection 提出3個模型 QA-LSTM:利用參數共享的bi-lstm與(mean、m

原创 面對稀疏噪聲的有標籤數據時如何改造通用詞嵌入表示

文獻:RF Astudillo , S Amir , W Lin , M Silva , I Trancoso. Learning Word Representations from Scarce and Noisy Data w

原创 基於語義知識不等式的詞嵌入

文獻:Liu Q, Jiang H, Wei S, et al. Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints[C]. ACL 2015:

原创 面向語義對比分析的詞嵌入

文獻:Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115. 基本思想 現有的詞嵌入模型都

原创 繼續dropout

dropout VS. L2 VS ensemble learning Ensemble learning using a different set of hidden units in every iteration (this i

原创 LSTM及其變體(一)

經典LSTM(1997) 1. 三個門的信息流入 ft=σ(Wf⋅[ht−1,xt]+bf) (1) it=σ(Wi⋅[ht−1,xt]+bi) (2) ot=σ(Wo⋅[ht−1,xt]+bo) (3) 2.

原创 詞嵌入的複用

文獻:Labutov I, Lipson H. Re-embedding words[C]//ACL (2). 2013: 489-493. 主要思想: 一方面,詞的嵌入表示形式與學習任務密切相關(dramatic (term X) an

原创 面向語法分析的word2vec修正

文獻:L Wang,C Dyer, AW Black, I Trancoso. Two/Too Simple Adaptations of Word2Vec for Syntax Problems[C]. ACL 2015: 1299–1

原创 序列向量化

DeepIntent模型 文獻:Zhai S, Chang K H, Zhang R, et al. DeepIntent: Learning Attentions for Online Advertising with Recurren

原创 面向語義關係的word2vec

面向語義關係的word2vec 文獻:Hashimoto K, Stenetorp P, Miwa M, et al. Task-oriented learning of word embeddings for semantic rela

原创 RNN變體之dropout

問題 RNN在迭代運用狀態轉換操作“輸入到隱狀態”實現任意長序列的定長表示時,會遭遇到“對隱狀態擾動過於敏感”的困境。 dropout dropout的數學形式化: y=f(W⋅d(x)) , 其中d(x)={mask∗x, if t

原创 利用詞間語義先驗關係提升詞嵌入表示

文獻:Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550. 思想 提出關係受限RCM模型,利用詞間語義先驗關

原创 linux菜鳥小招

1. ubuntu下進行u盤的掛載查看 s1)打開命令行(ctrl+alt+t),輸入指令 sudo fdisk -l; s2)根據顯示的System與Device信息,進行類似如下操作:/dev/sdb1爲Device信息,vfat與

原创 面向依存關係語法分析的詞向量裁剪

文獻:Bansal M, Gimpel K, Livescu K. Tailoring Continuous Word Representations for Dependency Parsing[C]//ACL (2). 2014: 8