原创 答案選取(基於嵌入表示的相似度量)
1. ICLR2016- lstm-based deep learning models for nonfactoid answer selection 提出3個模型 QA-LSTM:利用參數共享的bi-lstm與(mean、m
原创 面對稀疏噪聲的有標籤數據時如何改造通用詞嵌入表示
文獻:RF Astudillo , S Amir , W Lin , M Silva , I Trancoso. Learning Word Representations from Scarce and Noisy Data w
原创 基於語義知識不等式的詞嵌入
文獻:Liu Q, Jiang H, Wei S, et al. Learning Semantic Word Embeddings based on Ordinal Knowledge Constraints[C]. ACL 2015:
原创 面向語義對比分析的詞嵌入
文獻:Chen Z, Lin W, Chen Q, et al. Revisiting Word Embedding for Contrasting Meaning[C] ACL 2015: 106-115. 基本思想 現有的詞嵌入模型都
原创 繼續dropout
dropout VS. L2 VS ensemble learning Ensemble learning using a different set of hidden units in every iteration (this i
原创 LSTM及其變體(一)
經典LSTM(1997) 1. 三個門的信息流入 ft=σ(Wf⋅[ht−1,xt]+bf) (1) it=σ(Wi⋅[ht−1,xt]+bi) (2) ot=σ(Wo⋅[ht−1,xt]+bo) (3) 2.
原创 詞嵌入的複用
文獻:Labutov I, Lipson H. Re-embedding words[C]//ACL (2). 2013: 489-493. 主要思想: 一方面,詞的嵌入表示形式與學習任務密切相關(dramatic (term X) an
原创 面向語法分析的word2vec修正
文獻:L Wang,C Dyer, AW Black, I Trancoso. Two/Too Simple Adaptations of Word2Vec for Syntax Problems[C]. ACL 2015: 1299–1
原创 序列向量化
DeepIntent模型 文獻:Zhai S, Chang K H, Zhang R, et al. DeepIntent: Learning Attentions for Online Advertising with Recurren
原创 面向語義關係的word2vec
面向語義關係的word2vec 文獻:Hashimoto K, Stenetorp P, Miwa M, et al. Task-oriented learning of word embeddings for semantic rela
原创 RNN變體之dropout
問題 RNN在迭代運用狀態轉換操作“輸入到隱狀態”實現任意長序列的定長表示時,會遭遇到“對隱狀態擾動過於敏感”的困境。 dropout dropout的數學形式化: y=f(W⋅d(x)) , 其中d(x)={mask∗x, if t
原创 利用詞間語義先驗關係提升詞嵌入表示
文獻:Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550. 思想 提出關係受限RCM模型,利用詞間語義先驗關
原创 linux菜鳥小招
1. ubuntu下進行u盤的掛載查看 s1)打開命令行(ctrl+alt+t),輸入指令 sudo fdisk -l; s2)根據顯示的System與Device信息,進行類似如下操作:/dev/sdb1爲Device信息,vfat與
原创 面向依存關係語法分析的詞向量裁剪
文獻:Bansal M, Gimpel K, Livescu K. Tailoring Continuous Word Representations for Dependency Parsing[C]//ACL (2). 2014: 8