自然語言處理相關學習資料

自然語言處理相關學習資料（轉）

book

1. 宗成慶. 統計自然語言處理. 清華大學出版社. 2008. 此書爲統計觀點，適合CS背景做NLP的人讀。

2.Manning, C. D Foundations of Statistical Natural Language Processing. MIT Press. 1999.

1. 馮志偉. 自然語言處理的形式模型. 中國科技大學出版社. 2010. 此書講涵蓋句法、語義各個層面 ps：作者是從Linguistic角度去分析自然語言處理

Model:

1. Yoshua Bengio. A Neural Probabilistic Language Model. JMLR(2003). 2003. 神經網絡語言模型的開山之作，MileStone論文，引用率634(Google Scholar)。

2. Frederic Morin, Yoshua Bengio. Hierarchical Probabilistic Neural Network Language Model. Innovations in Machine Learning(2006). 2006.提出了Hierarchical NPLM

3. Andriy Mnih, Geoffrey Hinton. Three New Graphical Models for Statistical Language Modelling. ICML(2007). 2007. 提出了三個Model，其中提的較多的是A Log-Bilinear Language Model，後續論文多引用此模型

4. Andriy Mnih, Geoffrey Hinton. A Scalable Hierarchical Distributed Language Model. NIPS(2008). 2008. 提出HLBL

5. Ronan Collobert, Jason Weston. A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning. ICML(2008). 2008. 舊瓶新酒-TDNN Multitask Learning

6. Ronan Collobert Jason Weston et al.Natural Language Processing (Almost) from Scratch. JMLR(2011). 2011. 對SENNA進行解釋的論文，注意SENNA要區別[5]中的C&W embedding.

7. Eric H. Huang, Richard Socher, etc. ImprovingWord Representations via Global Context and MultipleWord Prototypes. ACL(2012). 2012. 此篇paper把全局信息加入模型，模型求解用了[5]中的方法

8. word2vec系列paper：

   • Distributed Representations ofWords and Phrases and their Compositionality
   • Efficient Estimation of Word Representations in Vector Space
   • word2vec Explained: Deriving Mikolov et al.’s Negative
   • Sampling Word-Embedding Method 解釋性的paper 發佈arxiv上的，和有道那個可以一起看

9. Nitish Srivastava, Ruslan Salakhutdinov,Geoffrey Hinton. Modeling Documents with a Deep Boltzmann Machine. UAI(2013). 類似於LDA的一種topic model

10. RNN系列, Recurrent NN能model long term dependency, 訓練出的結果比Feed Forward NN結果更好 但訓練複雜度更大 這個系列word2vec作者Mikolov研究較多，比如其博士論文

    • Linguistic Regularities in Continuous SpaceWord Representations
      Recurrent neural network based language model

11. Recursive NN這個主要用在句法分析上，model自然語言存在的遞歸結構 這個主要是Richard Socher的paper

    • Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank
    • Parsing Natural Scenes and Natural Language with Recursive Neural Networks

12. Joseph Turian, Lev Ratinov, Yoshua Bengio. Word representations: A simple and general method for semi-supervised learning. ACL(2010) 對現有的word Representation做了對比 提供一個新的word embedding 讀者可以自行復現（見Section 13）。

13. Jeffrey Pennington，Richard Socher, Chris Manning. GloVe: Global Vectors for Word Representation. EMNLP(2014)
    GloVe與word2vec對比的效果曾經被質疑過 其實word2vec效果差不多

14. Omer Levy, Yoav Goldberg.Neural Word Embedding as Implicit Matrix Factorization. NIPS. 2014.
    將SGNS(Skip Gram with Negative Sampling)和矩陣分解等價分析，SGNS等價於分解PMI矩陣。文中作者基於譜方法（SVD）分解shifted PPMI的矩陣，得到了不錯的效果（word sim上和word2vec類似）。作者還在arxiv提交了一個分析SGNS的note，結合看更加。

15. Q.V. Le, T. Mikolov.Distributed Representations of Sentences and Documents.ICML(2014). 2014. 文中各個實驗都體現了好的效果，但是可復現性一直遭到質疑，最近在word2vec的google group上公佈了復現方法，已經有人復現出92.6%的結果。

Tutorial：

1. Tomas Mikolov. Statistical Language Models Based on Neural Networks

2. Richard Socher. Recursive Deep Learning for Modeling Semantic Compositionality

3. Ruchard Socher, Christpher Manning. Deep Learning for Natural Language Processing (without Magic)

Evaluation：

1. Yanqing Chen, etc. The Expressive Power of Word Embeddings. ICML(2013). 實驗評價了四個model–HLBL[4],SENNA[11],Turian’s[12], Huang’s[6].