第一部分 Word2vec基礎
1. [Word2Vec] Efficient Estimation of Word Representations in Vector Space (Google 2013)
Google的Tomas Mikolov提出word2vec的兩篇文章之一，這篇文章更具有綜述性質，列舉了NNLM、RNNLM等諸多詞向量模型，但最重要的還是提出了CBOW和Skip-gram兩種word2vec的模型結構。雖然詞向量的研究早已有之，但不得不說還是Google的word2vec的提出讓詞向量重歸主流，拉開了整個embedding技術發展的序幕。
2. [Word2Vec] Distributed Representations of Words and Phrases and their Compositionality (Google 2013)
Tomas Mikolov的另一篇word2vec奠基性的文章。相比上一篇的綜述，本文更詳細的闡述了Skip-gram模型的細節，包括模型的具體形式和 Hierarchical Softmax和 Negative Sampling兩種可行的訓練方法。
3. [Word2Vec] Word2vec Parameter Learning Explained (UMich 2016)
雖然Mikolov的兩篇代表作標誌的word2vec的誕生，但其中忽略了大量技術細節，如果希望完全讀懂word2vec的原理和實現方法，比如詞向量具體如何抽取，具體的訓練過程等，強烈建議大家閱讀UMich Xin Rong博士的這篇針對word2vec的解釋性文章。惋惜的是Xin Rong博士在完成這篇文章後的第二年就由於飛機事故逝世，在此也致敬並緬懷一下Xin Rong博士。
第二部分 Word2vec的衍生及應用
4. [Item2Vec] Item2Vec-Neural Item Embedding for Collaborative Filtering (Microsoft 2016)
這篇論文是微軟將word2vec應用於推薦領域的一篇實用性很強的文章。該文的方法簡單易用，可以說極大拓展了word2vec的應用範圍，使其從NLP領域直接擴展到推薦、廣告、搜索等任何可以生成sequence的領域。
Airbnb的這篇論文是KDD 2018的best paper，在工程領域的影響力很大，也已經有很多人對其進行了解讀。簡單來說，Airbnb對其用戶和房源進行embedding之後，將其應用於搜索推薦系統，獲得了實效性和準確度的較大提升。文中的重點在於embedding方法與業務模式的結合，可以說是一篇應用word2vec思想於公司業務的典範。
第三部分 Graph Embedding
基於word2vec的一系列embedding方法主要是基於序列進行embedding，在當前商品、行爲、用戶等實體之間的關係越來越複雜化、網絡化的趨勢下，原有sequence embedding方法的表達能力受限，因此Graph Embedding方法的研究和應用成爲了當前的趨勢。
6. [DeepWalk] DeepWalk- Online Learning of Social Representations (SBU 2014)
以隨機遊走的方式從網絡中生成序列，進而轉換成傳統word2vec的方法生成Embedding。這篇論文可以視爲Graph Embedding的baseline方法，用極小的代價完成從word2vec到graph embedding的轉換和工程嘗試。
7. [LINE] LINE - Large-scale Information Network Embedding (MSRA 2015)
相比DeepWalk純粹隨機遊走的序列生成方式，LINE可以應用於有向圖、無向圖以及邊有權重的網絡，並通過將一階、二階的鄰近關係引入目標函數，能夠使最終學出的node embedding的分佈更爲均衡平滑，避免DeepWalk容易使node embedding聚集的情況發生。
8. [Node2vec] Node2vec - Scalable Feature Learning for Networks (Stanford 2016)
node2vec這篇文章還是對DeepWalk隨機遊走方式的改進。爲了使最終的embedding結果能夠表達網絡局部周邊結構和整體結構，其遊走方式結合了深度優先搜索和廣度優先搜索。
9. [SDNE] Structural Deep Network Embedding (THU 2016)
相比於node2vec對遊走方式的改進，SDNE模型主要從目標函數的設計上解決embedding網絡的局部結構和全局結構的問題。而相比LINE分開學習局部結構和全局結構的做法，SDNE一次性的進行了整體的優化，更有利於獲取整體最優的embedding。
阿里巴巴在KDD 2018上發表的這篇論文是對Graph Embedding非常成功的應用。從中可以非常明顯的看出從一個原型模型出發，在實踐中逐漸改造，最終實現其工程目標的過程。這個原型模型就是上面提到的DeepWalk，阿里通過引入side information解決embedding問題非常棘手的冷啓動問題，並針對不同side information進行了進一步的改造形成了最終的解決方案EGES（Enhanced Graph Embedding with Side Information）。