目錄
二、詞的分佈式表示（Distributed Representation）
2、神經網絡語言模型（Neural Network Language Model，NNLM）
3、Word2Vec，GloVe，Doc2Vec，Fasttext，Elmo，Bert，Flair
一、詞的離散表示
語料庫：（1）John likes to watch movies. Mary likes too. （2）John also likes to watch football games.
字典： {"John": 1, "likes": 2, "to": 3, "watch": 4, "movies": 5, "also": 6, "football": 7, "games": 8, "Mary": 9, "too": 10}
字典包含10個單詞，每個單詞有唯一索引；在詞典中的順序和在句子中的順序沒有關聯
1、One-hot編碼（獨熱編碼）
One-Hot編碼是分類變量作爲二進制向量的表示。這首先要求將分類值映射到整數值。然後，每個整數值被表示爲二進制向量，除了整數的索引之外，其它都是零值，它被標記爲1。
使用one-hot編碼，將離散特徵的取值擴展到了歐式空間，離散特徵的某個取值就對應歐式空間的某個點
John: [1, 0, 0, 0, 0, 0, 0, 0, 0, 0] ；likes: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0]；……too : [0, 0, 0, 0, 0, 0, 0, 0, 0, 1]
from sklearn.preprocessing import OneHotEncoder
2、Bag of Words（BOW，詞袋模型）
BOW模型忽略了文本的語法和語序，用一組無序的單詞（words）來表達一段文字或一個文檔。（文檔的向量表示可以直接將各詞的詞向量加和表示）
John likes to watch movies. Mary likes too. 表示爲：[1, 2, 1, 1, 1, 0, 0, 0, 1, 1]
John also likes to watch football games. 表示爲：[1, 1, 1, 1, 0, 1, 1, 1, 0, 0]
這兩個向量共包含10個元素, 其中第i個元素表示字典中第i個單詞在句子中出現的次數. 因此BOW模型可認爲是一種統計直方圖 (histogram)。在文本檢索和處理應用中, 可以通過該模型很方便的計算詞頻。
from sklearn.feature_extraction.text import CountVectorizer
缺陷：“詞彙鴻溝”現象，稀疏方式存儲，其獨立性假設不太符合語言文字實際分佈情況，忽略了單詞間的語法和順序，無法瞭解單詞間的關聯程度。
解決：採用高階（2階以上）統計語言模型：Bi-Gram、Tri-Gram等。
3、N-gram語言模型
N-gram是計算機語言學和概率論範疇內的概念，是指給定的一段文本或語音中N個項目（item）的序列。項目（item）可以是音節、字母、單詞或鹼基對。通常N-grams取自文本或語料庫。
N=1時稱爲unigram，N=2稱爲bigram，N=3稱爲trigram，以此類推。
（1）N-gram原理
N-Gram是基於一個假設：第n個詞出現與前n-1個詞相關，而與其他任何詞不相關。（這也是隱馬爾可夫當中的假設。）整個句子出現的概率就等於各個詞出現的概率乘積。各個詞的概率可以通過語料中統計計算得到。
假設句子T是有詞序列w1,w2,w3...wn組成，用公式表示N-Gram語言模型如下：
P(T)=P(w1)*p(w2)*p(w3)***p(wn)=p(w1)*p(w2|w1)*p(w3|w1w2)***p(wn|w1w2w3...)
一般常用的N-Gram模型是Bi-Gram和Tri-Gram。分別用公式表示如下：
Bi-Gram: P(T)=p(w1|begin)*p(w2|w1)*p(w3|w2)***p(wn|wn-1)
Tri-Gram: P(T)=p(w1|begin1,begin2)*p(w2|w1,begin1)*p(w3|w2w1)***p(wn|wn-1,wn-2)
注意上面概率的計算方法：P(w1|begin)=以w1爲開頭的所有句子/句子總數；p(w2|w1)=w1,w2同時出現的次數/w1出現的次數。以此類推。
（2）N-gram語言模型學習（可參看統計自然語言處理）
爲2-gram建立索引：{"John likes”: 1, "likes to”: 2, "to watch”: 3, "watch movies”: 4, "Mary likes”: 5, "likes too”: 6, "John also”: 7, "also likes”: 8, “watch football”: 9, "football games": 10}
John likes to watch movies. Mary likes too. 表示爲：[1, 1, 1, 1, 1,1, 0, 0, 0, 0]
John also likes to watch football games. 表示爲：[0, 1, 1, 0, 0, 0, 1, 1,1, 1]
模型參數數量與n的關係如下表
| n | 模型參數數量 |
| 1（unigram） |
|
| 2（Bi-gram） |  |
| 3（Tri-gram） |  |
| 4（4-gram） |  |
一句話（詞組合）出現的概率
Unigram/1-gram ：P(Mary likes too) = P(too | Mark, likes) * P(likes | Mary) * P(Mary) = P(too) * P(likes) * P(Mary)
Bi-gram/2-gram ：P(Mary likes too) = P(too | Mark, likes) * P(likes | Mary) * P(Mary) = P(too | likes) * P(likes | Marry) * P(Mary)
注意（One-hot，BOW，n-gram）離散表示的問題：
無法衡量詞向量之間的關係；詞表維度隨着語料庫增長而膨脹；n-gram語言模型考慮了詞的順序，但是 n-gram詞序列隨語料庫膨脹的更快；數據稀疏問題等。
可以使用KenLm這個工具訓練統計n-gram語言模型。
二、詞的分佈式表示（Distributed Representation）
詞的分佈式表示核心是：上下文的表示以及上下文與目標詞之間的關係的建模。
1、共現矩陣（Co-currence Matrix）
基於矩陣的分佈表示主要是構建“詞-上下文”矩陣，通過某種技術從該矩陣中獲取詞的分佈表示。矩陣的行表示詞，列表示上下文，每個元素表示某個詞和上下文共現的次數，這樣矩陣的一行就描述了該詞的上下文分佈。
常見的上下文有：（1）文檔，即“詞-文檔”矩陣；（2）上下文的每個詞，即“詞-詞”矩陣；（3）n-元詞組，即“詞-n-元組”矩陣。
經典模型代表：Global Vector模型（GloVe）是一種對“詞-詞”矩陣進行分解從而得到詞表示的方法。
GloVe模型（Global Vectors for Word Representation）
（1）共現矩陣的表示
詞-文檔（Word-Document）的共現矩陣主要用於發現主題（topic），用於主題模型，如LSA（Latent Semantic Analysis）。
詞-詞（Word-Word）共現矩陣可以挖掘語法和語義信息。
例如：語料庫如下：
• I like deep learning.
• I like NLP.
• I enjoy flying.
則共現矩陣表示如下：（使用對稱的窗函數（左右window length都爲1) ）
例如：“I like”出現在第1，2句話中，一共出現2次，所以= 2； 對稱的窗口指的是，“like I”也是2次。
將共現矩陣行(列)作爲詞向量表示後，可以知道like，enjoy都是在I附近且統計數目大約相等，他們意思相
（2）共現矩陣表示存在的問題
將共現矩陣的行列作爲詞向量：向量維數隨着詞典大小線性增長；存儲整個詞典的空間消耗非常大；一些模型如文本分類模型會面臨稀疏問題；模型會欠穩定。
解決辦法：構造低維稠密向量作爲詞的分佈式表示（25~1000維），如使用奇異值分解SVD（Singular Value Decomposition）對共現矩陣向量做降維。
2、神經網絡語言模型（Neural Network Language Model，NNLM）
3、Word2Vec，GloVe，Doc2Vec，Fasttext，Elmo，Bert，Flair