Word2Vec
NLP非常核心、非常重要、非常基礎的技術
Word2Vec就是用神經網絡把詞轉換成向量的模型
Word2Vec的發展
WordNet是Word2Vec的鼻祖
Word2Vec是2013年由Mikolov提出
Word2Vec模型
man比woman和king更像
所以可以看出，詞之間也有遠近關係的
Word2Vec的不足
①使用了唯一的詞向量，對於多義詞沒有很好的效果
②context很小，沒有使用全局的cooccur 對cooccur的利用少
Word2Vec的兩個模型——CBOW和Skip-Gram
CBOW和Skip-Gram相反
CBOW是根據上下文來預測一個詞
例如一個句子，“我愛機器學習”，我們輸入我、機器學習，讓它預測愛
Skip-Gram是根據一個詞，來預測其上文和下文
CBOW連續詞袋模型
CBOW, Continous Bag of Word Model
和正常的神經網絡一樣，都是加權求和，即對wx+b求和，然後通過softmax得到的概率最大的詞作爲我們的結果
CBOW的特點
①沒有隱層
Word2Vec是一個千層的神經網絡
②結合雙向上下文，上下文詞序無關
③輸入低維稠密，映射層求和
輸入是低維稠密，所以計算量還是比較大的
映射層即上圖的PROHECTION
網絡結構
Skip-Gram模型
沒有隱層
映射層也可以省略
輸入愛，輸出我，機器學習
當然，輸出什麼結果，即預測出什麼結果，是和語料數據集有關係的
網絡結構
