word2vec 解析

什麼是word2vec ?

Word2vec,是爲一羣用來產生詞向量的相關模型。

這些模型爲淺而雙層的神經網絡,用來訓練以重新建構語言學之詞文本。網絡以詞表現,並且需猜測相鄰位置的輸入詞,在word2vec中詞袋模型假設下,詞的順序是不重要的。訓練完成之後,word2vec模型可用來映射每個詞到一個向量,可用來表示詞對詞之間的關係,該向量爲神經網絡之隱藏層。

word2vec的作用是什麼?

word2vec也叫word embeddings,中文名“詞向量”

作用就是將自然語言中的字詞轉爲計算機可以理解的稠密向量(Dense Vector)在word2vec出現之前,自然語言處理經常把字詞轉爲離散的單獨的符號,也就是One-Hot Encoder(獨熱編碼)。

word2vec的是怎麼個工作模式?

輸入是One-Hot Vector,Hidden Layer沒有激活函數,也就是線性的單元。Output Layer維度跟Input Layer的維度一樣,用的是Softmax迴歸。我們要獲取的dense vector其實就是Hidden Layer的輸出單元。有的地方定爲Input Layer和Hidden Layer之間的權重,其實說的是一回事。

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章