Word2Vec概述與基於Hierarchical Softmax的CBOW和Skip-gram模型公式推導

該文檔是我在《Word2Vec_中的數學原理詳解》基礎上做的總結和一些新的描述,增加了代碼與公式的對照和公式總彙(公式太多,彙總下看起來更方便),可以更加方便的加深對代碼和公式理解。既然是總結,則一些很基礎的知識我沒有寫到,如果裏面的有些概念不熟悉,也可以自己查一下,網上資料還是很多的。

本筆記主要是對《Word2Vec中的數學原理詳解》的總結和補充,目的是加深自己的理解和認識。
1、概述
Word2vec 是 Google 在 2013 年開源的一款將詞表徵爲實數值向量的高效工具。Word2vec 使用的是 Distributed representation 的詞向量表示方式。
Word2Vec原理主要用到的知識點有:Sigmoid函數,Bayes公式和Huffman編碼等。

這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述
這裏寫圖片描述

發佈了25 篇原創文章 · 獲贊 62 · 訪問量 19萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章