面向語法分析的word2vec修正

文獻：L Wang，C Dyer， AW Black， I Trancoso. Two/Too Simple Adaptations of Word2Vec for Syntax Problems[C]. ACL 2015: 1299–1304.
https://github.com/wlin12/wang2vec

問題分析

CBOW與skip-gram在利用目標詞的上下文進行其語義嵌入表示時，沒有考慮上下文內的詞序信息，從而使得該二者無法有效解決語法分析相關問題，這是由於 syntax關心的是“what words go where?”而語義關心的是“what words go together”。

Structured Word2Vec

• Structured Skip-Ngram
  skip-gram模型在利用中心詞wo 預測其語境詞w−c,⋯,w−1,w1,⋯,wc 時只運用一個輸出矩陣O∈R|V|×d . 而在Structured Skip-Ngram中，對每個場景詞wi 分別定義一個Oi∈R|V|×d 。則待優化的概率轉變爲：p(wp=j|w=i)=exp(Cpj⋅E⋅wi) , w=i 表示當前窗口中心詞是vocabulary中的第i 個詞, wp=j 表示當前窗口中心詞的語境詞wp 是vocabulary中的第j 個詞. E 爲嵌入矩陣，E⋅wi 表示提取wi 的嵌入表示，Cpj 就是第j 個單詞的輸出矩陣。

• CWINDOW
  CBOW模型是通過對上下文窗口內的各單詞向量進行求和來實現中心詞向量的修正，從而導致單詞順序信息丟失。而在CWINDOW中，不是以求和方式構造輸出矩陣O 而是以連接方式產生O=[e(w−c),⋯,e(w−1),e(w1),⋯,e(wc)] ,這樣可以保存順序信息。