利用詞間語義先驗關係提升詞嵌入表示

文獻：Yu M, Dredze M. Improving Lexical Embeddings with Semantic Knowledge[C]. ACL 2014: 545-550.

思想

提出關係受限RCM模型，利用詞間語義先驗關係提升詞嵌入表示。

Relation Constrained Model（RCM）

定義關係R,比如語義相似度小於某個指定閾值的詞序偶<wi,wj> 集合,進而可定義類似CBOW模型的目標函數如下：
QRCM=1|V|∑i=1|V|∑w∈Rwilogp(wi|w)

RCM與CBOW相結合的混合模型

由於CBOW模型的目標函數爲QCBOW=1|V|∑t=1|V|logp(wt|wt+ct−c) ，故有混合目標函數Qjoint=QCBOW+λQRCM .

對比QRCM 與QCBOW 可知，二者差異是：與目標詞進行比較的相關詞不同，一個是具有先驗語義相關性的詞集合，一個是序列位置上下文。