【算法類】【算法介紹】常用NLP深度學習模型之Basic Embedding Model

本文是常用NLP深度學習模型系列的第一個系列，Basic Embedding Model。

NNLM

NNLM模型是2003年由Bengio發表在JMLR的論文，其主要目的是根據語料信息學習語言模型。

模型的基本架構如下圖所示

模型的總體架構可以用一個公式來表示：

$y=b+Wx+Utanh(d+Hx)$
下面利用公式來對模型進行詳解。模型總體分爲兩個部分，一個是$Wx$，另一個是$Utanh(d+Hx)$

首先，模型的輸入爲one-hot表示的詞編號，第一步會通過lookup詞表來將詞編號轉化爲詞向量，得到x。我們假設詞向量的大小爲300維，每次輸入單詞的個數爲5，那麼x就是一個（5，300）維的詞向量表示

• $Wx$
  這一步比較容易理解，通過得到的詞向量，與W矩陣求內積，這裏假設單詞的總數爲9999個，則W爲(300*5，9999)的向量
• $Utanh(d+Hx)$
  這一步輸入向量首先通過H矩陣和偏置d將向量表示到隱層，我們假設隱層節點個數爲60個，則H爲(300*5,60)，d爲(60)，得到(,60)的節點表示，U矩陣的大小則爲(60，9999),最終輸出爲（，9999）
• 合併
  通過前面兩步的到的均爲（,9999）的向量進行相加，再加入一個偏置b(,9999)得到結果。