Document Modeling with Gated Recurrent Neural Network for Sentiment Classification 論文閱讀筆記

Paper: Document Modeling with Gated Recurrent Neural Network for Sentiment Classification
Author: Duyu Tang, et al.
Publication: 2015, EMNLP.

1 背景

文本級別的情感分類要求基於文本內容對文本進行兩個情感傾向的判斷，它是情感分析工作的基礎工作，且對於理解社交網絡或產品評論中用戶給出的內容至關重要。

之前的工作主要基於機器學習的方法，基於手動提取出的特徵構建情感分類器，這類方法非常依賴於所選特徵的有效性。

而且它們往往沒有關注到文本中對文本情感傾向具有關鍵作用的提示詞，所以需要一種端到端的、自底向上的方法來對文本的表徵進行有效地建模。

此文作者提出了一種基於文本的組成原則的方法，它以句子或文本的各個組成部分的意義來對整個句子或文本進行理解。

該方法首先基於詞的表達使用CNN或LSTM來構建句子的表達，然後基於句子和它們的內在關係使用GNN來構建文本的表達。整個過程使用交叉熵作爲損失函數，SGD作爲梯度下降方式進行訓練。

2 創新點

1. 使用神經網絡構建了文本中句子之間的關係，以用於情感分類。
2. 實驗證明該方法的文本級別情感分類的結果比其他baseline都要好。
3. 實驗證明GRU比普通的RNN效果好。

3 核心方法

3.1 句子表達

首先使用語料庫的詞嵌入矩陣將詞進行嵌入，轉成嵌入d維的詞向量。

然後使用CNN或LSTM進行句子表達的學習。

以CNN爲例，使用寬度爲1，2，3三種卷積核來挖掘句子中一元、二元和三元的特徵。

如下圖所示，假設：
$e_i\in \mathbb{R}^d$ 是每一個單詞的d維嵌入表示。
$I_c=[e_i;e_{i+1};...;e_{i+l_c-1}]\in\mathbb{R}^{d\cdot l_c}$ 是卷積層的輸出，卷積中的線性層的輸入。
那麼線性層的輸出爲：
$O_c=W_c\cdot I_c+b_c$
爲了能夠獲取句子全局的語義，將線性層輸出到均值池化層，將其轉爲長度固定的向量。

最後，增加一個tanh激活函數來引入非線性，然後將整合三個卷積的結果平均爲輸出。

3.2 文本表達

其中Gated RNN如下式計算。
$i_t=sigmoid(W_i\cdot[h_{t-1};s_t]+b_i)$
$f_t=sigmoid(W_f\cdot[h_{t-1};s_t]+b_f)$
$g_t=tanh(W_r\cdot[h_{t-1};s_t]+b_r)$
$h_t=tanh(i_t\odot[h_{t-1};s_t]+b_i)$

結構如下圖所示，（a）GatedNN將最後一個隱藏層的輸出向量作爲用於情感分類的特徵表達，並且可以進一步使用（b）所示的均值來整合歷史信息。

3.3 情感分類

4 實驗

4.1 實驗設置

使用了一個IMDB影評數據集和Yelp餐館評價2013、2014、2015三個數據集。

以訓練、驗證、測試：0.8、0.1、0.1的比例進行劃分。

4.2 實驗結果