TextCNN模型詳細解析(2017年知乎競賽第一名架構)

 

目錄

• 1. 模型原理
  • 1.1 論文
  • 1.2 網絡結構
• 2. 實現

 

---

回到頂部

 

1. 模型原理

1.1 論文

Yoon Kim在論文(2014 EMNLP) Convolutional Neural Networks for Sentence Classification提出TextCNN。

將卷積神經網絡CNN應用到文本分類任務，利用多個不同size的kernel來提取句子中的關鍵信息（類似於多窗口大小的ngram），從而能夠更好地捕捉局部相關性。

 

1.2 網絡結構

 

 TextCNN的詳細過程原理圖如下：

TextCNN詳細過程：

• Embedding：第一層是圖中最左邊的7乘5的句子矩陣，每行是詞向量，維度=5，這個可以類比爲圖像中的原始像素點。
• Convolution：然後經過 kernel_sizes=(2,3,4) 的一維卷積層，每個kernel_size 有兩個輸出 channel。
• MaxPolling：第三層是一個1-max pooling層，這樣不同長度句子經過pooling層之後都能變成定長的表示。
• FullConnection and Softmax：最後接一層全連接的 softmax 層，輸出每個類別的概率。

  

通道（Channels）：

• 圖像中可以利用 (R, G, B) 作爲不同channel；
• 文本的輸入的channel通常是不同方式的embedding方式（比如 word2vec或Glove），實踐中也有利用靜態詞向量和fine-tunning詞向量作爲不同channel的做法。

 

一維卷積（conv-1d）：

• 圖像是二維數據；
• 文本是一維數據，因此在TextCNN卷積用的是一維卷積（在word-level上是一維卷積；雖然文本經過詞向量表達後是二維數據，但是在embedding-level上的二維卷積沒有意義）。一維卷積帶來的問題是需要通過設計不同 kernel_size 的 filter 獲取不同寬度的視野。

 

Pooling層：

利用CNN解決文本分類問題的文章還是很多的，比如這篇 A Convolutional Neural Network for Modelling Sentences 最有意思的輸入是在 pooling 改成 (dynamic) k-max pooling ，pooling階段保留 k 個最大的信息，保留了全局的序列信息。

比如在情感分析場景，舉個例子：

“我覺得這個地方景色還不錯，但是人也實在太多了”

 雖然前半部分體現情感是正向的，全局文本表達的是偏負面的情感，利用 k-max pooling能夠很好捕捉這類信息。

 

回到頂部

2. 實現

基於Keras深度學習框架的實現代碼如下：

import logging

from keras import Input
from keras.layers import Conv1D, MaxPool1D, Dense, Flatten, concatenate, Embedding
from keras.models import Model
from keras.utils import plot_model


def textcnn(max_sequence_length, max_token_num, embedding_dim, output_dim, model_img_path=None, embedding_matrix=None):
    """ TextCNN: 1. embedding layers, 2.convolution layer, 3.max-pooling, 4.softmax layer. """
    x_input = Input(shape=(max_sequence_length,))
    logging.info("x_input.shape: %s" % str(x_input.shape))  # (?, 60)

    if embedding_matrix is None:
        x_emb = Embedding(input_dim=max_token_num, output_dim=embedding_dim, input_length=max_sequence_length)(x_input)
    else:
        x_emb = Embedding(input_dim=max_token_num, output_dim=embedding_dim, input_length=max_sequence_length,
                          weights=[embedding_matrix], trainable=True)(x_input)
    logging.info("x_emb.shape: %s" % str(x_emb.shape))  # (?, 60, 300)

    pool_output = []
    kernel_sizes = [2, 3, 4] 
    for kernel_size in kernel_sizes:
        c = Conv1D(filters=2, kernel_size=kernel_size, strides=1)(x_emb)
        p = MaxPool1D(pool_size=int(c.shape[1]))(c)
        pool_output.append(p)
        logging.info("kernel_size: %s \t c.shape: %s \t p.shape: %s" % (kernel_size, str(c.shape), str(p.shape)))
    pool_output = concatenate([p for p in pool_output])
    logging.info("pool_output.shape: %s" % str(pool_output.shape))  # (?, 1, 6)

    x_flatten = Flatten()(pool_output)  # (?, 6)
    y = Dense(output_dim, activation='softmax')(x_flatten)  # (?, 2)
    logging.info("y.shape: %s \n" % str(y.shape))

    model = Model([x_input], outputs=[y])
    if model_img_path:
        plot_model(model, to_file=model_img_path, show_shapes=True, show_layer_names=False)
    model.summary()
    return model

 

特徵：這裏用的是詞向量表示方式

• 數據量較大：可以直接隨機初始化embeddings，然後基於語料通過訓練模型網絡來對embeddings進行更新和學習。
• 數據量較小：可以利用外部語料來預訓練(pre-train)詞向量，然後輸入到Embedding層，用預訓練的詞向量矩陣初始化embeddings。（通過設置weights=[embedding_matrix]）。
• 靜態(static)方式：訓練過程中不再更新embeddings。實質上屬於遷移學習，特別是在目標領域數據量比較小的情況下，採用靜態的詞向量效果也不錯。（通過設置trainable=False）
• 非靜態(non-static)方式：在訓練過程中對embeddings進行更新和微調(fine tune)，能加速收斂。（通過設置trainable=True）

 

plot_model()畫出的TextCNN模型結構圖如下：

 

參考：https://zhuanlan.zhihu.com/p/25928551

引用博客：TextCNN模型原理和實現

作者：焦距