BILSTM-Conv2D 文本分類模型

論文鏈接：https://arxiv.org/pdf/1611.06639.pdf
GitHub鏈接：https://github.com/scientist272/BILSTM-CONV2D-TEXT-CLASSIFIER

在文本序列時，BILSTM不僅可以採集過去的信息，也可以採集未來的信息，當輸入一個序列，如“ABCD”時，BILSTM會將該序列正向輸入得到一個輸出向量，再將該序列反向輸入得到一個輸出向量，這兩個向量可經過拼接，加和，點乘等處理後交給下一層處理。

1D的卷積神經網絡用在文本分類模型中只會採集文本向量這個維度的信息，2D的卷積網絡不僅可以採集文本向量這個溫度，還可以採集時間戳這個維度，這個模型的思想是將BILSTM處理後得到的向量當作一個圖片，再交給Conv2D處理，池化，最後輸出分類結果。

由於LSTM輸出的向量是一個(samples,timestamp,features)維度的向量，在LSTM和Conv2D中間需要添加一個reshape層，將其reshape成一個四維的矩陣（卷積的圖片標準輸入維度），才能交給Conv2D處理。

 self.model = Sequential()
 self.model.add(Embedding(self.vocab_size+1,self.embedding_dim,input_length=self.max_len,weights=[self.embeddings_matrix], trainable=False))
 self.model.add(Dropout(0.5))
 self.model.add(Bidirectional(LSTM(self.rnn_units,return_sequences=True),merge_mode='sum'))
 self.model.add(Dropout(0.2))
 self.model.add(Reshape((-1,self.rnn_units,1)))
 self.model.add(Conv2D(64,kernel_size=(3,3),activation='relu'))
 self.model.add(MaxPool2D(pool_size=(2,2)))
 self.model.add(Dropout(0.4))
 self.model.add(Flatten())
 self.model.add(Dense(self.category_num+1,activation='softmax'))
 self.model.compile(loss='sparse_categorical_crossentropy', optimizer='adadelta',metrics=['accuracy'])
 self.model.summary()