神經網絡學習小記錄36——Keras實現LSTM與LSTM參數量詳解

學習前言

我死了我死了我死了！

什麼是LSTM

1、LSTM的結構

我們可以看出，在n時刻，LSTM的輸入有三個：

• 當前時刻網絡的輸入值X_t；
• 上一時刻LSTM的輸出值h_t-1；
• 上一時刻的單元狀態C_t-1。

LSTM的輸出有兩個：

• 當前時刻LSTM輸出值h_t；
• 當前時刻的單元狀態C_t。

2、LSTM獨特的門結構

LSTM用兩個門來控制單元狀態c_n的內容：

• 遺忘門（forget gate），它決定了上一時刻的單元狀態c_n-1有多少保留到當前時刻；
• 輸入門（input gate），它決定了當前時刻網絡的輸入c’_n有多少保存到新的單元狀態c_n中。

LSTM用一個門來控制當前輸出值h_n的內容：

• 輸出門（output gate），它利用當前時刻單元狀態c_n對h_n的輸出進行控制。
  

3、LSTM參數量計算

a、遺忘門

遺忘門這裏需要結合h_t-1和X_t來決定上一時刻的單元狀態c_n-1有多少保留到當前時刻；

由圖我們可以得到，我們在這一環節需要計一個參數f_t。

裏面需要訓練的參數分別是W_f和b_f。
在定義LSTM的時候我們會使用到一個參數叫做units，其實就是神經元的個數，也就是LSTM的輸出——h_t的維度。
所以：
$W_f的參數量 = (x_{dim} + h_{dim}) * h_{dim}$
$b_f的參數量 = h_{dim}$
遺忘門的總參數量爲：
$總參數量 = ((x_{dim} + h_{dim}) * h_{dim} + h_{dim})$

b、輸入門

輸入門這裏需要結合h_t-1和X_t來決定當前時刻網絡的輸入c’_n有多少保存到單元狀態c_n中。

由圖我們可以得到，我們在這一環節需要計算兩個參數，分別是i_t。

和C’_t

裏面需要訓練的參數分別是W_i、b_i、W_C和b_C。
在定義LSTM的時候我們會使用到一個參數叫做units，其實就是神經元的個數，也就是LSTM的輸出——h_t的維度。
所以：
$W_i的參數量 = (x_{dim} + h_{dim}) * h_{dim}$
$b_i的參數量 = h_{dim}$
$W_c的參數量 = (x_{dim} + h_{dim}) * h_{dim}$
$b_c的參數量 = h_{dim}$
輸入門的總參數量爲：
$總參數量 = 2*((x_{dim} + h_{dim}) * h_{dim} + h_{dim})$

c、輸出門

輸出門利用當前時刻單元狀態c_n對h_n的輸出進行控制；

由圖我們可以得到，我們在這一環節需要計一個參數o_t。

裏面需要訓練的參數分別是W_o和b_o。
在定義LSTM的時候我們會使用到一個參數叫做units，其實就是神經元的個數，也就是LSTM的輸出——h_t的維度。
所以：
$W_o的參數量 = (x_{dim} + h_{dim}) * h_{dim}$
$b_o的參數量 = h_{dim}$
輸出門的總參數量爲：
$總參數量 = ((x_{dim} + h_{dim}) * h_{dim} + h_{dim})$

d、全部參數量

所以所有的門總參數量爲：
$總參數量 = 4*((x_{dim} + h_{dim}) * h_{dim} + h_{dim})$

在Keras中實現LSTM

LSTM一般需要輸入兩個參數。
一個是unit、一個是input_shape。

LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))

unit用於指定神經元的數量。
input_shape用於指定輸入的shape，分別指定TIME_STEPS和INPUT_SIZE。

實現代碼

import numpy as np
from keras.models import Sequential
from keras.layers import Input,Activation,Dense
from keras.models import Model
from keras.datasets import mnist
from keras.layers.recurrent import LSTM
from keras.utils import np_utils
from keras.optimizers import Adam

TIME_STEPS = 28
INPUT_SIZE = 28
BATCH_SIZE = 50
index_start = 0
OUTPUT_SIZE = 10
CELL_SIZE = 75
LR = 1e-3

(X_train,Y_train),(X_test,Y_test) = mnist.load_data()
 
X_train = X_train.reshape(-1,28,28)/255
X_test = X_test.reshape(-1,28,28)/255

Y_train = np_utils.to_categorical(Y_train,num_classes= 10)
Y_test = np_utils.to_categorical(Y_test,num_classes= 10)

inputs = Input(shape=[TIME_STEPS,INPUT_SIZE])

x = LSTM(CELL_SIZE, input_shape = (TIME_STEPS,INPUT_SIZE))(inputs)
x = Dense(OUTPUT_SIZE)(x)
x = Activation("softmax")(x)

model = Model(inputs,x)
adam = Adam(LR)
model.summary()
model.compile(loss = 'categorical_crossentropy',optimizer = adam,metrics = ['accuracy'])

for i in range(50000):
    X_batch = X_train[index_start:index_start + BATCH_SIZE,:,:]
    Y_batch = Y_train[index_start:index_start + BATCH_SIZE,:]
    index_start += BATCH_SIZE
    cost = model.train_on_batch(X_batch,Y_batch)
    if index_start >= X_train.shape[0]:
        index_start = 0
    if i%100 == 0:
        cost,accuracy = model.evaluate(X_test,Y_test,batch_size=50)
        print("accuracy:",accuracy)

實現效果：

10000/10000 [==============================] - 3s 340us/step
accuracy: 0.14040000014007092
10000/10000 [==============================] - 3s 310us/step
accuracy: 0.6507000041007995
10000/10000 [==============================] - 3s 320us/step
accuracy: 0.7740999992191792
10000/10000 [==============================] - 3s 305us/step
accuracy: 0.8516999959945679
10000/10000 [==============================] - 3s 322us/step
accuracy: 0.8669999945163727
10000/10000 [==============================] - 3s 324us/step
accuracy: 0.889699995815754
10000/10000 [==============================] - 3s 307us/step