LSTM是RNN中最爲常用的模型，其需要估計的參數量是普通RNN的4倍，LSTM擁有“四進一出”，四進中又包含了三個門，分別爲遺忘門，輸入門和輸出門。其中，遺忘門用於決定上一層數據保留的比率，輸入門決定當下數據保留的比例，輸出門決定最後輸出的比例。
想徹底牢記LSTM就記住這四進一出即可，下面介紹這四進一出
第一進：遺忘門
遺忘門用於決定上一層數據保留的比例，由於這個激活函數是sigmoid，所以輸出結果位於0-1間，所以達到這個目的也比較容易。
第二進：輸入門
輸入門決定當下數據經過tanh變換後的保留比例。
第三進：未命名的“信息門”
這個門我個人比較喜歡稱之爲信息門，由於激活函數是tanh，其函數範圍爲（-1，1），當下輸入數據經過輸入門後與信息門相乘獲得當下輸入的保留結果，如果經信息門後的值爲負，說明對以往記憶的影響是負向的，反之則爲正向。
當我們確定這三進之後，就確定了對原始數據和當下數據的結合，並生成了最新的”記憶信息“，其表達式如下
但是，若想輸出最終的結果，則需要將記憶信息再一次通過信息門，然後乘上輸出門的比例獲得最終結果：
其中第四進：輸出門對應上文的
