個人紀錄 LSTM/RNN

Long Short-Term Memory

上面是RNN的網絡基本結構。

上面是RNN的內部展開，並與普通的神經元forward進行比較。可以大概看出基本上兩個不同：1.激活函數發生變化。2.需要多學習一個$W_h$，給以往的狀態加權。

但是，RNN會產生梯度消失/梯度爆炸（沒辦法回憶久遠記憶）

LSTM加了三個門限。輸入控制，輸出控制和忘記控制。

• 宏觀理解：
  LSTM相當於有兩條線，分別是主線和分線，之前的RNN就是分線。LSTM會將分線劇情按照重要程度寫入內部。而之前的劇情會根據重要程度經過忘記門限與當前分線劇情一起輸入。這就是LSTM最基本的理解。

現在將LSTM 的module展開如上。
剩下數學推導參考（選其一）
英文github
中文譯文

RNN動圖理解