P43：RNN

源視頻

        RNN的簡單形式（或者可以稱呼它爲Short-Term Memory）：

1. 這個簡單的RNN只能記憶上一次的輸入信息，所以可以稱爲short-Term Memory；
2. RNN一個明顯的特點就是相同輸入，不同的輸入順序可能就會得到不同的輸出；

        Long Short-Term Memory（LSTM）：

與上面的相比，下圖多了三個控制，Input Gate、Forget Gate和Output Gate，所以它的“記憶”可能會好，所以加了一個Long。

LSTM的節點如何計算：

LSTM的最終形態：