RNN：本質是像人一樣擁有記憶能力，它的輸出就依賴於當前的輸入和記憶。主要應用於自言語言的處理及語音處理，缺點是隨着信息的傳播，信號會減弱。
長短期記憶網絡工作原理：
LSTM區別於RNN的地方，主要就在於它在算法中加入了一個判斷信息有用與否的“處理器”，這個處理器作用的結構被稱爲cell。
一個cell當中被放置了三扇門，分別叫做輸入門、遺忘門和輸出門。一個信息進入LSTM的網絡當中，可以根據規則來判斷是否有用。只有符合算法認證的信息纔會留下，不符的信息則通過遺忘門被遺忘。
說起來無非就是一進二出的工作原理，卻可以在反覆運算下解決神經網絡中長期存在的大問題。
