LSTM相關資料

• 先附上維基百科介紹

長短期記憶（英語：Long Short-Term Memory，LSTM）是一種時間循環神經網絡（RNN）[1]，論文首次發表於1997年。由於獨特的設計結構，LSTM適合於處理和預測時間序列中間隔和延遲非常長的重要事件。

LSTM的表現通常比時間循環神經網絡及隱馬爾科夫模型（HMM）更好，比如用在不分段連續手寫識別上[2]。2009年，用LSTM構建的人工神經網絡模型贏得過ICDAR手寫識別比賽冠軍。LSTM還普遍用於自主語音識別，2013年運用TIMIT自然演講數據庫達成17.7%錯誤率的紀錄。作爲非線性模型，LSTM可作爲複雜的非線性單元用於構造更大型深度神經網絡。

應用

1. 時間序列預測
2. 生成文本
3. 語音識別
4. 自然語言處理
5. 情緒預測

多圖預警

• RNN 結構和展開示意圖

• 和RNN 結構上的比較(左邊是原生RNN)
  

• RNN內部結構
  

• LSTM內部結構

• 學習門

• 遺忘門
  

• 記憶門
  

• 應用門

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

附帶一張技能導圖