推薦一篇博文，講rnn和lstm非常通俗易懂。
https://www.jianshu.com/p/9dc9f41f0b29
下邊是我的一些理解與總結，歡迎批評指正哦～
一直好奇rnn一個一個生成句子裏邊那麼多字是怎麼更新weight的，尤其是前半段只管輸入，後半段只管輸出。其實是生成一句話之後統一計算每一個字的loss，然後一起更新的。
lstm設計的巧妙之處在於解決了rnn短時記憶問題。
lstm有一個信息通路，用於將之前的信息直接傳輸到後邊。在每一個小模塊裏，又會判斷哪一部分需要記住，哪一部分需要忘記然後，再結合這一次網絡輸出的信息繼續彙總到上邊的通路中。上邊的通路不斷吸收每一個輸入和輸出的信息，判斷記住或者遺忘的部分，留下有用的去掉沒有用的，得到最終的結果。