神經網絡的前向傳播和誤差反向傳播（NN，RNN，LSTM）（三）

本文轉載自：http://blog.csdn.net/u011414416/article/details/46694877   轉載請註明原文出處

本文將簡要介紹RNN存在的梯度消失和梯度爆炸問題，然後介紹長短時記憶（Long Short-Term memory，LSTM）的相關公式及推導過程。

以下內容主要引自Alex Graves寫的Supervised Sequence Labelling with Recurrent Neural Networks 一書。
（http://www.springer.com/cn/book/9783642247965）