超詳細的長短時記憶LSTM和門控循環單元GRU的反向傳播公式推導！

門控循環單元GRU

好文章(有助理解)：https://zhuanlan.zhihu.com/p/28297161

 

 

 

長短時記憶LSTM

LSTM模型是用來解決simpleRNN對於長時期依賴問題（LongTerm Dependency），即通過之前提到的但是時間上較爲久遠的內容進行後續的推理和判斷。LSTM的基本思路是引入了門控裝置，來處理記憶單元的記憶/遺忘、輸入程度、輸出程度的問題。通過一定的學習，可以學到何時對各個門開啓到何種程度，因爲門控也是由有一定可以學習的參數的神經網絡來實現的，這樣就可以讓機器知道何時應該記住某個信息，而何時應該拋棄某個信息。

 

 

暫時沒空排版，先記錄下來，有空來排版一下！！！