Python手寫神經網絡之（三）循環神經網絡

目的

  這個博客簡要分享下RNN神經網絡的python3寫法。同時歡迎大家指出代碼中潛在問題，一起學習與討論~
  直接上代碼：https://github.com/Site1997/RNN-implementation

個人repo：RNN的python實現

設計思路

這裏就是實現一個非常非常簡單的RNN。如果寫完了一遍CNN的前向和反向傳播話，RNN前後向傳播也是相對好寫的吧。主要注意三個問題：

• 處理sigmoid函數數值不穩定
• 公式下標，注意是t還是t-1
• 鏈式求導到$h_t$時，有兩個誤差來源，一個是$h_{t+1}$，一個是$y_t$。

最後按照公式來（比如下方這個），仔細寫就好！

參考文獻

• All about recurrent neural networks
• Build a Recurrent Neural Network from Scratch