最近學習了一些RNN的內容，但是由於筆者之前沒有接觸過這方面的知識，加之學完之後覺得RNN其實是一個複雜程度不輸於CNN的模塊，因此在階段學習之外進行總結一下，也算是重新鞏固一下相關的知識。
RNN的提出很大程度上是爲了長序列的檢測問題，我們都知道，基於CNN的網絡的輸入一般都是一副當前的圖像，對於一個序列而言，CNN的網絡並不能很好的關聯起來，即當前的輸入沒有考慮到先前的信息。而RNN中的記憶單元剛還彌補了這個缺陷，記憶單元將上一個單元的內容保留下來，同時參與到當前的運算之中。
說道RNN，不得不提的就是它的摺疊模型（fold）和展開模型（unfold）（不得不說這兩個形容詞用的真是太恰當了！）
第一個感覺是因爲整個網絡學習的參數其實不多，有W1，W2，U，V1，V2（都是全連接層），但是對於其展開之後，一個長度爲N的序列的模型將會有N×（W1+W2+U+V1+V2）個參數，對於比較大的N和隱含層而言，整個參數量還是很大的。
另一個必須要說的知識點就是前向傳播了，不同於不帶記憶單元的模型CNN，RNN在進行推理的時候一定是考慮前一個單元的輸出的，例如上面的2層RNN模型， 他的前向傳播公式如下：S t + 1 ‾ = σ ( U X ‾ t + 1 + W 1 S ‾ t ) Z t + 1 ‾ = σ ( V 1 S ‾ t + 1 + W 2 Z ‾ t )
\overline{S_{t+1}} = \sigma{(U\overline{X}_{t+1}+W_1\overline{S}_{t})} \\
\overline{Z_{t+1}} = \sigma{(V_1\overline{S}_{t+1}+W_2\overline{Z}_{t})}
S t + 1 = σ ( U X t + 1 + W 1 S t ) Z t + 1 = σ ( V 1 S t + 1 + W 2 Z t )
其中σ \sigma σ
最後一點就是反向傳播，正如前向傳播的時候需要考慮上一時刻的狀態一樣，反向傳播的時候也要求必須考慮進後面的神經元的狀態，一定需要記得是：不要僅僅考慮同層的誤差傳播，高層的誤差傳播也要考慮在內！！！
a. 最直接和U相連的變量是S ‾ t ， S ‾ t + 1 \overline{S}_t， \overline{S}_{t+1} S t ， S t + 1 S ‾ t ， S ‾ t + 1 \overline{S}_t， \overline{S}_{t+1} S t ， S t + 1 Z ‾ t ， Z ‾ t + 1 \overline{Z}_t， \overline{Z}_{t+1} Z t ， Z t + 1 S ‾ t \overline{S}_t S t S ‾ t + 1 \overline{S}_{t+1} S t + 1 W 1 W_1 W 1 Z ‾ t + 1 \overline{Z}_{t+1} Z t + 1 y ‾ t + 1 \overline{y}_{t+1} y t + 1 Z ‾ t \overline{Z}_{t} Z t Z ‾ t + 1 \overline{Z}_{t+1} Z t + 1 W 2 W_2 W 2
上述的相關性採用的是自下而上的方式，在back progagation中其實應該是自上而下的推理，因爲這裏模型比較簡單，序列也不長，這裏是爲了梳理公式的方便使用自下而上的推理方式。∂ e ∂ U = ∂ e ∂ S ‾ t ∂ S ‾ t ∂ U + ∂ e ∂ S ‾ t + 1 ∂ S ‾ t + 1 ∂ U ( 根 據 a ) ∂ e ∂ S ‾ t = ∂ e ∂ Z ‾ t ∂ Z ‾ t ∂ S ‾ t + ∂ e ∂ S ‾ t + 1 ∂ S ‾ t + 1 ∂ S ‾ t ( 根 據 b ) ∂ e ∂ S ‾ t + 1 = ∂ e ∂ Z ‾ t + 1 ∂ Z ‾ t + 1 ∂ S ‾ t + 1 ( 根 據 b ) ∂ e ∂ Z ‾ t + 1 = ∂ e ∂ y t + 1 ∂ y t + 1 ∂ Z ‾ t + 1 ( 根 據 c ) ∂ e ∂ Z ‾ t = ∂ e ∂ Z ‾ t + 1 ∂ Z ‾ t + 1 ∂ Z ‾ t ( 根 據 d )
\frac{\partial{e}}{\partial{U}}=\frac{\partial{e}}{\partial{\overline{S}_t}}\frac{\partial{\overline{S}_t}}{\partial{U}}+\frac{\partial{e}}{\partial{\overline{S}_{t+1}}}\frac{\partial{\overline{S}_{t+1}}}{\partial{U}} \quad (根據a) \\
\frac{\partial{e}}{\partial{\overline{S}_t}}=\frac{\partial{e}}{\partial{\overline{Z}_t}}\frac{\partial{\overline{Z}_t}}{\partial{\overline{S}_t}}+\frac{\partial{e}}{\partial{\overline{S}_{t+1}}}\frac{\partial{\overline{S}_{t+1}}}{\partial{\overline{S}_t}} \quad (根據b) \\ \frac{\partial{e}}{\partial{\overline{S}_{t+1}}}=\frac{\partial{e}}{\partial{\overline{Z}_{t+1}}}\frac{\partial{\overline{Z}_{t+1}}}{\partial{\overline{S}_{t+1}}} \quad (根據b) \\
\frac{\partial{e}}{\partial{\overline{Z}_{t+1}}}=\frac{\partial{e}}{\partial{y_{t+1}}}\frac{\partial{y_{t+1}}}{\partial{\overline{Z}_{t+1}}} \quad (根據c) \\
\frac{\partial{e}}{\partial{\overline{Z}_{t}}}=\frac{\partial{e}}{\partial{\overline{Z}_{t+1}}}\frac{\partial{\overline{Z}_{t+1}}}{\partial{\overline{Z}_{t}}} \quad (根據d)
∂ U ∂ e = ∂ S t ∂ e ∂ U ∂ S t + ∂ S t + 1 ∂ e ∂ U ∂ S t + 1 ( 根 據 a ) ∂ S t ∂ e = ∂ Z t ∂ e ∂ S t ∂ Z t + ∂ S t + 1 ∂ e ∂ S t ∂ S t + 1 ( 根 據 b ) ∂ S t + 1 ∂ e = ∂ Z t + 1 ∂ e ∂ S t + 1 ∂ Z t + 1 ( 根 據 b ) ∂ Z t + 1 ∂ e = ∂ y t + 1 ∂ e ∂ Z t + 1 ∂ y t + 1 ( 根 據 c ) ∂ Z t ∂ e = ∂ Z t + 1 ∂ e ∂ Z t ∂ Z t + 1 ( 根 據 d ) ∂ e ∂ U = ∂ e ∂ y t + 1 ∂ y t + 1 ∂ Z ‾ t + 1 ∂ Z ‾ t + 1 ∂ S ‾ t + 1 ∂ S ‾ t + 1 ∂ U + ∂ e ∂ y t + 1 ∂ y t + 1 ∂ Z ‾ t + 1 ∂ Z ‾ t + 1 ∂ Z ‾ t ∂ Z ‾ t ∂ S ‾ t ∂ S ‾ t ∂ U + ∂ e ∂ y t + 1 ∂ y t + 1 ∂ Z ‾ t + 1 ∂ Z ‾ t + 1 ∂ S ‾ t + 1 ∂ S ‾ t + 1 ∂ S ‾ t ∂ S ‾ t ∂ U
\frac{\partial{e}}{\partial{U}}=\frac{\partial{e}}{\partial{y_{t+1}}}\frac{\partial{y_{t+1}}}{\partial{\overline{Z}_{t+1}}}\frac{\partial{\overline{Z}_{t+1}}}{\partial{\overline{S}_{t+1}}}\frac{\partial{\overline{S}_{t+1}}}{\partial{U}}+\frac{\partial{e}}{\partial{y_{t+1}}}\frac{\partial{y_{t+1}}}{\partial{\overline{Z}_{t+1}}}\frac{\partial{\overline{Z}_{t+1}}}{\partial{\overline{Z}_{t}}}\frac{\partial{\overline{Z}_{t}}}{\partial{\overline{S}_{t}}}\frac{\partial{\overline{S}_{t}}}{\partial{U}}+\frac{\partial{e}}{\partial{y_{t+1}}}\frac{\partial{y_{t+1}}}{\partial{\overline{Z}_{t+1}}}\frac{\partial{\overline{Z}_{t+1}}}{\partial{\overline{S}_{t+1}}}\frac{\partial{\overline{S}_{t+1}}}{\partial{\overline{S}_t}}\frac{\partial{\overline{S}_{t}}}{\partial{U}}
∂ U ∂ e = ∂ y t + 1 ∂ e ∂ Z t + 1 ∂ y t + 1 ∂ S t + 1 ∂ Z t + 1 ∂ U ∂ S t + 1 + ∂ y t + 1 ∂ e ∂ Z t + 1 ∂ y t + 1 ∂ Z t ∂ Z t + 1 ∂ S t ∂ Z t ∂ U ∂ S t + ∂ y t + 1 ∂ e ∂ Z t + 1 ∂ y t + 1 ∂ S t + 1 ∂ Z t + 1 ∂ S t ∂ S t + 1 ∂ U ∂ S t ∂ e ∂ W s = ∑ i = 1 N ∂ E ∂ y N ∂ y N ∂ S i ∂ S i ∂ W s ∂ e ∂ W x = ∑ i = 1 N ∂ E ∂ y N ∂ y N ∂ S i ∂ S i ∂ W x
\frac{\partial{e}}{\partial{W_s}} = \sum_{i=1}^{N}{\frac{\partial{E}}{\partial{y_N}}\frac{\partial{y_N}}{\partial{S_i}}\frac{\partial{S_i}}{\partial{W_s}}} \\
\frac{\partial{e}}{\partial{W_x}} = \sum_{i=1}^{N}{\frac{\partial{E}}{\partial{y_N}}\frac{\partial{y_N}}{\partial{S_i}}\frac{\partial{S_i}}{\partial{W_x}}}
∂ W s ∂ e = i = 1 ∑ N ∂ y N ∂ E ∂ S i ∂ y N ∂ W s ∂ S i ∂ W x ∂ e = i = 1 ∑ N ∂ y N ∂ E ∂ S i ∂ y N ∂ W x ∂ S i
LSTM的提出主要是爲了克服RNN網絡不能處理太長序列的問題，該結果一是因爲太久遠的信息會隨着經過激活函數的數量一次次的損失，二是因爲反向傳播時候的梯度消失。而LSTM結構在很大程度上解決了長期記憶消失的問題。
學習門在LSTM單元中的位置如下。i i i N N N
遺忘門在LSTM單元中的位置如下。f f f
記憶門在LSTM單元中的位置如下。
應用門在LSTM單元中的位置如下。U t = t a n h ( W u L T M t + b u ) U_t=tanh(W_uLTM_t+b_u) U t = t a n h ( W u L T M t + b u )
其實筆者在學習這部分的時候，每個門的東西其實都是可以看明白的，但是實際應用中，這些門到底是如何進行信息的保留和篩選的其實不是很明白，但是其實稍微舉個例子就會明白很多，比如下面這個例子：此時長期記憶中還保留着前半段一些關於細胞的事情，短期記憶已經完全是關於野生動物的了 ，對於當前的輸入E t E_t E t
經過學習門之後，短期記憶和當前輸入的集合中的一些部分會被刪除掉，例如之前的某些時刻網絡記得了一些樹的信息（因爲介紹野生動物，樹必然會存在，但是次數一定不會很多），而此時輸入的是一隻猴子，那麼經過學習門之後，猴子的信息添加進（如果之前就有猴子的信息，那麼猴子的信息會被保留）暫時的短期記憶A中（此時其他的動物的權重怎麼變化還不好說），而樹的信息會被削弱；
經過遺忘門之後，因爲短期記憶和當前看到的東西都是關於動物的，因此長期記憶中細胞的部分會被進一步的削弱，而動物部分的信息會被儘量保留，此時生成暫時的長期記憶B；
經過記憶門之後，將暫時的記憶A和長期的記憶B相加，得到新的長期記憶，這個地方很重要，因爲隨着時間的向前推移，長期記憶一定要儘量加入當前時刻的輸入；
最後，經過應用門，長期記憶會根據短期記憶和當前的輸入來從中選出一些作爲新的短期記憶，比如當前輸入的是一個猴子，且短期記憶中動物的比重都比較大，那麼新的短期記憶中可能就會把長期記憶中關於植物和細胞的部分都刪除掉，只剩下一些動物的信息。
當然，上述的過程其實都是筆者YY的想象，對於網絡真正運行的時候，其內部的數據流形式一定不是這麼簡單的，因爲對於目前的深度學習框架而言，長期記憶的隱含層和短期記憶的隱含層的單元數都是一樣的，所以筆者目前對於其內部的流動也不是特別的清晰，只能先總結到這個程度。
以上就是初學RNN時候的一些總結，鑑於知識越來越多，很多東西學了一遍不總結真的跟沒學一樣，以後還是要勤於總結。一個比較好的帖子可以參考 。
