原 Tensorflow 實戰Google深度學習框架之循環神經網絡

RNN
循環神經網絡在語音識別，語言模型，機器翻譯以及時序分析等方面實現了突破，主要用於處理和預測序列數據，從網絡結構上循環神經網絡會記憶之前的信息。並利用之前信息的影響後面的節點的輸出。
循環神經網絡的隱藏層之間的結點是有連接的隱藏層的輸入不僅包括輸入層的輸出，還包括上一時刻隱藏層的輸出。
卷積神經網絡不同空間位置共享參數，循環神經網絡是在不同空間位置共享參數，循環神經網絡是在不同時間位置共享參數

循環神經網絡要求每一時刻獨有一個輸入，但不一定每個時間度需要有輸出
長短時間記憶網絡LSTM
有用信息的間隔有大有小，長短不一循環神經網絡性能受影響
LSTM有三個門結構

循環神經網絡的變種
雙向循環神經網絡是由兩個獨立的循環神經網絡疊加在一起的，輸出由兩個循環神經網絡的輸出拼接而成
因爲當前時刻的輸出不僅和之前的狀態有關，也和之後的狀態有關。這時就需要根據前文來判斷，同時需要後面的內容。例子就像選擇填空一樣需要前後度進行分析。
深層循環神經網絡是每一時刻的輸入xt到輸出ot之間有L個循環體。網絡因此可以輸入中抽取更加高層額信息。
dropout 可讓網絡更加健壯，只在最後的全連接層中使用dropout。而在同一時刻t中，不同層循環體之間會使用dropout。