深度學習系列——5、循環神經網絡

循環神經網絡（Recurrent Neural Network, RNN）是一類以序列（sequence）數據爲輸入，在序列的演進方向進行遞歸（recursion）且所有節點（循環單元）按鏈式連接的遞歸神經網絡（recursive neural network） [1] 。
對循環神經網絡的研究始於二十世紀80-90年代，並在二十一世紀初發展爲深度學習（deep learning）算法之一 [2] ，其中雙向循環神經網絡（Bidirectional RNN, Bi-RNN）和長短期記憶網絡（Long Short-Term Memory networks，LSTM）是常見的的循環神經網絡 [3] 。
循環神經網絡具有記憶性、參數共享並且圖靈完備（Turing completeness），因此在對序列的非線性特徵進行學習時具有一定優勢 [4] 。循環神經網絡在自然語言處理（Natural Language Processing, NLP），例如語音識別、語言建模、機器翻譯等領域有應用，也被用於各類時間序列預報。引入了卷積神經網絡（Convoutional Neural Network,CNN）構築的循環神經網絡可以處理包含序列輸入的計算機視覺問題。