全前饋神經網絡，信息單向傳遞，網絡易學習，但能力被減弱。網絡輸出只依賴於當前的輸入。輸入輸出維數固定。
循環神經網絡，具有
短期記憶 能力。其中的神經元可接收
其他神經元 的信息和
本身 的信息。輸入輸出可不固定。參數學習可通過
隨時間反向傳播算法 學習。輸入序列較長時，錯誤信息向前傳遞過長，存在
梯度爆炸 和
梯度消失 問題，即
長程依賴問題 ，一種有效的改進方式：
門控機制 。
循環神經網絡易拓展到更廣義的記憶網絡模型：
遞歸神經網絡 、
圖網絡 。
時序數據處理需要歷史信息。前饋網絡無記憶能力。介紹三種方法給網絡增加記憶能力 。
延時神經網絡通過在前饋網絡的非輸出層中都添加一個延時器，記錄神經元的最近幾次活性值，增加前饋網絡的短期記憶能力。在 t t t l l l l − 1 l-1 l − 1 K K K
h t ( l ) = f ( h t ( l − 1 ) , h t − 1 ( l − 1 ) , ⋅ ⋅ ⋅ , h t − K ( l − 1 ) )
\pmb{h}_t^{(l)} = f(\pmb{h}_t^{(l-1)},\pmb{h}_{t-1}^{(l-1)},\cdot\cdot\cdot,\pmb{h}_{t-K}^{(l-1)})
h h h t ( l ) = f ( h h h t ( l − 1 ) , h h h t − 1 ( l − 1 ) , ⋅ ⋅ ⋅ , h h h t − K ( l − 1 ) )
其中 h t ( l ) ∈ R M l \pmb{h}_t^{(l)} \in \mathbb{R}^{ \pmb{M}_l } h h h t ( l ) ∈ R M M M l l l l t t t M l M_l M l l l l
a ( l ) = f l ( W ( l ) a ( l − 1 ) + b ( l ) )
\pmb{a}^{(l)} = f_l(\pmb{W}^{(l)}\pmb{a}^{(l-1)} + \pmb{b}^{(l)})
a a a ( l ) = f l ( W W W ( l ) a a a ( l − 1 ) + b b b ( l ) )
自迴歸模型 （AutoRegressive Model，AR）統計學上的時間序列模型，用一個變量 y t \pmb{y}_t y y y t
y t = w 0 + ∑ k = 1 K w k y t − k + ϵ t
\pmb{y}_t = w_0 + \sum_{k=1}^K w_k \pmb{y}_{t-k} + \epsilon_t
y y y t = w 0 + k = 1 ∑ K w k y y y t − k + ϵ t
其中 K K K w 0 , ⋅ ⋅ ⋅ , w K w_0, \cdot\cdot\cdot, w_K w 0 , ⋅ ⋅ ⋅ , w K ϵ t \epsilon_t ϵ t N ( 0 , σ 2 ) N(0, \sigma^2) N ( 0 , σ 2 ) t t t σ 2 \sigma^2 σ 2
有外部輸入的自迴歸模型 （Nonlinear AutoRegressive with Exogenous Inputs Model，NARX），在每個時刻 t t t x t \pmb{x}_t x x x t y t \pmb{y}_t y y y t K x K_x K x K y K_y K y t t t y t \pmb{y}_t y y y t
y t = f ( x t , x t − 1 , ⋅ ⋅ ⋅ , x t − K x , y t − 1 , y t − 2 , ⋅ ⋅ ⋅ , y t − K y )
\pmb{y}_t = f(\pmb{x}_t,\pmb{x}_{t-1},\cdot\cdot\cdot,\pmb{x}_{t-K_x}, \pmb{y}_{t-1},\pmb{y}_{t-2},\cdot\cdot\cdot,\pmb{y}_{t-K_y})
y y y t = f ( x x x t , x x x t − 1 , ⋅ ⋅ ⋅ , x x x t − K x , y y y t − 1 , y y y t − 2 , ⋅ ⋅ ⋅ , y y y t − K y )
其中 f ( ⋅ ) f(\cdot) f ( ⋅ ) K x K_x K x K y K_y K y
循環神經網絡 （Recurrent Neural Network，RNN）通過使用帶自反饋的神經元 處理任意長度的時序數據。x 1 : T = ( x 1 , x 2 , . . . , x t , . . . , x T ) \pmb{x}_{1:T} = (\pmb{x_1}, \pmb{x_2}, ... ,\pmb{x_t}, ..., \pmb{x_T}) x x x 1 : T = ( x 1 x 1 x 1 , x 2 x 2 x 2 , . . . , x t x t x t , . . . , x T x T x T ) h t \pmb{h}_t h h h t
h t = f ( h t − 1 , x t )
\pmb{h}_t = f(\pmb{h}_{t-1}, \pmb{x}_t)
h h h t = f ( h h h t − 1 , x x x t )
其中h 0 = 0 \pmb{h}_0 = 0 h h h 0 = 0 f ( ⋅ ) f(\cdot) f ( ⋅ ) h t \pmb{h}_t h h h t
簡單循環網絡 (SRN)只有一個隱藏層。在一個兩層的前饋神經網絡 中，連接存在相鄰的層與層之間，隱藏層的節點之間無連接。簡單循環網絡 增加了隱藏層到隱藏層的反饋連接。
假設向量 x t ∈ R M \pmb{x}_t \in \mathbb{R}^M x x x t ∈ R M t t t h t ∈ D M \pmb{h}_t \in \mathbb{D}^M h h h t ∈ D M h t \pmb{h}_t h h h t x t \pmb{x}_t x x x t h t − 1 \pmb{h}_{t-1} h h h t − 1 z t \pmb{z}_t z z z t U ∈ R D × D \pmb{U} \in \mathbb{R}^{D \times D} U U U ∈ R D × D 狀態-狀態 權重矩陣，W ∈ R D × D \pmb{W} \in \mathbb{R}^{D \times D} W W W ∈ R D × D 狀態-輸入 權重矩陣，b ∈ R D \pmb{b} \in \mathbb{R}^{D} b b b ∈ R D 偏移向量 ， 其中 f ( ⋅ ) f(\cdot) f ( ⋅ )
前饋神經網絡可以模擬任何連續函數，而循環神經網絡可以模擬任何程序。定義一個完全連接 的循環神經網絡。x t \pmb{x}_t x x x t y t \pmb{y}_t y y y t h t \pmb{h}_t h h h t f ( ⋅ ) f(\cdot) f ( ⋅ ) U \pmb{U} U U U W \pmb{W} W W W b \pmb{b} b b b V \pmb{V} V V V
循環神經網絡的擬合能力也十分強大。一個完全連接的循環網絡是任何非線性動力系統 的近似器。可用通用近似定理解釋：
圖靈完備 （Turing Completeness）是指一種數據操作規則，比如一種編程語言，可以實現圖靈機 （Turing Machine）的所有功能，解決所有的可計算問題。完全連接 的循環神經網絡 可以近似解決所有的可計算問題。
循環神經網絡可以應用到三種模式的機器學習任務：：序列到類別 模式、同步的序列到序列 模式、異步的序列到序列 模式。
序列到類別 模式主要用於序列數據的分類問題。比如文本分類任務，輸入爲單詞序列，輸出爲該文本類別。x 1 : T = ( x 1 , x 2 , . . . , x t , . . . , x T ) \pmb{x}_{1:T} = (\pmb{x_1}, \pmb{x_2}, ... ,\pmb{x_t}, ..., \pmb{x_T}) x x x 1 : T = ( x 1 x 1 x 1 , x 2 x 2 x 2 , . . . , x t x t x t , . . . , x T x T x T ) y ∈ y \in y ∈ x \pmb{x} x x x h 1 \pmb{h}_1 h h h 1 . . . ... . . . h T \pmb{h}_T h h h T h T \pmb{h}_T h h h T g ( ⋅ ) g(\cdot) g ( ⋅ )
y ^ = g ( h T )
\hat{y} = g(\pmb{h}_T)
y ^ = g ( h h h T )
也可以將整個序列的所有狀態進行平均，做爲整個序列的表示：
y ^ = g ( 1 T ∑ t = 1 T h t )
\hat{y} = g(\frac{1}{T}\sum_{t=1}^{T}\pmb{h}_t)
y ^ = g ( T 1 t = 1 ∑ T h h h t )
兩種圖示：
同步的序列到序列 模式主要用於序列標註（Sequence Labeling）任務，即每一時刻都有輸入輸出，輸入輸出序列長度相同。比如在詞性標註 （Part-of-Speech Tagging）中，每一個單詞需要標註其詞性標籤 。x 1 : T = ( x 1 , x 2 , . . . , x t , . . . , x T ) \pmb{x}_{1:T} = (\pmb{x_1}, \pmb{x_2}, ... ,\pmb{x_t}, ..., \pmb{x_T}) x x x 1 : T = ( x 1 x 1 x 1 , x 2 x 2 x 2 , . . . , x t x t x t , . . . , x T x T x T ) y 1 : T = ( y 1 , . . . , y T ) y_{1:T} = (y_1, ... , y_T) y 1 : T = ( y 1 , . . . , y T ) x \pmb{x} x x x h 1 \pmb{h}_1 h h h 1 h T \pmb{h}_T h h h T h t \pmb{h}_t h h h t
y ^ t = g ( h t ) , ∀ t ∈ [ 1 , T ]
\hat{y}_t = g(\pmb{h}_t), \forall t \in [1, T]
y ^ t = g ( h h h t ) , ∀ t ∈ [ 1 , T ]
異步的序列到序列模式 又稱編碼器-解碼器 （Encoder-Decoder）模型，即輸入序列和輸出序列不需具有嚴格的對應關係，也不需相同長度。比如機器翻譯任務中，輸入爲源語言單詞序列，輸出爲目標語言單詞序列。x 1 : T = ( x 1 , x 2 , . . . , x T ) \pmb{x}_{1:T} = (\pmb{x_1}, \pmb{x_2}, ..., \pmb{x_T}) x x x 1 : T = ( x 1 x 1 x 1 , x 2 x 2 x 2 , . . . , x T x T x T ) y 1 : M = ( y 1 , y 2 , . . . , x M ) \pmb{y}_{1:M} = (\pmb{y_1}, \pmb{y_2}, ... ,\pmb{x_M}) y y y 1 : M = ( y 1 y 1 y 1 , y 2 y 2 y 2 , . . . , x M x M x M ) 異步的序列到序列模式 一般通過先編碼後解碼的方式來實現。先將樣本 x x x h T \pmb{h}_T h h h T y ^ 1 : M \hat{y}_{1:M} y ^ 1 : M f 1 ( ⋅ ) f_1(\cdot) f 1 ( ⋅ ) f 2 ( ⋅ ) f_2(\cdot) f 2 ( ⋅ ) g ( ⋅ ) g(\cdot) g ( ⋅ ) y ^ t \hat{\pmb{y}}_t y y y ^ t y ^ t \hat{y}_t y ^ t
可用梯度下降學習RNN中的參數。以隨機梯度下降爲例。給定樣本 ( x , y ) (\pmb{x}, \pmb{y}) ( x x x , y y y ) x 1 : T = ( x 1 , x 2 , . . . , x T ) \pmb{x}_{1:T} = (\pmb{x_1}, \pmb{x_2}, ..., \pmb{x_T}) x x x 1 : T = ( x 1 x 1 x 1 , x 2 x 2 x 2 , . . . , x T x T x T ) y 1 : T = ( y 1 , y 2 , . . . , x T ) \pmb{y}_{1:T} = (\pmb{y_1}, \pmb{y_2}, ... ,\pmb{x_T}) y y y 1 : T = ( y 1 y 1 y 1 , y 2 y 2 y 2 , . . . , x T x T x T ) y t y_t y t
L t = L ( y t , g ( h t ) )
L_t = L(y_t, g(\pmb{h}_t))
L t = L ( y t , g ( h h h t ) )
其中 g ( h t ) g(\pmb{h}_t) g ( h h h t )
L t = ∑ t = 1 T L t
L_t = \sum_{t=1}^{T}{L_t}
L t = t = 1 ∑ T L t
整個序列的損失函數 L 爲關於參數 U 的梯度爲每個時刻損失 L_t 對參數U的偏導數之和：
∂ L ∂ U = ∑ t = 1 T ∂ L t ∂ U
\frac{\partial{L}}{\partial{\pmb{U}}} = \sum_{t=1}^{T}\frac{\partial{L}_t}{\partial{\pmb{U}}}
∂ U U U ∂ L = t = 1 ∑ T ∂ U U U ∂ L t
RNN中存在提個遞歸調用的 f ( ⋅ ) f(\cdot) f ( ⋅ ) 隨時間反向傳播 （BPTT）算法和實時循環學習 （RTRL）算法.
隨時間反向傳播 算法類似前饋網絡的錯誤反向傳播算法 。
計算偏導數∂ L ∂ U \frac{\partial{L}}{\partial{\pmb{U}}} ∂ U U U ∂ L 先計算時刻 t 的損失對參數U的偏導 ∂ L ∂ U \frac{\partial{L}}{\partial{\pmb{U}}} ∂ U U U ∂ L z k = U h k − 1 + W x k + b \pmb{z}_k = \pmb{Uh}_{k-1} + \pmb{Wx_k} + b z z z k = U h U h U h k − 1 + W x k W x k W x k + b L t L_t L t u i j u_{ij} u i j ∂ + z k ∂ u i j \frac{\partial^{+}z_k}{\partial{\pmb{u}_{ij}}} ∂ u u u i j ∂ + z k 直接偏導數 即 z k = U h k − 1 + W x k + b \pmb{z}_k = \pmb{Uh}_{k-1} + \pmb{Wx}_k + b z z z k = U h U h U h k − 1 + W x W x W x k + b h k − 1 \pmb{h}_{k-1} h h h k − 1 u i j u_{ij} u i j [ h k − 1 ] j [\pmb{h}_{k-1}]_j [ h h h k − 1 ] j I i ( x ) \mathbb{I}_i(x) I i ( x ) z k \pmb{z}_k z z z k 1 ≤ k ≤ t 1 \leq k \leq t 1 ≤ k ≤ t 參數梯度 得到整個序列的損失函數 L 關於參數 U、權重W、偏置b 的梯度：計算複雜度 在BPTT 算法中，參數的梯度需要在一個完整的“前向”計算和“反向”計算後才能得到並進行參數更新。
與反向傳播的BPTT不同，實時循環學習 （Real-Time Recurrent earning，RTRL）是通過前向傳播的方式來計算梯度。t + 1 t+1 t + 1 h t + 1 \pmb{h}_{t+1} h h h t + 1 u i j u_{ij} u i j ∂ h 1 ∂ u i j \frac{\partial h_1}{\partial{\pmb{u}_{ij}}} ∂ u u u i j ∂ h 1 ∂ h 2 ∂ u i j \frac{\partial h_2}{\partial{\pmb{u}_{ij}}} ∂ u u u i j ∂ h 2 ∂ h 3 ∂ u i j \frac{\partial h_3}{\partial{\pmb{u}_{ij}}} ∂ u u u i j ∂ h 3 W W W b b b
RTRL和BPTT算法比較 兩者都是基於梯度下降算法，分別通過前向模式和後向模式利用鏈式法則計算梯度。RNN中，一般網絡輸出維數原低於輸入維度，因此BPTT算法計算量更小，但要保存所有時刻的中間梯度，空間複雜度高。RTRL不需要梯度回傳，適合在線學習和無限序列任務。
RNN在學習過程中主要的問題是梯度消失或梯度爆炸。很難建模長時間間隔 的狀態之間的依賴關係。誤差項 展開：γ > 1 \gamma > 1 γ > 1 t − k → ∞ t-k \rightarrow \infty t − k → ∞ γ t − k → ∞ \gamma^{t-k} \rightarrow \infty γ t − k → ∞ t − k t - k t − k γ < 1 \gamma < 1 γ < 1 t − k → ∞ t-k \rightarrow \infty t − k → ∞ γ t − k → 0 \gamma^{t-k} \rightarrow 0 γ t − k → 0 t − k t - k t − k ∣ ∣ U ∣ ∣ ||\pmb{U}|| ∣ ∣ U U U ∣ ∣ t − k t - k t − k δ t , k \delta_{t,k} δ t , k y t y_t y t x k \pmb{x}_k x x x k t − k t-k t − k 長程依賴問題 。
爲避免梯度爆炸或梯度消失，一種直接方式：選取合適參數 ，使用非飽和激活函數 ，儘量使 d i a g ( f ′ ( z ) ) U T ≈ 1 diag(f^{'}(\pmb{z})) \pmb{U}^T \approx1 d i a g ( f ′ ( z z z ) ) U U U T ≈ 1 模型 或優化方法 。
梯度爆炸 RNN的梯度爆炸更易解決，常通過權重衰減 或梯度截斷 。權重衰減 通過給參數增加 l 1 l1 l 1 l 2 l2 l 2 γ ≤ 1 \gamma \leq 1 γ ≤ 1
梯度消失 RNN的主要問題。解決方式：一是用優化技巧；二是改變模型（更有效），如讓 U = I \pmb{U} = \pmb{I} U U U = I I I ∂ h t ∂ h t − 1 = I \frac{\partial \pmb{h}_t}{\partial \pmb{h}_{t-1}} = \pmb{I} ∂ h h h t − 1 ∂ h h h t = I I I
h t = h t − 1 + g ( x t ; θ )
\pmb{h}_t = \pmb{h}_{t-1} + g(\pmb{x}_t; \theta)
h h h t = h h h t − 1 + g ( x x x t ; θ )
其中 h t h_t h t h t − 1 h_{t-1} h t − 1
h t = h t − 1 + g ( x t , h t − 1 ; θ )
\pmb{h}_t = \pmb{h}_{t-1} + g(\pmb{x}_t, \pmb{h}_{t-1}; \theta)
h h h t = h h h t − 1 + g ( x x x t , h h h t − 1 ; θ )
這樣 h t h_t h t h t − 1 h_{t-1} h t − 1
梯度爆炸：令 z k = U h k − 1 + U x k + b \pmb{z}_k = \pmb{Uh}_{k-1} + \pmb{Ux}_k + \pmb{b} z z z k = U h U h U h k − 1 + U x Ux U x k + b b b k k k g ( ⋅ ) g(\cdot) g ( ⋅ )
記憶容量：隨着 h t \pmb{h}_t h h h t g ( ⋅ ) g(\cdot) g ( ⋅ ) h t \pmb{h}_t h h h t h \pmb{h} h h h h t \pmb{h}_t h h h t 門控機制 改進模型，解決這兩個問題。
爲改善RNN的長程依賴問題 ，在公式：
h t = h t − 1 + g ( x t , h t − 1 ; θ )
\pmb{h}_t = \pmb{h}_{t-1} + g(\pmb{x}_t, \pmb{h}_{t-1}; \theta)
h h h t = h h h t − 1 + g ( x x x t , h h h t − 1 ; θ )
上引入門控機制 來控制信息積累速度，包括有選擇地加入新的信息，並有選擇地遺忘之前累積的信息。這類網絡叫做 基於門控的循環神經網絡 （Gated RNN）。
長短期記憶網絡（Long Short-Term Memory Network，LSTM）是RNN的一變體，可有效解決RNN的梯度爆炸或梯度消失問題。在以下公式上，進行兩方面的改進：
h t = h t − 1 + g ( x t , h t − 1 ; θ )
\pmb{h}_t = \pmb{h}_{t-1} + g(\pmb{x}_t, \pmb{h}_{t-1}; \theta)
h h h t = h h h t − 1 + g ( x x x t , h h h t − 1 ; θ )
新的內部狀態 LSTM引入新的內部狀態 （internal state）c t ∈ R D \pmb{c}_t \in \mathbb{R}^D c c c t ∈ R D h t ∈ R D \pmb{h}_t \in \mathbb{R}^D h h h t ∈ R D c t \pmb{c}_t c c c t f t ∈ [ 0 , 1 ] D \pmb{f}_t \in [0,1]^D f f f t ∈ [ 0 , 1 ] D i t ∈ [ 0 , 1 ] D \pmb{i}_t \in [0,1]^D i i i t ∈ [ 0 , 1 ] D o t ∈ [ 0 , 1 ] D \pmb{o}_t \in [0,1]^D o o o t ∈ [ 0 , 1 ] D ⨀ \bigodot ⨀ c t − 1 \pmb{c}_{t-1} c c c t − 1 c ^ t ∈ R D \hat{\pmb{c}}_t \in \mathbb{R}^D c c c ^ t ∈ R D 候選狀態 ：c t \pmb{c}_t c c c t
門控機制 數字電路中，門爲二值變量 {0，1}，0代表關閉，不需信息通過。LSTM引入門控機制 （Gating Mechanism），控制信息傳遞的路徑。公式：f t ∈ [ 0 , 1 ] D \pmb{f}_t \in [0,1]^D f f f t ∈ [ 0 , 1 ] D i t ∈ [ 0 , 1 ] D \pmb{i}_t \in [0,1]^D i i i t ∈ [ 0 , 1 ] D o t ∈ [ 0 , 1 ] D \pmb{o}_t \in [0,1]^D o o o t ∈ [ 0 , 1 ] D
f t ∈ [ 0 , 1 ] D \pmb{f}_t \in [0,1]^D f f f t ∈ [ 0 , 1 ] D c t − 1 \pmb{c}_{t-1} c c c t − 1 i t ∈ [ 0 , 1 ] D \pmb{i}_t \in [0,1]^D i i i t ∈ [ 0 , 1 ] D c ^ t \hat{\pmb{c}}_t c c c ^ t o t ∈ [ 0 , 1 ] D \pmb{o}_t \in [0,1]^D o o o t ∈ [ 0 , 1 ] D c t \pmb{c}_t c c c t h t \pmb{h}_t h h h t
當 f t = 0 ， i t = 1 \pmb{f}_t = 0，\pmb{i}_t = 1 f f f t = 0 ， i i i t = 1 c t \pmb{c}_t c c c t f t = 1 ， i t = 0 \pmb{f}_t = 1，\pmb{i}_t = 0 f f f t = 1 ， i i i t = 0 σ ( ⋅ ) \sigma(\cdot) σ ( ⋅ ) x t \pmb{x}_t x x x t h t − 1 \pmb{h}_{t-1} h h h t − 1
LSTM的循環單元結構如圖：
利用上一時刻的外部狀態 h t − 1 \pmb{h}_{t-1} h h h t − 1 x t \pmb{x}_t x x x t f t \pmb{f}_t f f f t i t \pmb{i}_t i i i t o t \pmb{o}_t o o o t c ^ t \pmb{\hat{c}}_t c ^ c ^ c ^ t
結合遺忘門 f t \pmb{f}_t f f f t i t \pmb{i}_t i i i t c t \pmb{c}_t c c c t
結合輸出門 o t \pmb{o}_t o o o t h t \pmb{h}_{t} h h h t
通過LSTM循環單元，整個網絡可以建立較長距離的時序依賴關係。給出以上LSTM循環單元公式的簡潔描述：x t ∈ R M \pmb{x}_t \in \mathbb{R}^M x x x t ∈ R M W ∈ R 4 D × ( D + M ) \pmb{W} \in \mathbb{R}^{4D \times (D+M)} W W W ∈ R 4 D × ( D + M ) b ∈ R 4 D \pmb{b} \in \mathbb{R}^{4D} b b b ∈ R 4 D
記憶 循環神經網絡的隱狀態 h h h 記憶 。h h h 短期記憶 （Short-Term Memory）。長期記憶 （Long-Term Memory）可看做是網絡參數，隱含從訓練數據中學到的經驗，更新週期遠慢於短期記憶 。c c c c c c 短期記憶 h h h 長期記憶 ，因此稱爲長短期記憶 （Long Short-Term Memory）。
主流的LSTM用三個門動態控制內部狀態 ，遺忘 歷史信息、輸出 信息、輸入 信息的數量。對門控機制 修改，得到LSTM變體。
無遺忘門的LSTM 最早的LSTM是沒有遺忘門的，內部狀態的更新爲：c c c
peephole 連接 三種門不但依賴於輸入 x t \pmb{x}_t x x x t h t − 1 \pmb{h}_{t-1} h h h t − 1 c t − 1 \pmb{c}_{t-1} c c c t − 1 V i 、 V f 、 V o \pmb{V}_i、\pmb{V}_f、\pmb{V}_o V V V i 、 V V V f 、 V V V o
耦合輸入門和遺忘門 LSTM的輸入門和輸出門有些互補關係，同時使用兩個門較冗餘，爲減少LSTM的計算複雜度，將輸入門輸出門合併，令 f t = 1 − i t \pmb{f}_t = 1 - \pmb{i}_t f f f t = 1 − i i i t
門控循環單元 （Gated Recurrent Unit，GRU）網絡比LSTM更簡單。
h t = h t − 1 + g ( x t , h t − 1 ; θ )
\pmb{h}_t = \pmb{h}_{t-1} + g(\pmb{x}_t, \pmb{h}_{t-1}; \theta)
h h h t = h h h t − 1 + g ( x x x t , h h h t − 1 ; θ )
上，引入一個更新門 控制當前狀態需從歷史狀態中保留多少信息，需從候選狀態中接受多少新信息：
h t = z t ⨀ h t − 1 + ( 1 − z t ) ⨀ g ( x t , h t − 1 ; θ ) z t = σ ( W z x t + U z h t − 1 + b z )
\pmb{h}_t = \pmb{z}_t \bigodot \pmb{h}_{t-1} + (1-\pmb{z}_t) \bigodot g(\pmb{x}_t, \pmb{h}_{t-1}; \theta) \\
\pmb{z}_t = \sigma(\pmb{W}_z \pmb{x}_t + \pmb{U}_z \pmb{h}_{t-1} + \pmb{b}_z)
h h h t = z z z t ⨀ h h h t − 1 + ( 1 − z z z t ) ⨀ g ( x x x t , h h h t − 1 ; θ ) z z z t = σ ( W W W z x x x t + U U U z h h h t − 1 + b b b z )
其中 z t ∈ [ 0 , 1 ] D \pmb{z}_t \in [0,1]^D z z z t ∈ [ 0 , 1 ] D
當 z t = 0 \pmb{z}_t = 0 z z z t = 0 h t \pmb{h}_t h h h t h t − 1 \pmb{h}_{t-1} h h h t − 1
當 z t = 1 \pmb{z}_t = 1 z z z t = 1 h t \pmb{h}_t h h h t h t − 1 \pmb{h}_{t-1} h h h t − 1
在GRU中，函數 g ( x t , h t − 1 ; θ ) g(\pmb{x}_t, \pmb{h}_{t-1}; \theta) g ( x x x t , h h h t − 1 ; θ )
其中 h ^ t \pmb{\hat{h}_t} h ^ t h ^ t h ^ t r t ∈ [ 0 , 1 ] D \pmb{r}_t \in [0,1]^D r r r t ∈ [ 0 , 1 ] D
用來控制候選狀態 h ^ t \pmb{\hat{h}_t} h ^ t h ^ t h ^ t h t − 1 \pmb{h}_{t-1} h h h t − 1
r t = 0 \pmb{r}_t = 0 r r r t = 0 h ^ t = t a n h ( W c x t + b ) \pmb{\hat{h}_t} = tanh(\pmb{W}_c\pmb{x}_t + \pmb{b} ) h ^ t h ^ t h ^ t = t a n h ( W W W c x x x t + b b b ) x t \pmb{x}_t x x x t r t = 1 \pmb{r}_t = 1 r r r t = 1 h ^ t = t a n h ( W c x t + U h h t − 1 + b ) \pmb{\hat{h}_t} = tanh(\pmb{W}_c\pmb{x}_t + \pmb{U}_h\pmb{h}_{t-1} +\pmb{b} ) h ^ t h ^ t h ^ t = t a n h ( W W W c x x x t + U U U h h h h t − 1 + b b b ) x t \pmb{x}_t x x x t h t − 1 \pmb{h}_{t-1} h h h t − 1
綜上，GRU網絡的狀態更新方式爲：
h t = z t ⨀ h t − 1 + ( 1 − z t ) ⨀ h ^ t
\pmb{h}_t = \pmb{z}_t \bigodot \pmb{h}_{t-1} + (1-\pmb{z}_t) \bigodot \pmb{\hat{h}}_t
h h h t = z z z t ⨀ h h h t − 1 + ( 1 − z z z t ) ⨀ h ^ h ^ h ^ t
當 z t = 0 ， r = 1 \pmb{z}_t = 0，\pmb{r} = 1 z z z t = 0 ， r r r = 1
當 z t = 0 ， r = 0 \pmb{z}_t = 0，\pmb{r} = 0 z z z t = 0 ， r r r = 0 h t \pmb{h}_t h h h t x t \pmb{x}_t x x x t h t − 1 \pmb{h}_{t-1} h h h t − 1
當 z t = 1 \pmb{z}_t = 1 z z z t = 1 h t = h t − 1 \pmb{h}_{t} = \pmb{h}_{t-1} h h h t = h h h t − 1 x t \pmb{x}_t x x x t
GRU網絡的循環單元結構：
如果將深度定義爲網絡中中信息傳遞路徑長度的話，RNN可以看作是既“深”又“淺”的網絡。因爲，把RNN按時間展開，長時間間隔的狀態之間的路徑很長，RNN可以看作是一個非常深的網絡；而果同一時刻網絡輸入到輸出之間的路徑x t → y t \pmb{x}_t → \pmb{y}_t x x x t → y y y t x t → y t \pmb{x}_t → \pmb{y}_t x x x t → y y y t h t → y t \pmb{h}_t → \pmb{y}_t h h h t → y y y t x t → h t \pmb{x}_t → \pmb{h}_t x x x t → h h h t
常見的簡單做法，將多個RNN堆疊起來，稱爲堆疊循環神經網絡 （Stacked Recurrent Neural Network，SRNN）。一個堆疊的簡單循環網絡(Stacked SRN) 也稱爲循環多層感知器（Recurrent Multi-Layer Perceptron，RMLP）。按時間展開的SRNN如下：l l l l − 1 l-1 l − 1 h t ( l ) \pmb{h}_t^{(l)} h h h t ( l ) t t t l l l
其中U ( l ) \pmb{U}^{(l)} U U U ( l ) W ( l ) \pmb{W}^{(l)} W W W ( l ) b ( l ) \pmb{b}^{(l)} b b b ( l ) h t ( 0 ) = x t \pmb{h}_t^{(0)} = \pmb{x}_t h h h t ( 0 ) = x x x t
特定任務中，一個時刻的輸出不但和過去時刻的信息有關，也和後續時刻的信息有關。比如給定句子，其中一個詞的詞性由它的上下文決定。因此，在這些任務中，可以增加一個按時間的逆序來傳遞信息的網絡層，以增強網絡的能力。t t t h t ( 1 ) \pmb{h}_t^{(1)} h h h t ( 1 ) h t ( 2 ) \pmb{h}_t^{(2)} h h h t ( 2 ) ⨁ \bigoplus ⨁
如果將RNN按時間展開，每個時刻的隱狀態h t \pmb{h}_t h h h t t t t
遞歸神經網絡 （Recursive Neural Network，RecNN）是RNN在有向無循環圖 上的拓展，常爲樹樁層次結構：h 1 \pmb{h}_1 h h h 1 h 2 \pmb{h}_2 h h h 2 h 3 \pmb{h}_3 h h h 3 h 1 \pmb{h}_1 h h h 1 x 1 \pmb{x}_1 x x x 1 x 2 \pmb{x}_2 x x x 2 h i \pmb{h}_i h h h i π i \pi_i π i
h i = f ( h π i )
\pmb{h}_i = f(\pmb{h}_{\pi_i})
h h h i = f ( h h h π i )
其中h π i \pmb{h}_{\pi_i} h h h π i π i \pi_i π i f f f 門控機制 來改進遞歸神經網絡中的長距離依賴問題，比如樹結構的長短期記憶模型 （Tree-Structured LSTM），就是將LSTM模型的思想應用到樹結構的網絡中，來實現更靈活的組合函數。
實際中很多數據是圖結構的，比如知識圖譜、社交網絡、分子網絡等。而前饋網絡和反饋網絡很難處理圖結構的數據。圖神經網絡（Graph Neural Network，GNN）是將消息傳遞的思想擴展到圖結構數據上的神經網絡，可用來處理圖數據。G ( V , ϵ ) G(V,\epsilon) G ( V , ϵ ) h ( v ) \pmb{h}^{(v)} h h h ( v ) x ( v ) \pmb{x}^{(v)} x x x ( v ) N ( v ) N(v) N ( v ) m t ( v ) \pmb{m}_t^{(v)} m m m t ( v ) e ( u , v ) \pmb{e}^{(u,v)} e e e ( u , v ) e ( u , v ) e^{(u,v)} e ( u , v ) 讀出函數 g g g
