循環神經網絡2--LSTM

這周在看循環數據網絡, 發現一個博客, 裏面推導極其詳細, 藉此記錄重點.

詳細推導

強烈建議手推一遍, 雖然會花一點時間, 但便於理清思路.

長短時記憶網絡

回顧BPTT算法裏誤差項沿時間反向傳播的公式:

δTk=δTt∏i=kt−1diag[f′(neti)]W(1)$$\begin{array}{}\text{(1)}& {\delta }_k^T=& {\delta }_t^T\prod _{i=k}^{t-1}diag[f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_i)]W\end{array}$$

根據範數的性質, 來獲取δTk${\delta }_k^T$ 的模的上界:

‖δTk‖⩽⩽‖δTt‖∏i=kt−1‖diag[f′(neti)]‖‖W‖‖δTt‖(βfβW)t−k(2)(3)$$\begin{array}{}\text{(2)}& \Vert {\delta }_k^T\Vert ⩽& \Vert {\delta }_t^T\Vert \prod _{i=k}^{t-1}\Vert diag[f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_i)]\Vert \Vert W\Vert \text{(3)}& ⩽& \Vert {\delta }_t^T\Vert ({\beta }_f{\beta }_W{)}^{t-k}\end{array}$$

可以看到, 誤差項δ$\delta$ 從t時刻傳遞到k時刻, 其值上界是βfβw${\beta }_f{\beta }_w$ 的指數函數. βfβw${\beta }_f{\beta }_w$ 分別是對角矩陣diag[f′(neti)]$diag[f^{{}^{\prime }}(ne{t}_i)]$ 和矩陣W模的上界. 顯然, 當t-k很大時, 會有梯度爆炸, 當t-k很小時, 會有梯度消失.

爲了解決RNN的梯度爆炸和梯度消失的問題, 就出現了長短時記憶網絡(Long Short Memory Network, LSTM). 原始RNN的隱藏層只有一個狀態h, 它對於短期的輸入非常敏感. 如果再增加一個狀態c, 讓它來保存長期的狀態, 那麼就可以解決原始RNN無法處理長距離依賴的問題.

新增加的狀態c, 稱爲單元狀態(cell state). 上圖按照時間維度展開:

上圖中, 在t時刻, LSTM的輸入有三個: 當前時刻網絡的輸入值xt$x_t$ , 上一時刻LSTM的輸出值ht−1$h_{t-1}$ , 以及上一時刻的單元狀態ct−1$c_{t-1}$ ; LSTM的輸出有兩個: 當前時刻的LSTM輸出ht$h_t$ , 當前時刻的狀態ct$c_t$ . 其中x,h,c$x,h,c$ 都是向量.

LSTM的關鍵在於怎樣控制長期狀態c. 在這裏, LSTM的思路是使用三個控制開關:

第一個開關, 負責控制繼續保存長期狀態c; (遺忘門)

第二個開關, 負責控制把即時狀態輸入到長期狀態c; (輸入門)

第三個開關, 負責控制是都把長期狀態c作爲當前的LSTM的輸出. (輸出門)

接下來, 具體描述一下輸出h和單元狀態c的計算方法.

長短時記憶網絡的前向計算

開關在算法中用門(gate)實現. 門實際上就是一層全連接層, 它的輸入是一個向量, 輸出是一個0~1的實數向量. 假設w是門的權重向量, b是偏置項, 門可以表示爲:

g(x)=σ(Wx+b)$$g(\mathbf{x})=\sigma (W\mathbf{x}+\mathbf{b})$$

門的使用, 就是用門的輸出向量按元素乘以我們需要控制的那個向量. 當門的輸出爲0時, 任何向量與之相乘都會得到0向量, 相當於什麼都不能通過; 當輸出爲1時, 任何向量與之相乘都爲本身, 相當於什麼都可以通過. 上式中σ$\sigma$ 是sigmoid函數, 值域爲(0,1), 所以門的狀態是半開半閉的.

LSTM用兩個門來控制單元狀態c的內容, 一個是遺忘門(forget gate), 它決定了上一時刻的單元狀態ct−1${\mathbf{c}}_{t-1}$ 有多少保留到當前時刻ct${\mathbf{c}}_t$ ; 另一個是輸入門(input gate), 它決定了當前時刻網絡的輸入xt${\mathbf{x}}_t$ 有多少保存到單元狀態ct${\mathbf{c}}_t$ . LSTM用輸出門(output gate)來控制單元狀態ct${\mathbf{c}}_t$ 有多少輸出到LSTM的當前輸出值ht${\mathbf{h}}_t$ .

1. 遺忘門:

ft=σ(Wf⋅[ht−1,xt]+bf)(式1)$${\mathbf{f}}_t=\sigma (W_f\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f)(式1)$$

上式中, Wf${\mathbf{W}}_f$ 是遺忘門的權重矩陣, [ht−1,xt]$[{\mathbf{h}}_{t-1},x_t]$ 表示把兩個向量連接到一個更長的向量, bf${\mathbf{b}}_f$ 是遺忘門的偏置項, σ$\sigma$ 是sigmoid函數. 如果輸入的維度是dh$d_h$ , 單元狀態的維度是dc$d_c$ (通常dc=dh$d_c=d_h$ ), 則遺忘門的權重矩陣Wf${\mathbf{W}}_f$ 維度是dc×(dh+dx)$d_c\times (d_h+d_x)$ .

事實上, 權重矩陣Wf${\mathbf{W}}_f$ 都是兩個矩陣拼接而成的: 一個是Wfh${\mathbf{W}}_{fh}$ , 它對應着輸入項ht−1${\mathbf{h}}_{t-1}$ , 其維度爲dc×dh$d_c\times d_h$ ; 一個是Wfx${\mathbf{W}}_{fx}$ , 它對應着輸入項xt${\mathbf{x}}_t$ , 其維度爲dc×dh$d_c\times d_h$ . Wf${\mathbf{W}}_f$ 可以寫成:

[Wf][ht−1xt]=[WfhWfx][ht−1xt]=Wfhht−1+Wfxxt(4)(5)$$\begin{array}{}\text{(4)}& \left[\begin{array}{c}{W}_f\end{array}\right]\left[\begin{array}{c}{\mathbf{h}}_{t-1}\\ {\mathbf{x}}_t\end{array}\right]& =\left[\begin{array}{cc}{W}_{fh}& W_{fx}\end{array}\right]\left[\begin{array}{c}{\mathbf{h}}_{t-1}\\ {\mathbf{x}}_t\end{array}\right]\text{(5)}& & =W_{fh}{\mathbf{h}}_{t-1}+W_{fx}{\mathbf{x}}_t\end{array}$$

下圖是遺忘門的計算:

2. 輸入門:

it=σ(Wi⋅[ht−1,xt]+bi)(式2)$${\mathbf{i}}_t=\sigma (W_i\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i)(式2)$$

上式中, Wi${\mathbf{W}}_i$ 是輸入門的權重矩陣, bi${\mathbf{b}}_i$ 是輸入門的偏置項.

下圖是輸入門的計算:

接下來, 計算用於描述當前輸入的單元狀態c̃t${\stackrel{\mathbf{~}}{\mathbf{c}}}_t$ , 它是根據根據上一次的輸出和本次的輸入來計算的:

c̃t=tanh(Wc⋅[ht−1,xt]+bc)(式3)$${\stackrel{\mathbf{~}}{\mathbf{c}}}_t=\tanh (W_c\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c)(式3)$$

下圖是c̃t${\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}$ 的計算:

現在, 我們計算當前時刻的單元狀態ct${\mathbf{c}}_t$ . 它是由上一次的單元狀態ct−1${\mathbf{c}}_{t-1}$ 按元素乘以遺忘門ft${\mathbf{f}}_t$ , 再用當前輸入的單元狀態c̃t${\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}$ 按元素乘以輸入門it${\mathbf{i}}_t$ , 再將兩個積加和產生的:

ct=ft∘ct−1+it∘c̃t(式4)$${\mathbf{c}}_t=f_t\circ {\mathbf{c}}_{t-1}+i_t\circ {\stackrel{\mathbf{~}}{\mathbf{c}}}_t(式4)$$

符號∘$\circ$ 表示按元素乘. 下圖是ct${\mathbf{c}}_t$ 的計算:

這樣, 就把LSTM關於當前的記憶c̃t${\stackrel{\mathbf{~}}{\mathbf{c}}}_t$ 和長期的記憶ct−1${\mathbf{c}}_{t-1}$ 組合在一起, 形成了新的單元狀態ct${\mathbf{c}}_t$ . 由於遺忘門的控制, 它可以保存很久之前的信息, 由於輸入門的控制, 它又可以避免當前無關緊要的內容進入記憶.

3. 輸出門

ot=σ(Wo⋅[ht−1,xt]+bo)(式5)$${\mathbf{o}}_t=\sigma (W_o\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o)(式5)$$

下圖表示輸出門的計算:

LSTM最終的輸出, 是由輸出門和單元狀態共同確定的:

ht=ot∘tanh(ct)(式6)$${\mathbf{h}}_t={\mathbf{o}}_t\circ \tanh ({\mathbf{c}}_t)(式6)$$

下圖表示LSTM最終輸出的計算:

式1到式6就是LSTM前向計算的全部公式.

長短時記憶網絡的訓練

訓練部分比前向計算部分複雜, 具體推導如下.

LSTM訓練算法框架

LSTM的訓練算法仍然是反向傳播算法, 主要是三個步驟:

1. 前向計算每個神經元的輸出值, 對於LSTM來說, 即ft,it,ctot,ht${\mathbf{f}}_t,{\mathbf{i}}_t,{\mathbf{c}}_t{\mathbf{o}}_t,{\mathbf{h}}_t$ 五個向量的值;
2. 反向計算每個神經元的誤差項δ$\delta$ 值, 與RNN一樣, LSTM誤差項的反向傳播也是包括兩個方向: 一個沿時間的反向傳播, 即從當前t時刻開始, 計算每個時刻的誤差項; 一個是將誤差項向上一層傳播;
3. 根據相應的誤差項, 計算每個權重的梯度.

關於公式和符號的說明

接下來的推導, 設定gate的激活函數爲sigmoid, 輸出的激活函數爲tanh函數. 他們的導數分別爲:

σ(z)σ′(z)tanh(z)tanh′(z)=y=11+e−z=y(1−y)=y=ez−e−zez+e−z=1−y2(6)(7)(8)(9)$$\begin{array}{}\text{(6)}& \sigma (z)& =y=\frac{1}{1+e^{-z}}\text{(7)}& {\sigma }^{\prime }(z)& =y(1-y)\text{(8)}& \tanh (z)& =y=\frac{e^z-e^{-z}}{e^z+e^{-z}}\text{(9)}& {\tanh }^{\prime }(z)& =1-y^2\end{array}$$

從上式知, sigmoid函數和tanh函數的導數都是原函數的函數, 那麼計算出原函數的值, 導數便也計算出來.

LSTM需要學習的參數共有8組, 權重矩陣的兩部分在反向傳播中使用不同的公式, 分別是:

1. 遺忘門的權重矩陣Wf${\mathbf{W}}_f$ 和偏置項bt${\mathbf{b}}_t$ , Wf${\mathbf{W}}_f$ 分開爲兩個矩陣Wfh${\mathbf{W}}_{fh}$ 和Wfx${\mathbf{W}}_{fx}$
2. 輸入門的權重矩陣Wi${\mathbf{W}}_i$ 和偏置項bi${\mathbf{b}}_i$ , Wi${\mathbf{W}}_i$ 分開爲兩個矩陣Wih${\mathbf{W}}_{ih}$ 和Wxi${\mathbf{W}}_{xi}$
3. 輸出門的權重矩陣Wo${\mathbf{W}}_o$ 和偏置項bo${\mathbf{b}}_o$ , Wo${\mathbf{W}}_o$ 分開爲兩個矩陣Woh${\mathbf{W}}_{oh}$ 和Wox${\mathbf{W}}_{ox}$
4. 計算單元狀態的權重矩陣Wc${\mathbf{W}}_c$ 和偏置項bc${\mathbf{b}}_c$ , Wc${\mathbf{W}}_c$ 分開爲兩個矩陣Wch${\mathbf{W}}_{ch}$ 和Wcx${\mathbf{W}}_{cx}$

按元素乘∘$\circ$ 符號. 當∘$\circ$ 作用於兩個向量時, 運算如下:

a∘b=⎡⎣⎢⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢b1b2b3...bn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1b1a2b2a3b3...anbn⎤⎦⎥⎥⎥⎥⎥$$\mathbf{a}\circ \mathbf{b}=\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ ...\\ a_n\end{array}\right]\circ \left[\begin{array}{c}{b}_1\\ b_2\\ b_3\\ ...\\ b_n\end{array}\right]=\left[\begin{array}{c}{a}_1{b}_1\\ a_2{b}_2\\ a_3{b}_3\\ ...\\ a_n{b}_n\end{array}\right]$$

當∘$\circ$ 作用於一個向量和一個矩陣時, 運算如下:

a∘X=⎡⎣⎢⎢⎢⎢⎢a1a2a3...an⎤⎦⎥⎥⎥⎥⎥∘⎡⎣⎢⎢⎢⎢⎢x11x21x31xn1x12x22x32xn2x13x23x33...xn3............x1nx2nx3nxnn⎤⎦⎥⎥⎥⎥⎥=⎡⎣⎢⎢⎢⎢⎢a1x11a2x21a3x31anxn1a1x12a2x22a3x32anxn2a1x13a2x23a3x33...anxn3............a1x1na2x2na3x3nanxnn⎤⎦⎥⎥⎥⎥⎥(10)(11)$$\begin{array}{}\text{(10)}& \mathbf{a}\circ X& =\left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ ...\\ a_n\end{array}\right]\circ \left[\begin{array}{ccccc}{x}_{11}& x_{12}& x_{13}& ...& x_{1n}\\ x_{21}& x_{22}& x_{23}& ...& x_{2n}\\ x_{31}& x_{32}& x_{33}& ...& x_{3n}\\ & & ...\\ x_{n1}& x_{n2}& x_{n3}& ...& x_{nn}\end{array}\right]\text{(11)}& & =\left[\begin{array}{ccccc}{a}_1{x}_{11}& a_1{x}_{12}& a_1{x}_{13}& ...& a_1{x}_{1n}\\ a_2{x}_{21}& a_2{x}_{22}& a_2{x}_{23}& ...& a_2{x}_{2n}\\ a_3{x}_{31}& a_3{x}_{32}& a_3{x}_{33}& ...& a_3{x}_{3n}\\ & & ...\\ a_n{x}_{n1}& a_n{x}_{n2}& a_n{x}_{n3}& ...& a_n{x}_{nn}\end{array}\right]\end{array}$$

當∘$\circ$ 作用於兩個矩陣時, 兩個矩陣對應位置的元素相乘. 按元素乘可以在某些情況下簡化矩陣和向量運算.

例如, 當一個對角矩陣右乘一個矩陣時, 相當於用對角矩陣的對角線組成的向量按元素乘那個矩陣:

diag[a]X=a∘X$$diag[\mathbf{a}]X=\mathbf{a}\circ X$$

當一個行向量左乘一個對角矩陣時, 相當於這個行向量按元素乘那個矩陣對角組成的向量:

aTdiag[b]=a∘b$${\mathbf{a}}^{T}diag[\mathbf{b}]=\mathbf{a}\circ \mathbf{b}$$

在t時刻, LSTM的輸出值爲ht${\mathbf{h}}_t$ . 我們定義t時刻的誤差項δt${\delta }_t$ 爲:

δt=def∂E∂ht$${\delta }_t\stackrel{def}{=}\frac{\mathrm{\partial }\mathbf{E}}{\mathrm{\partial }{\mathbf{h}}_t}$$

這裏假設誤差項是損失函數對輸出值的導數, 而不是對加權輸出netlt$ne{t}_t^l$ 的導數. 因爲LSTM有四個加權輸入, 分別對應ft,it,ct,ot${\mathbf{f}}_t,{\mathbf{i}}_t,{\mathbf{c}}_t,{\mathbf{o}}_t$ , 我們希望往上一層傳遞一個誤差項而不是四個, 但需要定義這四個加權輸入以及它們對應的誤差項.

netf,tneti,tnetc̃,tneto,tδf,tδi,tδc̃,tδo,t=Wf[ht−1,xt]+bf=Wfhht−1+Wfxxt+bf=Wi[ht−1,xt]+bi=Wihht−1+Wixxt+bi=Wc[ht−1,xt]+bc=Wchht−1+Wcxxt+bc=Wo[ht−1,xt]+bo=Wohht−1+Woxxt+bo=def∂E∂netf,t=def∂E∂neti,t=def∂E∂netc̃,t=def∂E∂neto,t(12)(13)(14)(15)(16)(17)(18)(19)(20)(21)(22)(23)$$\begin{array}{}\text{(12)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}& =W_f[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f\text{(13)}& & =W_{fh}{\mathbf{h}}_{t-1}+W_{fx}{\mathbf{x}}_t+{\mathbf{b}}_f\text{(14)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}& =W_i[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i\text{(15)}& & =W_{ih}{\mathbf{h}}_{t-1}+W_{ix}{\mathbf{x}}_t+{\mathbf{b}}_i\text{(16)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}& =W_c[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c\text{(17)}& & =W_{ch}{\mathbf{h}}_{t-1}+W_{cx}{\mathbf{x}}_t+{\mathbf{b}}_c\text{(18)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}& =W_o[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o\text{(19)}& & =W_{oh}{\mathbf{h}}_{t-1}+W_{ox}{\mathbf{x}}_t+{\mathbf{b}}_o\text{(20)}& {\delta }_{f,t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\text{(21)}& {\delta }_{i,t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\text{(22)}& {\delta }_{\tilde{c},t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\text{(23)}& {\delta }_{o,t}& \stackrel{def}{=}\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\end{array}$$

誤差項沿時間的反向傳遞

沿時間反向傳遞誤差項, 就是要計算出t-1時刻的誤差項δt−1${\delta }_{t-1}$ .

δTt−1=∂E∂ht−1=∂E∂ht∂ht∂ht−1=δTt∂ht∂ht−1(24)(25)(26)$$\begin{array}{}\text{(24)}& {\delta }_{t-1}^T& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(25)}& & =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(26)}& & ={\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\end{array}$$

其中, ∂ht∂ht−1$\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}$ 是一個Jacobian矩陣, 爲了求出它, 需要列出ht${\mathbf{h}}_{\mathbf{t}}$ 的計算公式, 即前面的式6和式4:

ht=ot∘tanh(ct)(式6)ct=ft∘ct−1+it∘c̃t(式4)$$\begin{gathered} {\mathbf{h}}_t={\mathbf{o}}_t\circ \tanh ({\mathbf{c}}_t)(式6) \\ {\mathbf{c}}_t=f_t\circ {\mathbf{c}}_{t-1}+i_t\circ {\stackrel{\mathbf{~}}{\mathbf{c}}}_t(式4) \end{gathered}$$

顯然, ot,ft,it,c̃t${\mathbf{o}}_{\mathbf{t}},{\mathbf{f}}_{\mathbf{t}},{\mathbf{i}}_{\mathbf{t}},{\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}$ 都是ht−1${\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}$ 的函數, 那麼, 利用全導數公式可得:

δTt∂ht∂ht−1=δTt∂ht∂ot∂ot∂neto,t∂neto,t∂ht−1+δTt∂ht∂ct∂ct∂ft∂ft∂netf,t∂netf,t∂ht−1+δTt∂ht∂ct∂ct∂it∂it∂neti,t∂neti,t∂ht−1+δTt∂ht∂ct∂ct∂c̃t∂c̃t∂netc̃,t∂netc̃,t∂ht−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc̃,t∂netc̃,t∂ht−1(式7)(27)(28)(29)$$\begin{array}{}\text{(27)}& {\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}& ={\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{o}}_t}\frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}\frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{f}}_{\mathbf{t}}}\frac{\mathrm{\partial }{\mathbf{f}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(28)}& & +{\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}\frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{i}}_{\mathbf{t}}}\frac{\mathrm{\partial }{\mathbf{i}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_t^T\frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}\frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_t}\frac{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(29)}& & ={\delta }_{o,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{f,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{i,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{\tilde{c},t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}(式7)\end{array}$$

下面, 要把式7中的每個偏導數都求出來, 根據式6, 可以求出:

∂ht∂ot∂ht∂ct=diag[tanh(ct)]=diag[ot∘(1−tanh(ct)2)](30)(31)$$\begin{array}{}\text{(30)}& \frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{o}}_t}& =diag[\tanh ({\mathbf{c}}_t)]\text{(31)}& \frac{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}}}{\mathrm{\partial }{\mathbf{c}}_t}& =diag[{\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)]\end{array}$$

根據式4, 可以求出:

∂ct∂ft∂ct∂it∂ct∂c̃t=diag[ct−1]=diag[c̃t]=diag[it](32)(33)(34)$$\begin{array}{}\text{(32)}& \frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{f}}_{\mathbf{t}}}& =diag[{\mathbf{c}}_{t-1}]\text{(33)}& \frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\mathbf{i}}_{\mathbf{t}}}& =diag[{\stackrel{\mathbf{~}}{\mathbf{c}}}_t]\text{(34)}& \frac{\mathrm{\partial }{\mathbf{c}}_t}{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_{\mathbf{t}}}& =diag[{\mathbf{i}}_t]\end{array}$$

因爲:

otneto,tftnetf,titneti,tc̃tnetc̃,t=σ(neto,t)=Wohht−1+Woxxt+bo=σ(netf,t)=Wfhht−1+Wfxxt+bf=σ(neti,t)=Wihht−1+Wixxt+bi=tanh(netc̃,t)=Wchht−1+Wcxxt+bc(35)(36)(37)(38)(39)(40)(41)(42)(43)(44)(45)$$\begin{array}{}\text{(35)}& {\mathbf{o}}_t& =\sigma ({\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t})\text{(36)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}& =W_{oh}{\mathbf{h}}_{t-1}+W_{ox}{\mathbf{x}}_t+{\mathbf{b}}_o\text{(37)}& \text{(38)}& {\mathbf{f}}_t& =\sigma ({\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t})\text{(39)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}& =W_{fh}{\mathbf{h}}_{t-1}+W_{fx}{\mathbf{x}}_t+{\mathbf{b}}_f\text{(40)}& \text{(41)}& {\mathbf{i}}_t& =\sigma ({\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t})\text{(42)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}& =W_{ih}{\mathbf{h}}_{t-1}+W_{ix}{\mathbf{x}}_t+{\mathbf{b}}_i\text{(43)}& \text{(44)}& {\stackrel{\mathbf{~}}{\mathbf{c}}}_t& =\tanh ({\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t})\text{(45)}& {\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}& =W_{ch}{\mathbf{h}}_{t-1}+W_{cx}{\mathbf{x}}_t+{\mathbf{b}}_c\end{array}$$

可以得出:

∂ot∂neto,t∂neto,t∂ht−1∂ft∂netf,t∂netf,t∂ht−1∂it∂neti,t∂neti,t∂ht−1∂c̃t∂netc̃,t∂netc̃,t∂ht−1=diag[ot∘(1−ot)]=Woh=diag[ft∘(1−ft)]=Wfh=diag[it∘(1−it)]=Wih=diag[1−c̃2t]=Wch(46)(47)(48)(49)(50)(51)(52)(53)$$\begin{array}{}\text{(46)}& \frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}& =diag[{\mathbf{o}}_t\circ (1-{\mathbf{o}}_t)]\text{(47)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}& =W_{oh}\text{(48)}& \frac{\mathrm{\partial }{\mathbf{f}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}& =diag[{\mathbf{f}}_t\circ (1-{\mathbf{f}}_t)]\text{(49)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{t-1}}& =W_{fh}\text{(50)}& \frac{\mathrm{\partial }{\mathbf{i}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}& =diag[{\mathbf{i}}_t\circ (1-{\mathbf{i}}_t)]\text{(51)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{t-1}}& =W_{ih}\text{(52)}& \frac{\mathrm{\partial }{\stackrel{\mathbf{~}}{\mathbf{c}}}_t}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}& =diag[1-{\stackrel{\mathbf{~}}{\mathbf{c}}}_t^2]\text{(53)}& \frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{t-1}}& =W_{ch}\end{array}$$

將上述偏導數導入到式7, 可以得到:

δt−1=δTo,t∂neto,t∂ht−1+δTf,t∂netf,t∂ht−1+δTi,t∂neti,t∂ht−1+δTc̃,t∂netc̃,t∂ht−1=δTo,tWoh+δTf,tWfh+δTi,tWih+δTc̃,tWch(式8)(54)(55)$$\begin{array}{}\text{(54)}& {\delta }_{t-1}& ={\delta }_{o,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{f,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{i,t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}+{\delta }_{\tilde{c},t}^T\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{h}}_{\mathbf{t}\mathbf{-}\mathbf{1}}}\text{(55)}& & ={\delta }_{o,t}^T{W}_{oh}+{\delta }_{f,t}^T{W}_{fh}+{\delta }_{i,t}^T{W}_{ih}+{\delta }_{\tilde{c},t}^T{W}_{ch}(式8)\end{array}$$

根據δo,t,δf,t,δi,t,δc̃,t${\delta }_{o,t},{\delta }_{f,t},{\delta }_{i,t},{\delta }_{\tilde{c},t}$ 的定義, 可知:

δTo,tδTf,tδTi,tδTc̃,t=δTt∘tanh(ct)∘ot∘(1−ot)(式9)=δTt∘ot∘(1−tanh(ct)2)∘ct−1∘ft∘(1−ft)(式10)=δTt∘ot∘(1−tanh(ct)2)∘c̃t∘it∘(1−it)(式11)=δTt∘ot∘(1−tanh(ct)2)∘it∘(1−c̃2)(式12)(56)(57)(58)(59)$$\begin{array}{}\text{(56)}& {\delta }_{o,t}^T& ={\delta }_t^T\circ \tanh ({\mathbf{c}}_t)\circ {\mathbf{o}}_t\circ (1-{\mathbf{o}}_t)(式9)\text{(57)}& {\delta }_{f,t}^T& ={\delta }_t^T\circ {\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)\circ {\mathbf{c}}_{t-1}\circ {\mathbf{f}}_t\circ (1-{\mathbf{f}}_t)(式10)\text{(58)}& {\delta }_{i,t}^T& ={\delta }_t^T\circ {\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)\circ {\stackrel{\mathbf{~}}{\mathbf{c}}}_t\circ {\mathbf{i}}_t\circ (1-{\mathbf{i}}_t)(式11)\text{(59)}& {\delta }_{\tilde{c},t}^T& ={\delta }_t^T\circ {\mathbf{o}}_t\circ (1-\tanh ({\mathbf{c}}_t{)}^2)\circ {\mathbf{i}}_t\circ (1-{\stackrel{\mathbf{~}}{\mathbf{c}}}^2)(式12)\end{array}$$

式8到式12就是將誤差沿時間反向傳播一個時刻的公式. 有了它, 便可以寫出將誤差項傳遞到任意k時刻的公式:

δTk=∏j=kt−1δTo,jWoh+δTf,jWfh+δTi,jWih+δTc̃,jWch(式13)$${\delta }_k^T=\prod _{j=k}^{t-1}{\delta }_{o,j}^T{W}_{oh}+{\delta }_{f,j}^T{W}_{fh}+{\delta }_{i,j}^T{W}_{ih}+{\delta }_{\tilde{c},j}^T{W}_{ch}(式13)$$

將誤差項傳遞到上一層

假設當前是第l$l$ 層, 定義l−1$l-1$ 層的誤差項是誤差函數對l−1$l-1$ 層加權輸入的導數, 即:

δl−1t=def∂Enetl−1t$${\delta }_t^{l-1}\stackrel{def}{=}\frac{\mathrm{\partial }E}{{\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}}$$

本次LSTM的輸入xt$x_t$ 由下面的公式計算:

xlt=fl−1(netl−1t)$${\mathbf{x}}_t^l={\mathbf{f}}^{l-1}({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})$$

上式中, fl−1${\mathbf{f}}^{l-1}$ 表示第l−1$l-1$ 的激活函數.

因爲netlf,t,netli,t,netlc̃,t,netlo,t${\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}^l,{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}^l,{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}^l,{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}^l$ 都是xt${\mathbf{x}}_{\mathbf{t}}$ 的函數, xt${\mathbf{x}}_{\mathbf{t}}$ 又是netl−1t${\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}$ 的函數, 因此, 要求出E$\mathbf{E}$ 對netl−1t${\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}$ 的導數, 就需要使用全導數公式:

∂E∂netl−1t=∂E∂netlf,t∂netlf,t∂xlt∂xlt∂netl−1t+∂E∂netli,t∂netli,t∂xlt∂xlt∂netl−1t+∂E∂netlc̃,t∂netlc̃,t∂xlt∂xlt∂netl−1t+∂E∂netlo,t∂netlo,t∂xlt∂xlt∂netl−1t=δTf,tWfx∘f′(netl−1t)+δTi,tWix∘f′(netl−1t)+δTc̃,tWcx∘f′(netl−1t)+δTo,tWox∘f′(netl−1t)=(δTf,tWfx+δTi,tWix+δTc̃,tWcx+δTo,tWox)∘f′(netl−1t)(式14)(60)(61)(62)(63)$$\begin{array}{}\text{(60)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{f}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{f}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}+\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{i}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{i}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}\text{(61)}& & +\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\stackrel{\mathbf{~}}{\mathbf{c}}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\stackrel{\mathbf{~}}{\mathbf{c}}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}+\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{o}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{o}\mathbf{,}\mathbf{t}}^{\mathbf{l}}}{\mathrm{\partial }{\mathbf{x}}_t^l}\frac{\mathrm{\partial }{\mathbf{x}}_t^l}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\mathbf{t}}^{\mathbf{l}\mathbf{-}\mathbf{1}}}\text{(62)}& & ={\delta }_{f,t}^T{W}_{fx}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})+{\delta }_{i,t}^T{W}_{ix}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})+{\delta }_{\tilde{c},t}^T{W}_{cx}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})+{\delta }_{o,t}^T{W}_{ox}\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})\text{(63)}& & =({\delta }_{f,t}^T{W}_{fx}+{\delta }_{i,t}^T{W}_{ix}+{\delta }_{\tilde{c},t}^T{W}_{cx}+{\delta }_{o,t}^T{W}_{ox})\circ f^{\prime }({\mathbf{n}\mathbf{e}\mathbf{t}}_t^{l-1})(式14)\end{array}$$

式14就是將誤差傳遞到上一層的公式.

權重梯度的計算

對於Wfh,Wih,Wch,Woh${\mathbf{W}}_{fh},{\mathbf{W}}_{ih},{\mathbf{W}}_{ch},{\mathbf{W}}_{oh}$ 的權重梯度, 我們知道它的梯度是各個時刻梯度之和. 我們首先求出它們在t時刻的梯度, 然後再求出他們最終的梯度.

我們已經求得了誤差項δo,t,δf,t,δi,t,δc̃,t${\delta }_{o,t},{\delta }_{f,t},{\delta }_{i,t},{\delta }_{\tilde{c},t}$ , 很容易求出t時刻的Woh,Wfh,Wih,Wch${\mathbf{W}}_{oh},{\mathbf{W}}_{fh},{\mathbf{W}}_{ih},{\mathbf{W}}_{ch}$ :

∂E∂Woh,t∂E∂Wfh,t∂E∂Wih,t∂E∂Wch,t=∂E∂neto,t∂neto,t∂Woh,t=δo,thTt−1=∂E∂netf,t∂netf,t∂Wfh,t=δf,thTt−1=∂E∂neti,t∂neti,t∂Wih,t=δi,thTt−1=∂E∂netc̃,t∂netc̃,t∂Wch,t=δc̃,thTt−1(64)(65)(66)(67)(68)(69)(70)(71)(72)(73)(74)$$\begin{array}{}\text{(64)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{oh,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{W}_{oh,t}}\text{(65)}& & ={\delta }_{o,t}{\mathbf{h}}_{t-1}^T\text{(66)}& \text{(67)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{fh,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{W}_{fh,t}}\text{(68)}& & ={\delta }_{f,t}{\mathbf{h}}_{t-1}^T\text{(69)}& \text{(70)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ih,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{W}_{ih,t}}\text{(71)}& & ={\delta }_{i,t}{\mathbf{h}}_{t-1}^T\text{(72)}& \text{(73)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ch,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{W}_{ch,t}}\text{(74)}& & ={\delta }_{\tilde{c},t}{\mathbf{h}}_{t-1}^T\end{array}$$

將各個時刻的梯度加在一起, 就能得到最終的梯度:

∂E∂Woh∂E∂Wfh∂E∂Wih∂E∂Wch=∑j=1tδo,jhTj−1=∑j=1tδf,jhTj−1=∑j=1tδi,jhTj−1=∑j=1tδc̃,jhTj−1(75)(76)(77)(78)$$\begin{array}{}\text{(75)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{oh}}& =\sum _{j=1}^t{\delta }_{o,j}{\mathbf{h}}_{j-1}^T\text{(76)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{fh}}& =\sum _{j=1}^t{\delta }_{f,j}{\mathbf{h}}_{j-1}^T\text{(77)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ih}}& =\sum _{j=1}^t{\delta }_{i,j}{\mathbf{h}}_{j-1}^T\text{(78)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ch}}& =\sum _{j=1}^t{\delta }_{\tilde{c},j}{\mathbf{h}}_{j-1}^T\end{array}$$

對於偏置項bf,bi,bc,bo${\mathbf{b}}_{\mathbf{f}},{\mathbf{b}}_{\mathbf{i}},{\mathbf{b}}_{\mathbf{c}},{\mathbf{b}}_{\mathbf{o}}$ 的梯度, 先求出各個時刻的偏置項梯度:

∂E∂bo,t∂E∂bf,t∂E∂bi,t∂E∂bc,t=∂E∂neto,t∂neto,t∂bo,t=δo,t=∂E∂netf,t∂netf,t∂bf,t=δf,t=∂E∂neti,t∂neti,t∂bi,t=δi,t=∂E∂netc̃,t∂netc̃,t∂bc,t=δc̃,t(79)(80)(81)(82)(83)(84)(85)(86)(87)(88)(89)$$\begin{array}{}\text{(79)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{o,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{\mathbf{b}}_{o,t}}\text{(80)}& & ={\delta }_{o,t}\text{(81)}& \text{(82)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{f,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{\mathbf{b}}_{f,t}}\text{(83)}& & ={\delta }_{f,t}\text{(84)}& \text{(85)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{i,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{\mathbf{b}}_{i,t}}\text{(86)}& & ={\delta }_{i,t}\text{(87)}& \text{(88)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_{c,t}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{\mathbf{b}}_{c,t}}\text{(89)}& & ={\delta }_{\tilde{c},t}\end{array}$$

將各個時刻的偏置項梯度加在一起:

∂E∂bo∂E∂bi∂E∂bf∂E∂bc=∑j=1tδo,j=∑j=1tδi,j=∑j=1tδf,j=∑j=1tδc̃,j(90)(91)(92)(93)$$\begin{array}{}\text{(90)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_o}& =\sum _{j=1}^t{\delta }_{o,j}\text{(91)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_i}& =\sum _{j=1}^t{\delta }_{i,j}\text{(92)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_f}& =\sum _{j=1}^t{\delta }_{f,j}\text{(93)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{b}}_c}& =\sum _{j=1}^t{\delta }_{\tilde{c},j}\end{array}$$

對於Wfx,Wix,Wcx,Wox${\mathbf{W}}_{fx},{\mathbf{W}}_{ix},{\mathbf{W}}_{cx},{\mathbf{W}}_{ox}$ 的權重梯度, 只需要根據相應的誤差項直接計算即可:

∂E∂Wox∂E∂Wfx∂E∂Wix∂E∂Wcx=∂E∂neto,t∂neto,t∂Wox=δo,txTt=∂E∂netf,t∂netf,t∂Wfx=δf,txTt=∂E∂neti,t∂neti,t∂Wix=δi,txTt=∂E∂netc̃,t∂netc̃,t∂Wcx=δc̃,txTt(94)(95)(96)(97)(98)(99)(100)(101)(102)(103)(104)$$\begin{array}{}\text{(94)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ox}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{o,t}}{\mathrm{\partial }{W}_{ox}}\text{(95)}& & ={\delta }_{o,t}{\mathbf{x}}_t^T\text{(96)}& \text{(97)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{fx}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{f,t}}{\mathrm{\partial }{W}_{fx}}\text{(98)}& & ={\delta }_{f,t}{\mathbf{x}}_t^T\text{(99)}& \text{(100)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{ix}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{i,t}}{\mathrm{\partial }{W}_{ix}}\text{(101)}& & ={\delta }_{i,t}{\mathbf{x}}_t^T\text{(102)}& \text{(103)}& \frac{\mathrm{\partial }E}{\mathrm{\partial }{W}_{cx}}& =\frac{\mathrm{\partial }E}{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}\frac{\mathrm{\partial }{\mathbf{n}\mathbf{e}\mathbf{t}}_{\tilde{c},t}}{\mathrm{\partial }{W}_{cx}}\text{(104)}& & ={\delta }_{\tilde{c},t}{\mathbf{x}}_t^T\end{array}$$

以上就是LSTM的訓練算法的全部公式

GRU

上面所述是一種普通的LSTM, 事實上LSTM存在很多變體, GRU就是其中一種最成功的變體. 它對LSTM做了很多簡化, 同時保持和LSTM相同的效果.

GRU對LSTM做了兩大改動:

1. 將輸入門, 遺忘門, 輸出門變爲兩個門: 更新門(Update Gate) zt${\mathbf{z}}_t$ 和充值門(Reset Gate) rt${\mathbf{r}}_{\mathbf{t}}$ .
2. 將單元狀態與輸出合併爲一個狀態: h$\mathbf{h}$

GRU的前向計算公式爲:

ztrth̃th=σ(Wz⋅[ht−1,xt])=σ(Wr⋅[ht−1,xt])=tanh(W⋅[rt∘ht−1,xt])=(1−zt)∘ht−1+zt∘h̃t(105)(106)(107)(108)$$\begin{array}{}\text{(105)}& {\mathbf{z}}_t& =\sigma (W_z\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t])\text{(106)}& {\mathbf{r}}_t& =\sigma (W_r\cdot [{\mathbf{h}}_{t-1},{\mathbf{x}}_t])\text{(107)}& {\stackrel{\mathbf{~}}{\mathbf{h}}}_t& =\tanh (W\cdot [{\mathbf{r}}_t\circ {\mathbf{h}}_{t-1},{\mathbf{x}}_t])\text{(108)}& \mathbf{h}& =(1-{\mathbf{z}}_t)\circ {\mathbf{h}}_{t-1}+{\mathbf{z}}_t\circ {\stackrel{\mathbf{~}}{\mathbf{h}}}_t\end{array}$$

下圖是GRU的示意圖: