GRU

GRU:有兩個有兩個門,即重置門reset gate、更新門update gate。這兩個門控機制的特殊之處在於,它們能夠保存長期序列中的信息,且不會隨時間而清除或因爲與預測不相關而移除。從直觀上來說,重置門決定了如何將新的輸入信息與前面的記憶相結合,更新門定義了前面記憶保存到當前時間步的量。如果我們將重置門設置爲 1,更新門設置爲 0,那麼我們將再次獲得標準 RNN 模型。

 

網絡理解:重置門其實強制隱藏狀態遺忘一些歷史信息,並利用當前輸入的信息。這可以令隱藏狀態遺忘任何在未來發現與預測不相關的信息,同時也允許構建更加緊緻的表徵。而更新門將控制前面隱藏狀態的信息有多少會傳遞到當前隱藏狀態,這與 LSTM 網絡中的記憶單元非常相似,它可以幫助 RNN 記住長期信息。

 

由於每個單元都有獨立的重置門與更新門,每個隱藏單元將學習不同尺度上的依賴關係。那些學習捕捉短期依賴關係的單元將趨向於激活重置門,而那些捕獲長期依賴關係的單元將常常激活更新門。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章