RNN可以記憶到很強的位置信息

如下兩個圖片,無論第一幅中的a(ht),還是第二幅中的u,都很可能會記住RNN中的位置,而非每個時間步所表達的語義。一個極端的現象,a(ht)或者u 都把RNN最後一步的輸出的weight 設爲1,而其他時間步的輸出爲0。

(1)可以用於文本分類新的改變

(2)可以用於複述判別

在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章