RNN可以记忆到很强的位置信息

如下两个图片,无论第一幅中的a(ht),还是第二幅中的u,都很可能会记住RNN中的位置,而非每个时间步所表达的语义。一个极端的现象,a(ht)或者u 都把RNN最后一步的输出的weight 设为1,而其他时间步的输出为0。

(1)可以用于文本分类新的改变

(2)可以用于复述判别

在这里插入图片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章