【深度学习】为什么需要引入Attention?

如下两句话:

(1)乔布执掌的苹果成为全球市值第一的公司。

(2)山东苹果,又大又圆,很好 。

在对苹果这个词进行语义理解时,有了Attention,就能通过上下文来辅助判断。

比如第一句话的,上下文中的乔布斯和公司两个词贡献很大,我们能将“苹果”理解为是一个公司。

第二句的“苹果”,有个“产”字和“吃”字,我们能将“苹果”理解为是一种水果。

为什么双向RNN不能通过上下文理解,判断“苹果”的语义,而Attention就行?

因为RNN通过一个隐藏层记录当前及之前所见过的词汇,已经将语义信息杂糅在一起,而往往理解“苹果”这个词的语义时候,通过几个词就行,而不是整句。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章