注意力机制

参考:https://www.jianshu.com/p/ecaac3d8296d
所谓的注意力机制,其实就是让系统学会注意力-即关注重点信息忽略无关信息。带有注意力机制的系统,不仅可以自主学习注意力,还可以帮助我们更好的理解神经网络。


提出了两种注意力方法:使用基本反向传播训练的Soft Attetnion方法和使用强化学习训练的Hard Attention方法。论文关于注意力机制的表述主要在以下几个方面:
1)强注意力机制
注意力机制
2)软注意力机制
注意力机制
与强注意力机制不同,软注意力机制对所有的区域都关注,但关注的重要程度不一样

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章