说在前面的话：
前段时间因为组会要对注意力机制做一个报告，我在收集资料的时候发现，网上很多所谓的attention总结无非最后都陷入了对transformer模型和自注意力机制的解释中，其实这并没有对所有的注意力机制类型进行一个详细的总结，这对一个初学者来说很容易陷入一个思维定势中。因此我决定深入剖析各个经典文章中所使用的Attention机制，并对他们进行一个分类总结。可以说这篇文章内容是全网最全的，应该找不到比这个更全的总结了，除了参考一些综述和网上资料，我还根据自己的理解整合并加入了一些新的内容。本文参考的文献和网上资料都会在最后部分给出。
目录