https://www.jianshu.com/p/1c24eba3ba9c
本論文就提出了兩種簡單但卻有效的注意力機制，全局注意力（global）和局部注意力（local）。
本文提出的兩種注意力機制（global & local）其本質區別在於，全局注意力會參考所有輸入詞，而局部注意力只會考慮部分輸入詞。
- 全局注意力
該注意力機制重點在於考慮所有輸入的隱狀態來生成語境向量。 - 局部注意力
局部注意力機制其實就是爲了解決全局注意力機制計算開銷過大的問題，比如篇章級或者長句的翻譯，遍歷所有的隱狀態來求對齊向量顯然比較困難，因此，局部注意力，如其名，只會關注部分隱狀態。因此，該機制的重點就在於如何找尋與預測詞對應的隱狀態。而論文中也給出了2種找尋的辦法