在我之前的文章中，沒有或者是很少有涉及到Attention機制的使用，因爲之前做的很多工作中也不需要用到這個技術，週末正好有點時間就想學一下這個Attention機制，看看到底怎麼樣去結合使用，怎麼樣能夠提升我們原有模型的性能。
當我們人在看一樣東西的時候，我們當前時刻關注的一定是我們當前正在看的這樣東西的某一地方，換句話說，當我們目光移到別處時，注意力隨着目光的移動也在轉移，這意味着，當人們注意到某個目標或某個場景時，該目標內部以及該場景內每一處空間位置上的注意力分佈是不一樣的。
Attention機制是模仿人類注意力而提出的一種解決問題的辦法，簡單地說就是從大量信息中快速篩選出高價值信息。主要用於解決LSTM/RNN模型輸入序列較長的時候很難獲得最終合理的向量表示問題，做法是保留LSTM的中間結果，用新的模型對其進行學習，並將其與輸出進行關聯，從而達到信息篩選的目的。
簡而言之就是：Attention讓模型學習到很有用的比較重要性的信息，這些信息對於模型的預測分析影響度是最大的，讓模型具備這樣的能力就是一件非常cool的事情了，對於模型性能的提升和收斂的加快都是很有幫助的。
Attention不能稱之爲一種模型，更像是一種思想、一種技術或者是一種框架，它最早提出是爲了提升Encoder-Decoder類模型性能的，簡化的示意圖如下所示：
逐步發展到可以用於任何實際的場景之中，本文的應用實踐就是一個比較簡單也是比較基礎的分類實踐應用。將深度學習模型與Attention機制相結合，之後構