圖解Attention

關於Attention的公式推導，我在這篇文章講過了，本篇文章主要以圖示的方式進行講解

下圖是一個Encoder架構，$s_0$從值上來說與$h_m$是相等的，只不過這裏換了個名字

首先我們需要將$s_0$和所有的$h_i\ (i=1,...,m)$計算一個"相關性"，比方說計算$s_0$和$h_1$之間的相關性計算得$\alpha_1=align(h_1, s_0)$

計算得到m個相關性$\alpha_i$之後，將這些值與$h_i$進行加權平均，即
$c_0=\sum_{i=1}^m \alpha_i h_i=\alpha_1h_1+···\alpha_mh_m$
我們可以直觀的感受一下這樣做有什麼作用，對於那些值比較大的$\alpha_k$，最終$c_0$中也會有一大部分來自於$h_k$。$c_0$實際上考慮到了所有時刻的$h$，只不過對於某些時刻可能關注的更多，而某些時刻關注的更少，這就是注意力機制

之後將$s_0,c_0,x'_1$作爲$t=0$時刻Decoder 的輸入，計算得到$s_1$，然後再計算$s_1$與所有$h_i\ (i=1,...,m)$之間新的相關性$\alpha_i$

同樣的，將新計算得到的$\alpha_i$與$h_i$做加權平均，得到新的context vector $c_1$

重複上述步驟，直到Decoder結束

[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-kXBKjnuD-1593652073210)(https://i.loli.net/2020/07/01/yqm7WM4tKQpVc6B.png#shadow)]

到這裏實際上整個Seq2Seq(with Attention)就講完了，但是其中還有一些細節，比方說，align()函數怎麼設計？$c_i$如何應用到Decoder中？下面一一解釋

align()函數如何設計？

有兩種方法，在最初的論文，即Bahdanau的論文中，他的設計方式如下圖所示

現在比較主流的，同時也是Transformer結構使用的方法如下所示

$c_i$如何應用到Decoder中？

廢話不多說，直接見下圖