圖像注意力：Soft & Hard attention

參考博客：
[1] http://nathanlvzs.github.io/Blog-Translation-Attention-Mechanism.html

圖像注意力機制

什麼是注意力（attention）

受哺乳動物視覺神經系統的啓發，神經注意力機制賦予神經網絡可以專注於 輸入（或特徵） 子集的能力，即 選擇輸入的特定部分

圖片來源

軟注意力（soft attention）

簡單理解：對圖像的每個像素分配注意力權重$(0～1)$
軟注意力是一個完全可微的確定性機制（fully differentiable deterministic mechanism），能夠被即插即用在現有的系統上，梯度能夠在通過注意力機制傳播的同時向網絡其他部分傳播。（優勢）

硬注意力（hard attention）

簡單理解：選擇圖像的某個區域作爲注意力區域，該部分注意力權重爲$1$，其他區域的注意力權重爲$0$。
硬注意力機制是一個隨意過程（如：圖像裁剪）