[Deep Learning] Contextual Attention with Keras & Pytorch

Abstract

今天介紹一種十分基本的Attention應用，suppose我們現在有n個完全一樣的entity，而我們已經知道這n個entity服從一種重要性分佈，那麼我們如何讓深度網絡能夠自己知道哪些entity是比較重要的呢，兩種十分常見的場景是NLP中sentence-level context的獲取和CV中spatial-wise或channel-wise的加權，那麼就是接下來要介紹的這個Attention，和常用的MaxPooling有什麼區別呢？

好用就萬事了，but it depends~ 當然還有更騷更強的SCA-CNN

上資源，覺得好用別吝嗇Star喲：

https://github.com/WenYanger/Contextual-Attention

Reference:

Raffel et al. [https://arxiv.org/abs/1512.08756]

SCA-CNN : [https://arxiv.org/abs/1611.05594v1]

---

Results