文獻閱讀:Image Super-Resolution Using Very Deep Residual Channel Attention Networks

文章地址：https://arxiv.org/abs/1807.02758
補充材料地址：Support-RCAN
作者的項目地址： RCAN-Pytorch

1 網絡介紹

    在這篇文章中，作者提出了一種讓CNN更深的方法：首先要做的就是，準備10個殘差組(RG)，其中每組包含20個殘差通道注意模塊(RCAB)。

    研究人員表示網絡的深度很重要，我們也認爲如此，也見證過EDSR和MDSR帶來的一波浪潮。然而，通過簡單堆疊殘差塊來構建更深的網絡可能很難得到更大的提升，需要在架構方面有更多進展。

    所以，他們提出了RIR（residual in residual）架構，堆疊的每個殘差組裏包含很多殘差塊，因此我們也可以獲得長跳過(LSC)連接和短跳過(SSC)連接。

上述提到的映射和殘差塊中的快捷鍵可以繞開低頻信息。

    其實乍一看感覺挺複雜的，但是仔細的閱讀作者的文章，發現也是很容易的理解的。作者的工作主要兩個方面，第一個就是RIR(Residual in Residual)無非就是利用ResNets的相關思想，提出了LSC和SSC策略,讓我們的網絡可以達到很深，比如大於400層。另外一個方面就是引入了CA模塊,也就是注意力機制，簡單來說，之前的SR文章對待feature map中每一個通道是一樣的，作者認爲每一個通道的重要性不一樣，有些通道重要，而有些不那麼重要，所以我們要揚長避短, 增加重要通道的權重，抑制不那麼重要的權重。其實，這個一看RCAB模塊，發現就是Squeeze-and-Excitation Networks文章裏面的 “Squeeze-and-Excitation” (SE) block，這項工作拿到了ImageNet2017 image classification 的冠軍，原本是一個分類任務，作者很好的運用到SR任務上了。下圖是Squeeze-and-Excitation Networks的核心網絡：

2 結果

    從結果上來看，作者做了大量的實驗，並且從結果也證明RCAN網絡具有優良的表現。值得一題的是，在作者的補充材料中，作者也做出了更多的對比實驗，這裏列舉一個實驗是作者對比GAN相關的實驗：

從結果上看，基於GAN的幾個網絡表現並沒有想象中那樣好，可能的原因就是訓練太困難。另外作者的項目是基於EDSR,核心的RCAN模塊實現也是比較簡單的。

3 感想

    從最近的幾篇文章來看，可能會有更多的文章運用注意力機制。比如傳統的NLP領域，以及最近的圖像分類、圖像標註，推薦幾篇相關的文章，以及比較好的關於注意力機制入門的文章。

1. CVPR2018: Tell Me Where to Look: Guided Attention Inference Network
2. CVPR2017: Residual Attention Network for Image Classification
3. CVPR2017: SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks
   for Image Captioning
4. 深度學習中的注意力機制
5. 知乎：從2017年頂會論文看 Attention Model
6. 知乎：模型彙總24 - 深度學習中Attention Mechanism詳細介紹：原理、分類及應用