- 丫頭姐姐要生小寶寶了，願母女一切順利平安，丫頭辛苦了
- 公司出了新產品，老闆一激動，又給我們灌了一個多小時的雞湯。還給每個人留下了一個必須回答的哲學問題——你快樂嗎？？？
- 去清華聽了4位參與CVPR2017同學的論文分享，感觸頗深
本週工作很緊，但忙裏偷閒，還是看到了幾篇耳目一新，有所啓發的paper。
- Residual Attention Network for Image Classification
attention機制一直是一個比較符合人類認知的先驗知識，之前看過一些文章，但對它的理解和怎麼運用還是沒把握，直到看到這篇paper，才頓然有所得。
我們先來看看網絡長啥樣：
- 熟悉的skip connection結構
- 熟悉的hourglass沙漏block
- 熟悉的Resblock
還有element-wise product
element-wise product的乘式因子就是attention map和feature map了。重點就是這個attention map的獲取。它就是由下圖的soft Mask Branch完成的。可以看到，這個結構和resblock很像，亮點在於他將hourglass和resblock結合了起來，使得無論是分類、檢測還是識別問題都融入了attention，從而能更簡單更高效的完成這些任務。
個人insights:
- attention map和feature map的融合一如SENet(ImageNet 2017 競賽 Image Classification 任務的冠軍網絡)裏的特徵提取融合，對feature map的使用不再侷限於簡單的forward或者skip connetion，而是引入了對feature map重要性的考量，使得特徵運用更加的高效。特徵提取是基礎，如何後續融合特徵也是保證特徵提取器效果重要trick。
- 迴歸到自己的工作上，attention機制是否可以用在depth estimation中呢？目前還沒想好，但可以肯定的是，attetion map和feature的element-wise product是可以吸取的，而且能肯定的是，類似這特徵融合的機制是通用的。
特徵融合還有一種方法就是局部特徵的拼接融合了。先來一張圖感受下：
[圖片來自於Fully Convolutional Instance-aware Semantic Segmentation]
，有興趣的同學自己去看吧，我貼這張圖只是示意，不打算講這篇paper啦。
局部特徵拼接的優勢在於，局部的精細化會做的更好，而且這對精細化分類也是有啓發的。當然，難點在於如何完美拼接了。之前也一直在思考這一點，也攢了幾篇paper，接下里就要好搬磚，要是效果不錯，再來分享自己的代碼心得了。
最後，這週末去聽了cvpr的報告，講講感觸：
- 怎麼都是和我一樣的瘦子，尤其是Momenta的總監孫剛老師，比我還瘦吧
- 頂級paper的工作都缺不了很solid的積澱，還是要多看paper，多思考
- 無論做什麼task，在遷移時更多的應該是思考task之間本質的區別所在，然後將這種區別線索反應到所設計的網絡結構中，而不是簡單粗暴的改輸出、改kernel，加減層。