論文：FSSD: Feature Fusion Single Shot Multibox Detector
caffe實現：鏈接
該篇論文出自北航，看起來比較容易懂，因此筆記會寫的簡單一點。
Introduction
言歸正傳，本文是以SSD爲基底進行“改造”的一篇文章。SSD是從網絡的不同層中抽取不同scale的feature直接做predict，所以沒有充分融合不同scale的feature。後續有提出DSSD，RSSD等改進方法，但是因爲模型的complexity導致速度變慢很多。本文借鑑了FPN的思想，重構了一組pyramid feature map，使得算法的精度有了明顯的提升，速度也沒有太降。先看一張圖直觀感受一下FSSD對比其它算法的效果。
Approach
對比下圖中幾種結構：
(a)中棕色的block之間沒有聯繫，所以是使用不同scale的圖片來生成不同scale的feature map進行predict，這是最不高效的一種方法；
(b)代表faster rcnn之類的two-stage算法，利用某一個scale的feature map來生成多scale的anchors去檢測multi-scale objects；
(c)是典型的Top-Down結構，FPN爲代表網絡。該結構在此不做贅述，有不清楚的移步這裏。DSSD也是該網絡結構的應用；
(d)是SSD的結構代表圖，從網絡不同層抽取不同scale的feature做預測，這種方式不會增加額外的計算量，但是各個scale之間沒有聯繫；
(e)是FSSD的結構圖，就是把網絡中某些feature調整爲同一szie再 contact，得到一個像素層，以此層爲base layer來生成pyramid feature map，作者稱之爲Feature Fusion Module。
下面解釋一下Feature Fusion Module。作者用一組公式表示整個過程：
對公式的字母含義進行說明：
1. Xi 是前置網絡中希望融合的feature map，作者在文中說明了size小於10的feature map能合併的信息太少了，因此不做考慮，此外將conv6-2的stride設爲1，這樣conv7-2的size就是10了（給出FSSD的網絡結構鏈接），所以選擇 conv4-3 (38*38) ,fc7 , conv7-2輸出的feature map來進行融合（爲什麼非用7-2，難道原始s=2的6-2用起來效果很差？作者沒有說明）。至於爲什麼不用conv3-3的特徵，可以對比Tab 2的2,3行看出；
2. Ti 表示對feature map進行降採樣或者上採樣方法的選擇，目的讓其scale一致。FSSD中均採用billnear將fc7 , conv7-2的scale統一爲38；
3. φf 是選擇對scale一致的feature map進行Contact還是Element-wise sum。目的是融合feature map生成一個scale的feature，FSSD應用了concact，可對比Tab 2的2,7兩行看出；
4. φp是如何利用得到的feature重構一組predict layer，也即Pyramid feature maps，作者實驗了Fig 3中的三種結構，其中棕色的block用來做predict，第一個結構使用fusion feature map作爲第一層，第二個是fusion feature map接了個3*3卷積後作爲第一層，最後一個結構是對於每一個predict層都先用1*1卷積來降低計算量，也就是bottleneck layer。從Tab 1可以看出中間的效果最好。
FSSD網絡的結構如下圖所示，也貼出notescop鏈接
Experiment
實驗不貼那麼多了，貼一個在COCO上的對比圖，從IOU[0.5:0.95]中可以看出FSSD的精度比SSD要高，但是比DSSD要低一點，因此FSSD中將VGG換成Resnet，也是接下來勇於探索的小夥伴的一個方向~
至於速度的話，在筆記的最開始的一張圖中已經貼出，FSSD的速度稍慢於SSD，但比DSSD要快不少。畢竟FSSD模型的complexity較SSD增大不少，這也從側面印證了speed和acc難以兼得呀！
總結：本文其實就是SSD+FPN，acc提升是可想而知，speed降低當然也是顯而易見。本文提出的結構也不難想，實驗也可以完成，所以以後有想法了還是要趕緊實現啊！還有以後看論文也要像今天這樣，半天看完論文，2個小時完成筆記~