&Title
IEEE ICTAI2019
&Summary
FPN可以通過增強淺層特徵來改善小對象檢測,但是對於大目標的檢測性能不夠好。目前主流的解決辦法有兩種,但都有各自的問題。於是作者提出了TFPN(雙特徵金字塔網絡)結構,在保持FPN在小物體檢測中的優勢的同時,可以大大提高大中型物體的檢測精度。
contributions:
-
我們提出了TFPN,一種新穎的雙特徵金字塔,用於對象檢測的網絡框架,包括三個關鍵的創新:
- 我們提出了FPN +,一種功能增強模塊,有效地將淺層信息融合到深層特徵中,以改善對大型物體的檢測。
- 我們提出了TPS,一種雙金字塔結構,該結構利用第二金字塔結構來改進對中等物體的檢測。
- 我們有效地將這兩種提議的技術集成到一個整體框架中,以同時提高對小,中,大物體的檢測性能。
-
我們已經實現了建議的TFPN框架,並使用MSCOCO 和BDD100K 數據集進行了廣泛的實驗。 我們的結果表明,基於ResNet-50,TFPN可以顯着提高Faster RCNN的檢測性能,總體上可以達到2.2的改進,對於大型物體可以達到3.2的改進。
&Research Objective
通過更深的特徵增強來改善大中型物體檢測
&Problem Statement
FPN(特徵金字塔網絡)是最流行的對象檢測網絡之一,它可以通過增強淺層特徵來改善小對象檢測。
但是,關於通過更深的特徵增強來改善大中型物體檢測的研究有限。
- 一種現有方法將不同層的特徵圖合併爲用於對象檢測的新特徵圖,但是由於上採樣和下采樣可能導致噪聲增加和信息丟失。
- 另一種方法是在FPN的特徵金字塔之後添加一個自下而上的結構,該結構將來自淺層的信息疊加到深層的特徵圖中,但會削弱FPN在檢測小物體時的強度。
&Method(s)
從上圖可以看出,其實就是多個金字塔的組合,各個金字塔的具體操作,可以看原文。個人覺得沒啥亮點,畢竟已經出現了基於FPN結構的多種變體,這種算是簡單的不能再簡單的結構了。(類似的結構:BiFPN、PANet)
上圖是S Pyramid結構中的兩種金字塔類型,一個自底向上(),一個自頂向下。(我不是很明白這麼簡單的結構,作者也拿出來解釋了一大堆文字??)
上圖就是EM模塊,其實就是一個自底向上的金字塔結構,底層和C’2的特徵圖進行融合,類似於殘差學習。
ok,整體結構很好理解,也很簡單,也沒有什麼奇怪的操作,但問題就是他的精度居然還很高????
&Evaluation
&Thinks
- TFPN的結構可以理解爲,FPN + FPN + PANet。結構裏利用到C’2的特徵圖進行融合,是一種殘差學習。按理說,這樣對底層進行殘差學習,小目標精度應該會提高不少,但好像並沒有高很多耶。
- 精度居然出奇的高了2.2個點,讓我做了好幾個月的特徵融合的研究有點自愧不如啊,我記得我之前也有在FPN的基礎上反覆加金字塔的,但好像跟FPN的結果並沒有差多少。表中的結果從36.3 -----> 37.5,大幅提高。有空要做做驗證一下。
- 文章提到了PANet,爲啥沒有和PANet的對比實驗呢?而且文章說,PANet弱化了FPN的小目標檢測性能,但PANet在小目標精度比FPN高啊。
- 文章僅在neck這一塊進行提高,創新點按理說才一個點,也不算是很fasion的點,居然發在了IEEE的ICTAI上????建議反覆研讀文章,學習學習。