【論文筆記】:TFPN: Twin Feature Pyramid Networks for Object Detection

&Title

在這裏插入圖片描述

  1. TFPN: Twin Feature Pyramid Networks for Object Detection
  2. 代碼

IEEE ICTAI2019

&Summary

FPN可以通過增強淺層特徵來改善小對象檢測,但是對於大目標的檢測性能不夠好。目前主流的解決辦法有兩種,但都有各自的問題。於是作者提出了TFPN(雙特徵金字塔網絡)結構,在保持FPN在小物體檢測中的優勢的同時,可以大大提高大中型物體的檢測精度。
contributions:

  • 我們提出了TFPN,一種新穎的雙特徵金字塔,用於對象檢測的網絡框架,包括三個關鍵的創新:

    • 我們提出了FPN +,一種功能增強模塊,有效地將淺層信息融合到深層特徵中,以改善對大型物體的檢測。
    • 我們提出了TPS,一種雙金字塔結構,該結構利用第二金字塔結構來改進對中等物體的檢測。
    • 我們有效地將這兩種提議的技術集成到一個整體框架中,以同時提高對小,中,大物體的檢測性能。
  • 我們已經實現了建議的TFPN框架,並使用MSCOCO 和BDD100K 數據集進行了廣泛的實驗。 我們的結果表明,基於ResNet-50,TFPN可以顯着提高Faster RCNN的檢測性能,總體上可以達到2.2的改進,對於大型物體可以達到3.2的改進。

&Research Objective

通過更深的特徵增強來改善大中型物體檢測

&Problem Statement

FPN(特徵金字塔網絡)是最流行的對象檢測網絡之一,它可以通過增強淺層特徵來改善小對象檢測。
但是,關於通過更深的特徵增強來改善大中型物體檢測的研究有限。

  • 一種現有方法將不同層的特徵圖合併爲用於對象檢測的新特徵圖,但是由於上採樣和下采樣可能導致噪聲增加和信息丟失
  • 另一種方法是在FPN的特徵金字塔之後添加一個自下而上的結構,該結構將來自淺層的信息疊加到深層的特徵圖中,但會削弱FPN在檢測小物體時的強度

&Method(s)

在這裏插入圖片描述
從上圖可以看出,其實就是多個金字塔的組合,各個金字塔的具體操作,可以看原文。個人覺得沒啥亮點,畢竟已經出現了基於FPN結構的多種變體,這種算是簡單的不能再簡單的結構了。(類似的結構:BiFPN、PANet)
在這裏插入圖片描述
上圖是S Pyramid結構中的兩種金字塔類型,一個自底向上(),一個自頂向下。(我不是很明白這麼簡單的結構,作者也拿出來解釋了一大堆文字??)
在這裏插入圖片描述
上圖就是EM模塊,其實就是一個自底向上的金字塔結構,底層和C’2的特徵圖進行融合,類似於殘差學習。

ok,整體結構很好理解,也很簡單,也沒有什麼奇怪的操作,但問題就是他的精度居然還很高????

&Evaluation

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

&Thinks

  • TFPN的結構可以理解爲,FPN + FPN + PANet。結構裏利用到C’2的特徵圖進行融合,是一種殘差學習。按理說,這樣對底層進行殘差學習,小目標精度應該會提高不少,但好像並沒有高很多耶。
  • 精度居然出奇的高了2.2個點,讓我做了好幾個月的特徵融合的研究有點自愧不如啊,我記得我之前也有在FPN的基礎上反覆加金字塔的,但好像跟FPN的結果並沒有差多少。表中的結果從36.3 -----> 37.5,大幅提高。有空要做做驗證一下。
  • 文章提到了PANet,爲啥沒有和PANet的對比實驗呢?而且文章說,PANet弱化了FPN的小目標檢測性能,但PANet在小目標精度比FPN高啊。
  • 文章僅在neck這一塊進行提高,創新點按理說才一個點,也不算是很fasion的點,居然發在了IEEE的ICTAI上????建議反覆研讀文章,學習學習。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章