【论文笔记】:TFPN: Twin Feature Pyramid Networks for Object Detection

&Title

在这里插入图片描述

  1. TFPN: Twin Feature Pyramid Networks for Object Detection
  2. 代码

IEEE ICTAI2019

&Summary

FPN可以通过增强浅层特征来改善小对象检测,但是对于大目标的检测性能不够好。目前主流的解决办法有两种,但都有各自的问题。于是作者提出了TFPN(双特征金字塔网络)结构,在保持FPN在小物体检测中的优势的同时,可以大大提高大中型物体的检测精度。
contributions:

  • 我们提出了TFPN,一种新颖的双特征金字塔,用于对象检测的网络框架,包括三个关键的创新:

    • 我们提出了FPN +,一种功能增强模块,有效地将浅层信息融合到深层特征中,以改善对大型物体的检测。
    • 我们提出了TPS,一种双金字塔结构,该结构利用第二金字塔结构来改进对中等物体的检测。
    • 我们有效地将这两种提议的技术集成到一个整体框架中,以同时提高对小,中,大物体的检测性能。
  • 我们已经实现了建议的TFPN框架,并使用MSCOCO 和BDD100K 数据集进行了广泛的实验。 我们的结果表明,基于ResNet-50,TFPN可以显着提高Faster RCNN的检测性能,总体上可以达到2.2的改进,对于大型物体可以达到3.2的改进。

&Research Objective

通过更深的特征增强来改善大中型物体检测

&Problem Statement

FPN(特征金字塔网络)是最流行的对象检测网络之一,它可以通过增强浅层特征来改善小对象检测。
但是,关于通过更深的特征增强来改善大中型物体检测的研究有限。

  • 一种现有方法将不同层的特征图合并为用于对象检测的新特征图,但是由于上采样和下采样可能导致噪声增加和信息丢失
  • 另一种方法是在FPN的特征金字塔之后添加一个自下而上的结构,该结构将来自浅层的信息叠加到深层的特征图中,但会削弱FPN在检测小物体时的强度

&Method(s)

在这里插入图片描述
从上图可以看出,其实就是多个金字塔的组合,各个金字塔的具体操作,可以看原文。个人觉得没啥亮点,毕竟已经出现了基于FPN结构的多种变体,这种算是简单的不能再简单的结构了。(类似的结构:BiFPN、PANet)
在这里插入图片描述
上图是S Pyramid结构中的两种金字塔类型,一个自底向上(),一个自顶向下。(我不是很明白这么简单的结构,作者也拿出来解释了一大堆文字??)
在这里插入图片描述
上图就是EM模块,其实就是一个自底向上的金字塔结构,底层和C’2的特征图进行融合,类似于残差学习。

ok,整体结构很好理解,也很简单,也没有什么奇怪的操作,但问题就是他的精度居然还很高????

&Evaluation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

&Thinks

  • TFPN的结构可以理解为,FPN + FPN + PANet。结构里利用到C’2的特征图进行融合,是一种残差学习。按理说,这样对底层进行残差学习,小目标精度应该会提高不少,但好像并没有高很多耶。
  • 精度居然出奇的高了2.2个点,让我做了好几个月的特征融合的研究有点自愧不如啊,我记得我之前也有在FPN的基础上反复加金字塔的,但好像跟FPN的结果并没有差多少。表中的结果从36.3 -----> 37.5,大幅提高。有空要做做验证一下。
  • 文章提到了PANet,为啥没有和PANet的对比实验呢?而且文章说,PANet弱化了FPN的小目标检测性能,但PANet在小目标精度比FPN高啊。
  • 文章仅在neck这一块进行提高,创新点按理说才一个点,也不算是很fasion的点,居然发在了IEEE的ICTAI上????建议反复研读文章,学习学习。
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章