FPN的创新点
- 多层特征
- 特征融合
解决了目标检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升小物体（small object）的检测性能。
在物体检测里面，有限计算量情况下，网络的深度(对应到感受野)与 stride 通常是一对矛盾的东西，常用的网络结构对应的深度stride 一般会比较大(如 32)，而图像中的小物体甚至会小于 stride 的大小，造成的结果就是小物体的检测性能急剧下降。传统解决这个问题的思路包括:
- 图像金字塔（image pyramid），即多尺度训练和测试。但该方法计算量大，耗时较久。
- 特征分层，即每层分别预测对应的scale分辨率的检测结果，如SSD算法。该方法强行让不同层学习同样的语义信息，但实际上不同深度对应于不同层次的语义特征，浅层网络分辨率高，学到更多是细节特征，深层网络分辨率低，学到更多是语义特征。
FPN的核心思想
FPN网络直接在Faster R-CNN单网络上做修改，每个分辨率的feature map引入后一分辨率缩放两倍的feature map做element-wise相加操作。通过这样的连接，每一层预测所用的feature map都融合了不同分辨率、不同语义强度的特征，融合的不同分辨率的feature map分别做对应分辨率大小的物体检测。这样保证了每一层都有合适的分辨率以及强语义(rich semantic)特征。同时，由于此方法只是在原网络基础上加上了额外的跨层连接，在实际应用中几乎不增加额外的时间和计算量。作者接下来实验了将 FPN 应用在 Faster R-CNN 上的性能，在 COCO 上达到了 state-of-the-art 的单模型精度。在RPN上，FPN增加了8.0个点的平均召回率(average recall，AR);在后面目标检测上，对于COCO数据集，FPN增加了2.3个点的平均精确率(average precision，AP)，对于VOC数据集，FPN增加了3.8个点的AP。
FPN的主要模块
- Bottom-up pathway（自底向上线路）
- Lareral connections（横向链路）
- Top-down path（自顶向下线路）
自底向上线路
FPN是基于Faster R-CNN进行改进，其backbone是ResNet-101，FPN主要应用在Faster R-CNN中的RPN(用于bouding box proposal generation)和Fast R-CNN(用于object detection)两个模块中。
其中 RPN 和 Fast RCNN 分别关注的是召回率(recall)和精确率(precision)，在这里对比的指标分别为 Average Recall(AR) 和 Average Precision(AP)。
自底向上线路是卷积网络的前向传播过程。在前向传播过程中，feature map的大小可以在某些层发生改变。一些尺度(scale)因子为2，所以后一层feature map的大小是前一层feature map大小的二分之一，根据此关系进而构成了 feature pyramid(hierarchy)。
然而还有很多层输出的feature map是一样的大小(即不进行缩放的卷积)，作者将这些层归为同一 stage。对于feature pyramid，作者为每个stage定义一个pyramid level。
作者将每个stage的最后一层的输出作为feature map，然后不同stage进行同一操作，便构成了feature pyramid。
具体来说，对于ResNets-101，作者使用了每个stage的最后一个残差结构的特征激活输出。将这些残差模块输出表示为{C2, C3, C4, C5}，对应于conv2，conv3，conv4和conv5的输出，并且注意它们相对于输入图像具有{4, 8, 16, 32}像素的步 长。考虑到内存占用，没有将conv1包含在金字塔中。
横向链路和自顶向下线路
自顶向下线路是上采样的过程，而横向链路是将自顶向下线路的结果和自底向上线路的结构进行融合。
上采样的feature map与相同大小的下采样的feature map进行逐像素相加融合（element-wise addition），其中自底向上的feature先要经过卷积层，目的是为了减少通道维度。（减少通道维度是为了将bottom-up feature map的通道数量与top-down feature map的通道数量保持一致，又因为两 者feature map大小一致，所以可以进行对应位置像素的叠加(element-wise addition)。）
