《Scale-Aware Trident Networks for Object Detection》笔记

Introduction

特征金字塔有一个缺点，它每层的特征都是由不同的参数卷积得到的，这样做牺牲了不同尺度下特征的一致性，这会减低训练数据的影响和在每个尺度下有过拟合的风险。这篇论文的目标就是生成对所有尺度都有效率的有统一表征能力的特征。

论文首先从网络的感受野入手，研究不同的感受野对检测网络的影响。论文把conv4层的卷积层换成空洞卷积层，膨胀率从1到3分别做实验，实验结果如下

从实验结果可以得知，小物体需要较小的感受野，而大物体需要大的感受野。这个实验结果启发了作者，要适应性地为不同尺度下的物体使用相对应的感受野。

这对这两点，论文提出了Trident Network。

Method

Network Structure

论文的方法叫做Trident Network，因为网络结构是一个三叉戳的形状，如下图所示

从conv4开始分成3个分支，这几个平行的分支叫做trident blocks。每个分支有着相同的卷积结构，而且共享参数，不同的只是空洞卷积的膨胀率，从上往下膨胀率分别是1，2，3。这样做，每个分支可以得到特定尺度的特征。

一个trident block的例子如下图所示

这里的×N表示可以有N个平行的分支。

共享参数有3个优点。首先，可以减少参数。第二，在每个尺度下都进行相同的特征变换操作，每个分支得到的特征具有相同的表征能力。第三，可以用所有样本来训练这些参数，避免了分支对某些样本过拟合。

Scale-aware Training Scheme

为了让不同尺度下的物体使用相对应的感受野，论文提出了Scale-aware Training Scheme，具体就是在训练是为不同大小的样本分配到不同的分支上。分支i有一个合法的范围$[l_i, u_i]$，RoI的长和宽分别hw，只有符合
$l_i \le \sqrt{wh} \le u_i$
RoI才被分配到分支i。

Inference and Approximation

推理的时候，使用NMS筛选3个分支得到的检测结果。为了减少运行，论文提出了TridentNet Fast，是一个TridentNet的快速实现的近似。TridentNet Fast只使用中间的分支用于推理，因为中间分支的尺度范围包括了小物体和大物体。而且从实验结果可以发现，相比TridentNet的表现效果，TridentNet Fast的表现效果只是轻微地下降了一点。

Experiments

Ablation Studies

消融实验的结果如下

Comparison with State-of-the-Arts

和其他方法的比较