【论文笔记】:Libra R-CNN: Towards Balanced Learning for Object Detection

&Title:

&Summary

检测不平衡问题包括:样本层面(sample level)、特征层面(feature level)、训练目标层面(objective level)。

Libra R-CNN,一个针对目标检测平衡学习的简单有效框架。该框架集成了三个组件:IoU-balanced sampling,balanced feature pyramid,balanced L1 loss,分别解决上述的三个不平衡问题。

&Research Objective

检测不平衡问题包括:样本层面(sample level)、特征层面(feature level)、训练目标层面(objective level)。
Libra R-CNN解决上述的三个不平衡问题。

Problem Statement

目标检测训练的成功取决于三个关键方面:

  • 选取的区域是否具有代表性
  • 提取的特征是否被充分利用到
  • 目标损失函数是否是最优的。
    在这里插入图片描述

(a)Sample level imbalance:

为了防止目标检测器只把训练中心放在 easy samples,整个训练结果被带偏,OHEM(Online Hard Examples Mining),能够关注hard samples.

(b) Feature level imbalance

底层特征拥有高分辨率,高层特征更丰富的语义信息。
FPN,PANet将两者结合起来,信息互补。
不同层特征组合后的特征必须从各分辨率中进行均衡。

(c)Objective level imbalance

目标分类与定位的两个任务结合,可看作multi-task的训练优化问题,如何给不同任务赋予权重是一个问题。

methods

IoU-balanced sampling

本文提出了IoU-balanced sampling解决样本之间的不平衡性。
在这里插入图片描述
具体做法为:假定我们需要从M个候选中抽取N个负样本,每个样本被抽中的概率很好计算:
在这里插入图片描述
为了增加hard negative samples被抽中的概率,根据IoU将抽样区间平均分成K个格子。N个负样本平均分配到每个格子中,然后均匀地从中选择样本,此时被选中的概率为:
在这里插入图片描述
Mk表示k个对应区间内的抽样候选个数,K在实验中默认为3.
这种方法最大的转变是作者通过在IoU上均匀采样, 使得hard negative在IoU上均匀分布。

Balanced Feature Pyramid

FPN等网络结构提出了横向连接(lateral connection),与以往使用横向连接来整合多层次特征的方法不同,本文的核心思想是利用深度整合的均衡语义特征来强化多层次特征。
在这里插入图片描述
整个过程分为四步,rescaling(尺寸调节),integrating(特征融合),refining(特征细化),strengthening(特征增强)。
在这里插入图片描述
在这里插入图片描述

Balanced L1 Loss

在这里插入图片描述
Lcls 和Lloc分别是分类和定位的损失函数。

为了平衡不同任务,调整参数λ是一个可行的办法。
但是,由于回归目标是没有边界限制的,直接增加回归损失的权重将会使模型对outliers更加敏感。对于outliers会被看作是困难样本(hard example),这些困难样本会产生很大的梯度阻碍训练,而inliers被看做是简单样本(easy example)只会产生相比outliers大概0.3倍的梯度。

基于此,作者提出了balanced L1 Loss,在下文中用Lb表示。

smooth L1 Loss的思想是,当x较大时,按照一个恒定的速率梯度下降,等到x较小时, 不再按照一个恒定大梯度下降,而是按照自身进行动态调整。

balanced L1 Loss的 可以表示为:
在这里插入图片描述
对应的梯度公式如下所示:
在这里插入图片描述
基于上述公式,设计了一个提升梯度的公式:
在这里插入图片描述
Lb也就是Balanced L1 Loss的庐山真面了:
在这里插入图片描述
为了保证函数的连续性,在x=1时,需要满足下式:
在这里插入图片描述

&Evaluation

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

&Conclusion

系统地重新审视了检测器的训练过程,并发现由于训练过程中存在的不平衡问题,并未充分利用模型体系结构的潜力。 基于观察,我们提出 Libra R-CNN通过整体平衡设计来平衡不平衡。 借助简单但有效的组件(即IoU平衡采样,平衡特征金字塔和平衡L1损失),Libra R-CNN对具有挑战性的MS COCO数据集进行了重大改进。 大量实验表明,对于两级检测器和单级检测器,Libra R-CNN都能很好地推广到各种主干。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章