&Title:
&Summary
检测不平衡问题包括：样本层面(sample level)、特征层面(feature level)、训练目标层面(objective level)。
Libra R-CNN，一个针对目标检测平衡学习的简单有效框架。该框架集成了三个组件：IoU-balanced sampling，balanced feature pyramid，balanced L1 loss，分别解决上述的三个不平衡问题。
&Research Objective
检测不平衡问题包括：样本层面(sample level)、特征层面(feature level)、训练目标层面(objective level)。
Libra R-CNN解决上述的三个不平衡问题。
Problem Statement
目标检测训练的成功取决于三个关键方面：
- 选取的区域是否具有代表性
- 提取的特征是否被充分利用到
- 目标损失函数是否是最优的。
![在这里插入图片描述]()
（a）Sample level imbalance：
为了防止目标检测器只把训练中心放在 easy samples,整个训练结果被带偏，OHEM（Online Hard Examples Mining），能够关注hard samples.
(b) Feature level imbalance
底层特征拥有高分辨率，高层特征更丰富的语义信息。
FPN，PANet将两者结合起来，信息互补。
不同层特征组合后的特征必须从各分辨率中进行均衡。
（c）Objective level imbalance
目标分类与定位的两个任务结合，可看作multi-task的训练优化问题，如何给不同任务赋予权重是一个问题。
methods
IoU-balanced sampling
本文提出了IoU-balanced sampling解决样本之间的不平衡性。
具体做法为：假定我们需要从M个候选中抽取N个负样本，每个样本被抽中的概率很好计算：
为了增加hard negative samples被抽中的概率，根据IoU将抽样区间平均分成K个格子。N个负样本平均分配到每个格子中，然后均匀地从中选择样本，此时被选中的概率为：
Mk表示k个对应区间内的抽样候选个数，K在实验中默认为3.
这种方法最大的转变是作者通过在IoU上均匀采样， 使得hard negative在IoU上均匀分布。
Balanced Feature Pyramid
FPN等网络结构提出了横向连接（lateral connection），与以往使用横向连接来整合多层次特征的方法不同，本文的核心思想是利用深度整合的均衡语义特征来强化多层次特征。
整个过程分为四步，rescaling（尺寸调节），integrating（特征融合），refining（特征细化），strengthening（特征增强）。
Balanced L1 Loss
Lcls 和Lloc分别是分类和定位的损失函数。
为了平衡不同任务，调整参数λ是一个可行的办法。
但是，由于回归目标是没有边界限制的，直接增加回归损失的权重将会使模型对outliers更加敏感。对于outliers会被看作是困难样本（hard example），这些困难样本会产生很大的梯度阻碍训练，而inliers被看做是简单样本（easy example）只会产生相比outliers大概0.3倍的梯度。
基于此，作者提出了balanced L1 Loss，在下文中用Lb表示。
smooth L1 Loss的思想是，当x较大时，按照一个恒定的速率梯度下降，等到x较小时， 不再按照一个恒定大梯度下降，而是按照自身进行动态调整。
balanced L1 Loss的 可以表示为：
对应的梯度公式如下所示：
基于上述公式，设计了一个提升梯度的公式：
Lb也就是Balanced L1 Loss的庐山真面了：
为了保证函数的连续性，在x=1时，需要满足下式：
&Evaluation
&Conclusion
系统地重新审视了检测器的训练过程，并发现由于训练过程中存在的不平衡问题，并未充分利用模型体系结构的潜力。 基于观察，我们提出 Libra R-CNN通过整体平衡设计来平衡不平衡。 借助简单但有效的组件（即IoU平衡采样，平衡特征金字塔和平衡L1损失），Libra R-CNN对具有挑战性的MS COCO数据集进行了重大改进。 大量实验表明，对于两级检测器和单级检测器，Libra R-CNN都能很好地推广到各种主干。