&Title:
&Summary
檢測不平衡問題包括：樣本層面(sample level)、特徵層面(feature level)、訓練目標層面(objective level)。
Libra R-CNN，一個針對目標檢測平衡學習的簡單有效框架。該框架集成了三個組件：IoU-balanced sampling，balanced feature pyramid，balanced L1 loss，分別解決上述的三個不平衡問題。
&Research Objective
檢測不平衡問題包括：樣本層面(sample level)、特徵層面(feature level)、訓練目標層面(objective level)。
Libra R-CNN解決上述的三個不平衡問題。
Problem Statement
目標檢測訓練的成功取決於三個關鍵方面：
- 選取的區域是否具有代表性
- 提取的特徵是否被充分利用到
- 目標損失函數是否是最優的。
![在這裏插入圖片描述]()
（a）Sample level imbalance：
爲了防止目標檢測器只把訓練中心放在 easy samples,整個訓練結果被帶偏，OHEM（Online Hard Examples Mining），能夠關注hard samples.
(b) Feature level imbalance
底層特徵擁有高分辨率，高層特徵更豐富的語義信息。
FPN，PANet將兩者結合起來，信息互補。
不同層特徵組合後的特徵必須從各分辨率中進行均衡。
（c）Objective level imbalance
目標分類與定位的兩個任務結合，可看作multi-task的訓練優化問題，如何給不同任務賦予權重是一個問題。
methods
IoU-balanced sampling
本文提出了IoU-balanced sampling解決樣本之間的不平衡性。
具體做法爲：假定我們需要從M個候選中抽取N個負樣本，每個樣本被抽中的概率很好計算：
爲了增加hard negative samples被抽中的概率，根據IoU將抽樣區間平均分成K個格子。N個負樣本平均分配到每個格子中，然後均勻地從中選擇樣本，此時被選中的概率爲：
Mk表示k個對應區間內的抽樣候選個數，K在實驗中默認爲3.
這種方法最大的轉變是作者通過在IoU上均勻採樣， 使得hard negative在IoU上均勻分佈。
Balanced Feature Pyramid
FPN等網絡結構提出了橫向連接（lateral connection），與以往使用橫向連接來整合多層次特徵的方法不同，本文的核心思想是利用深度整合的均衡語義特徵來強化多層次特徵。
整個過程分爲四步，rescaling（尺寸調節），integrating（特徵融合），refining（特徵細化），strengthening（特徵增強）。
Balanced L1 Loss
Lcls 和Lloc分別是分類和定位的損失函數。
爲了平衡不同任務，調整參數λ是一個可行的辦法。
但是，由於迴歸目標是沒有邊界限制的，直接增加回歸損失的權重將會使模型對outliers更加敏感。對於outliers會被看作是困難樣本（hard example），這些困難樣本會產生很大的梯度阻礙訓練，而inliers被看做是簡單樣本（easy example）只會產生相比outliers大概0.3倍的梯度。
基於此，作者提出了balanced L1 Loss，在下文中用Lb表示。
smooth L1 Loss的思想是，當x較大時，按照一個恆定的速率梯度下降，等到x較小時， 不再按照一個恆定大梯度下降，而是按照自身進行動態調整。
balanced L1 Loss的 可以表示爲：
對應的梯度公式如下所示：
基於上述公式，設計了一個提升梯度的公式：
Lb也就是Balanced L1 Loss的廬山真面了：
爲了保證函數的連續性，在x=1時，需要滿足下式：
&Evaluation
&Conclusion
系統地重新審視了檢測器的訓練過程，並發現由於訓練過程中存在的不平衡問題，並未充分利用模型體系結構的潛力。 基於觀察，我們提出 Libra R-CNN通過整體平衡設計來平衡不平衡。 藉助簡單但有效的組件（即IoU平衡採樣，平衡特徵金字塔和平衡L1損失），Libra R-CNN對具有挑戰性的MS COCO數據集進行了重大改進。 大量實驗表明，對於兩級檢測器和單級檢測器，Libra R-CNN都能很好地推廣到各種主幹。