論文名稱：《 Focal Loss for Dense Object Detection 》
論文下載：https://arxiv.org/pdf/1708.02002.pdf
論文代碼：https://github.com/facebookresearch/Detectron/tree/master/configs/12_2017_baselines
1、概述：
RetinaNet本質上不是一個新的網絡結構，而是一種新的應對正負樣本嚴重不平衡的方法。
RetinaNet作者提出一種新的損失函數：focal foss，這個損失函數是在標準交叉熵損失基礎上修改得到的。這個函數可以通過減少易分類樣本的權重，使得模型在訓練時更專注於稀疏的難分類的樣本；防止大量易分類負樣本在訓練中壓垮檢測器。爲了證明focal loss的有效性，作者設計了一個dense detector：RetinaNet，並且在訓練時採用focal loss訓練。實驗證明RetinaNet不僅可以達到one-stage detector的速度，也能超過現有two-stage detector的準確率。
object detection的算法主要可以分爲兩大類：two-stage detector和one-stage detector。前者是指類似Faster RCNN，RFCN這樣需要region proposal的檢測算法，這類算法可以達到很高的準確率，但是速度較慢。雖然可以通過減少proposal的數量或降低輸入圖像的分辨率等方式達到提速，但是速度並沒有質的提升。後者是指類似YOLO，SSD這樣不需要region proposal，直接回歸的檢測算法，這類算法速度很快，但是準確率不如前者。作者提出focal loss的出發點也是希望one-stage detector可以達到two-stage detector的準確率，同時不影響原有的速度。
作者認爲one-stage detector的準確率不如two-stage detector的原因是：樣本的類別不均衡導致的。我們知道在object detection領域，一張圖像可能生成成千上萬的candidate locations，但是其中只有很少一部分是包含object的，這就帶來了類別不均衡。那麼類別不均衡會帶來什麼後果呢？引用原文講的兩個後果：(1) training is inefficient as most locations are easy negatives that contribute no useful learning signal; (2) en masse, the easy negatives can overwhelm training and lead to degenerate models. 什麼意思呢？負樣本數量太大，佔總的loss的大部分，而且多是容易分類的，因此使得模型的優化方向並不是我們所希望的那樣。其實先前也有一些算法來處理類別不均衡的問題，比如OHEM（online hard example mining），OHEM的主要思想可以用原文的一句話概括：In OHEM each example is scored by its loss, non-maximum suppression (nms) is then applied, and a minibatch is constructed with the highest-loss examples。OHEM算法雖然增加了錯分類樣本的權重，但是OHEM算法忽略了容易分類的樣本。
因此針對類別不均衡問題，作者提出一種新的損失函數：focal loss，這個損失函數是在標準交叉熵損失基礎上修改得到的。這個函數可以通過減少易分類樣本的權重，使得模型在訓練時更專注於難分類的樣本。爲了證明focal loss的有效性，作者設計了一個dense detector：RetinaNet，並且在訓練時採用focal loss訓練。實驗證明RetinaNet不僅可以達到one-stage detector的速度，也能有two-stage detector的準確率。
二. 算法精髓focal loss：
1.Cross Entropy
對於二分類來說：標準的交叉熵損失：
這裏規定二分類 y 的值是正1或負1，p 是模型估計樣本類別y=1的概率，取值範圍爲0到1。當真實label是1，也就是y=1時，假如某個樣本x預測爲1這個類的概率p=0.6，那麼損失就是-log(0.6)，注意這個損失是大於等於0的。如果p=0.9，那麼損失就是-log(0.9)，所以p=0.6的損失要大於p=0.9的損失，這很容易理解。
爲了方便，用pt代替p，如下公式2：
接下來介紹一個最基本的對交叉熵的改進，也將作爲本文實驗的baseline。
2.Balanced Cross Entropy
什麼意思呢？增加了一個係數at，跟pt的定義類似，當label=1的時候，at=a；當label=-1的時候，at=1-a，a的範圍也是0到1。因此可以通過設定a的值（一般而言假如1這個類的樣本數比-1這個類的樣本數多很多，那麼a會取0到0.5來增加-1這個類的樣本的權重）來控制正負樣本對總的loss的共享權重。這裏當a=0.5時就和標準交叉熵一樣了（係數是個常數）。
顯然前面的公式3雖然可以控制正負樣本的權重，但是沒法控制容易分類和難分類樣本的權重。
3.Focal Loss
這裏的 γ 稱作focusing parameter，γ>=0。
(1−pt)^γ稱爲調製係數（modulating factor） 。
這裏介紹下focal loss的兩個重要性質：
1、當一個樣本被分錯的時候，pt是很小的（請結合公式2，比如當y=1時，p<0.5纔是錯分類，此時pt就比較小，反之當y=-1時，p>0.5是錯分了），因此調製係數就趨於1，也就是說相比原來的loss是沒有什麼大的改變的。當pt趨於1的時候（此時分類正確而且是易分類樣本），調製係數趨於0，也就是對於總的loss的貢獻很小。
2、當 γ=0 的時候，focal loss就是傳統的交叉熵損失，當 γ增加的時候，調製係數也會增加。
focal loss的兩個性質算是核心，其實就是用一個合適的函數去度量難分類和易分類樣本對總的損失的貢獻。
作者在實驗中採用的是公式5的focal loss（結合了公式3和公式4，這樣既能調整正負樣本的權重，又能控制難易分類樣本的權重）：
3、實驗與總結：
文章最大的貢獻是確定了類別不平衡是阻止one-stage檢測器超越性能最好的two-stage方法的主要障礙，例如Faster R-CNN變體。爲了解決這個問題，文章提出了Focal Loss，以便集中學習困難的例子，並降低許多容易樣本的負面影響。
下表是關於RetinaNet和Focal Loss的一些實驗結果。
（a）是在交叉熵的基礎上加上參數a，a=0.5就表示傳統的交叉熵，可以看出當a=0.75的時候效果最好，AP值提升了0.9。
（b）是對比不同的參數γ和a的實驗結果，可以看出隨着γ的增加，AP提升比較明顯。
（d）通過和OHEM的對比可以看出最好的Focal Loss比最好的OHEM提高了3.2AP。這裏OHEM1:3表示在通過OHEM得到的minibatch上強制positive和negative樣本的比例爲1:3，通過對比可以看出這種強制的操作並沒有提升AP。
（e）加入了運算時間的對比，可以和前面的Figure2結合起來看，速度方面也有優勢！
注意這裏RetinaNet-101-800的AP是37.8，當把訓練時間擴大1.5倍同時採用scale jitter，AP可以提高到39.1，這就是全文和table2中的最高的39.1AP的由來。
