Focal Loss 論文學習筆記

原論文：《T.-Y. Lin, P. Goyal, R. Girshick, K. He, and P. Doll´ar. Focal loss for dense object detection[C]. In ICCV, 2017.》

• 特意設計了專門的目標檢測網絡 RetinaNet 進行實驗驗證。
• 論文中經過實驗得到 RetinaNet 中損失函數超參數的 一對最佳值：$\gamma=2$、$\alpha=0.25$。

目的：解決目標檢測模型中存在的正負樣本不平衡問題。
方法：通過損失函數，抑制分類正確的樣本在權重更新中的作用。樣本被正確分類的得分越高，其作用越低。

比如：一個得分爲0.99的正樣本比得分0.70的正樣本作用小；一個得分爲0.01的負樣本比一個得分爲0.40的負樣本作用小。

1. Focal Loss 損失函數

首先介紹 交叉熵損失函數（Cross Entropy）以及 平衡交叉熵損失函數（Balanced Cross Entropy），這兩個函數對提出 Focal Loss 損失函數 有啓發作用。

記 $y$ 爲正負類別，1 爲正 0 爲負；$p$ 是模型對正類別的預測值，$1-p$ 是對負類別的預測值。

• 交叉熵損失函數
  $CE(p,y)=\begin{cases} &-log(p)\ \ \ \ \ \ \ \ \ \ \ if\ y=1 \\ &-log(1-p)\ \ \ \ if\ y=0 \\ \end{cases}$
  記
  $p_t=\begin{cases} &p\ \ \ \ \ \ \ \ \ if\ y=1\\ &1-p\ \ if\ y=0\\ \end{cases}$
  則
  $CE(p,y)=CE(p_t)=-log(p_t)$
• 平衡交叉熵損失函數
  $CE(p_t)=-\alpha_t log(p_t)$
  其中，$\alpha\in [0,1]$，且
  $\alpha_t=\begin{cases} &\alpha\ \ \ \ \ \ \ \ \ if\ y=1\\ &1-\alpha\ \ if\ y=0\\ \end{cases}$

1.1 Focal Loss 損失函數

$FL(p_t)=-(1-p_t)^\gamma log(p_t)$
$\gamma\ge 0$ 是超參數，被稱爲可調焦點參數（Tunable Focusing Parameter），下面是不同值控制下的損失函數曲線。論文的實驗中，$\gamma=2$ 的效果最好。

1.2 基於 $\alpha$ 的 Focal Loss 損失函數

這個是實際使用的損失函數。
$FL(p_t)=-\alpha_t (1-p_t)^\gamma log(p_t)$

2. RetinaNet 網絡

結構圖：

不再詳細介紹該網絡。

最後是實驗數據：