目標檢測-Focal loss

focal loss

論文地址：https://arxiv.org/pdf/1708.02002.pdf
傳統的交叉熵損失函數：

定義p_t如下。

那麼公式可以改寫爲

我們可以用α_t來改進交叉熵公式。

α_t是個(0,1)的數，定義和p_t差不多。取α爲0.25，當爲正樣本時α是0.25，權重小，負樣本時α時0.75，權重就大一些。

focal loss公式：

我猜FL是個p_t的單調遞減函數。γ=1的時候可以證明。p越小FL的權重就越大。
例如當p=0.9，γ=2時，y=1，FL=1/100 * CE
當p=0.5，γ=2時，y=1，FL=0.25 * CE
當p=0.1，γ=2時，y=-1，FL=0.81 * CE

Focal Loss通過調整loss的計算公式使單級結構達到和Faster RCNN一樣的準確度，公式是Focal Loss的計算方法。pt是不同類別的分類概率，r是個大於0的值，a_t是個[0，1]間的小數，r和a_t都是固定值，不參與訓練。r和a_t的最優值是相互影響的，所以在評估準確度時需要把兩者組合起來調節。作者在論文中給出r=2、a_t=0.25時，ResNet-101+FPN作爲backbone的結構有最優的性能。

RetinaNet
RetinaNet is a single, unified network composed of a backbone network and two task-specific subnetworks.
The backbone is ResNet-FPN , construct a pyramid level with levels P3 and P7.
The subnetworks is classification and bbox regression.
Anchor； A=9 and each anchor is k+4 vector.

這個結構要注意幾點：
１、訓練時FPN每一級的所有example都被用於計算Focal Loss，loss值加到一起用來訓練；
２、測試時FPN每一級只選取score最大的1000個example來做nms；
３、整個結構不同層的head部分(圖２的c和d部分)共享參數，但分類和迴歸分支間的參數不共享；
４、分類分支的最後一級卷積的bias初始化成前面提到的-log((1-π)/π);
這個網絡在coco數據集上達到了39.1的mAP。

γ對loss的影響：

各類算法的比較：

pytorch的focal loss實現

import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable

class FocalLoss(nn.Module):
    def __init__(self, gamma=0, alpha=None, size_average=True):
        super(FocalLoss, self).__init__()
        self.gamma = gamma
        self.alpha = alpha
        if isinstance(alpha,(float,int,long)): self.alpha = torch.Tensor([alpha,1-alpha])
        if isinstance(alpha,list): self.alpha = torch.Tensor(alpha)
        self.size_average = size_average

    def forward(self, input, target):
        if input.dim()>2:
            input = input.view(input.size(0),input.size(1),-1)  # N,C,H,W => N,C,H*W
            input = input.transpose(1,2)    # N,C,H*W => N,H*W,C
            input = input.contiguous().view(-1,input.size(2))   # N,H*W,C => N*H*W,C
        target = target.view(-1,1)

        logpt = F.log_softmax(input)
        logpt = logpt.gather(1,target)
        logpt = logpt.view(-1)
        pt = Variable(logpt.data.exp())

        if self.alpha is not None:
            if self.alpha.type()!=input.data.type():
                self.alpha = self.alpha.type_as(input.data)
            at = self.alpha.gather(0,target.data.view(-1))
            logpt = logpt * Variable(at)

        loss = -1 * (1-pt)**self.gamma * logpt
        if self.size_average: return loss.mean()
        else: return loss.sum()