【論文筆記】：Prime Sample Attention in Object Detection

&Title

• Prime Sample Attention in Object Detection
• 代碼

&Summary

在目標檢測中的一個普遍認知就是應該平等的對待每個sample和目標。這篇文章研究了不同的樣本對於最終結果的影響。作者認爲在每個minibatch中的樣本既不是獨立的也不是同樣重要的，所以一個平均的結果並不能意味着是一個更高的mAP。作者提出了Prime Sample的概念並且提出了PISA的方法，主要掛住這些樣本的訓練過程，實驗證明關注prime sample而不是haed sample對於訓練來說更加有效。在MSCOCO數據集上，PISA表現的比random sampling和hard mining 超過了1個百分點。

Contributions

• 我們的研究使人們對什麼樣本對於訓練對象檢測器很重要有了新的認識，從而確立了prime樣本的概念。 （樣本採樣的一種 new insight）
• 我們設計了層次局部排名（HLR）來對樣本的重要性進行排名，並在此之上基於重要性進行加權。 （使用排序來定義prime sample）
• 我們引入了一種稱爲分類感知迴歸損失的新損失，該損失可以同時優化分類分支和迴歸分支，從而進一步增強了對prime樣本的關注。（聯合分類和迴歸loss來加強對prime sample的attention）

&Research Objective

• 不同的樣本對於最終結果的影響
• Sample不應該是獨立的或者是相同重要的
• 分類和定位是相關聯的
• 目的是找到一種更有效的採樣/加權區域方法。

&Problem Statement

• 每個小批量中的樣品既不是獨立的，也不是同等重要的，因此，平均而言，更好的分類不一定以爲着更高的mAP。作者提出了Prime Sample的概念並且提出了PISA的結果，主要關注那些樣本的訓練過程。
• 現在的目標檢測辦法主要用的是region-based方法。ui那次region sample的選擇對於檢測結果來說是很重要的。然而很多的sample位於圖像的背景區域，因此簡單的選擇所有sample或者隨意選擇一些事一種不合理的辦法。
• 有一些研究表明主要關注一些困難的sample是一個比較有效的辦法。

代表的有OHEM和Focal Loss。OHEM主要選擇haed sample比如說有着高的loss值。Focal Loss是給loss function換了一種形式來強調difficult samples。

&Method(s)

使用 IoU Hierarchal Local Rank（IoU-HLR）來採樣正樣本，使用Score Hierarchical Local Rank（Score-HLR）來採樣負樣本

IoU-HLR

具體步驟如下：

• 將每個候選正樣本按照離最近的gt 分組，如喪圖所示分爲兩組
• 在每個組裏按照與gt的IOU的大小從大到小排序
• 最後抽取每個組裏的Top1出來再排序放在最終的rank前面，然後抽出每個組裏的Top2出來排序再之前的Top1的後面，直到所有樣本放在最後的rank裏，具體過程如圖上箭頭所描述

Score-HLR

這主要是對負樣本進行重要性排序。
但是，對於負樣本不像正樣本那樣有個gt 不能分組，那怎麼辦呢？

• 首先使用NMS來做一個聚類，這樣就可以將負樣本進行分組了
• 然後和IoU-HLR一樣根據負樣本的Score來排序

這裏在我看來，根據Scor排序後的結果其實跟Hard negative sample是差不多的。排在前面的樣本一般都是那種hard sample。

PISA

PISA由兩個部分組成：

• 基於重要性的樣本重加權（ISR）
• 分類感知迴歸損失（CARL）。

使用所提出的方法，除了均勻地對待所有樣本外，訓練過程還偏重於prime樣本。 首先，prime樣本的損失權重比其他樣本大，因此分類器在這些樣本上往往更準確。 其次，以共同目標學習分類器和迴歸器，因此相對於不重要的樣本，正prime樣本的分數得到提高。

Importance-based Sample Reweighting

爲了進行較少的修改並適合現有框架，我們提出了一種名爲基於重要性的樣本重加權（ISR）的軟抽樣策略，該策略根據重要性爲樣本分配不同的損失權重。

ISR由正樣本重加權和負樣本重加權組成，分別表示爲ISR-P和ISR-N。 對於陽性樣本，我們採用IoU-HLR作爲重要性度量；對於陰性樣本，我們採用Score-HLR。 給定重要性度量，剩下的問題是如何將重要性映射到適當的損失權重。

• 我們首先使用線性映射將等級轉換爲實值
  根據其定義，HLR在每個類別（N個前景類別和1個背景類別）中分別計算。 對於類j，假設總共有nj個樣本，且HLR {r1，r2，…。 。 。 ，rnj}，其中0≤ri≤nj-1，我們使用線性函數將每個ri轉換爲ui，如等式所示
  
  這裏ui表示類別j的第i個樣本的重要性值。 nmax表示所有類別上nj的最大值，以確保不同類別的相同等級上的樣本將被分配相同的ui。

• 需要單調增加函數，以將樣本重要性進一步轉換爲損失權重wi。
  這裏我們採用指數形式作爲等式。 在圖2中，其中γ是表示重要樣本將被優先考慮的程度因子，β是決定最小樣本權重的偏差。
  
  利用所提出的重加權方案，可以將交叉熵分類損失重寫下面等式。
  
  其中n和m分別爲正樣本和負樣本的數量，s和ˆs表示預測分數和分類目標。 請注意，簡單地增加損失權重將改變損失的總價值以及正負樣本損失之間的比率，因此我們將w標準化爲w’ 爲了保持總損失不變。

Classification-Aware Regression Loss（有待重新理解）

由於較早的討論認爲分類和定位是相關的。 我們建議使用分類感知迴歸損失（CARL）共同優化兩個分支。 CARL可以提高prime樣本的分數，同時抑制其他樣本的分數。 迴歸質量決定了樣本的重要性，我們期望分類器爲重要樣本輸出更高的分數。 除了獨立以外，兩個分支的優化應該相互關聯。

具體的添加可識別分類的迴歸損失，以便將梯度從迴歸分支傳播到分類分支。
爲此，我們提出瞭如下所示的CARL方程式：

pi表示相應的地面真理類別的預測概率，di表示輸出迴歸偏移。 我們使用指數函數將pi轉換爲vi，然後根據所有樣本的平均值對其進行重新縮放。 L是常用的平滑L1損失。顯然，ci的梯度與原始迴歸損失L（di，ˆdi）成正比。
使用CARL，分類分支受迴歸損失的監督。 不重要的樣本的分數被大大抑制，同時加強了對prime樣本的關注。

作爲補充，我們證明L（di，ˆdi）與pi的梯度之間存在正相關。 即，具有更大回歸損失的樣本將獲得較大的分類分數梯度，這意味着對分類分數的抑制作用更強。 在另一種觀點中，L（di，ˆdi）反映了樣本i的定位質量，因此可以看作是IoU的估計，並且可以看作是IoU-HLR的估計。 排名靠前的樣本大約具有較低的迴歸損失，因此分類得分的梯度較小。

&Evaluation

我在overlap sample論文的實驗中，看到裏面prime sample加在faster rcnn上，精度提升居然一個點不到，所以這兩篇論文的實驗的比較條件都是啥，條件不一樣，也不至於差別這麼大啊？？？

下面表格是來自overlap sample論文的實驗部分，PISA的提點很低，而上面表格PISA對於faster rcnnd 提點再2個百分點左右，差別巨大呀。

&Thinks

• 對於負樣本的採樣和之前的採用方法效果差不多。但是出發點不一樣，思考的角度不一樣，與之前的方法最大的不同在於正樣本的採用上，可以說是與之前截然不同，採樣更關注prime sample，並賦予更大的權重，但這些prime sample在之前的方法裏可就是easy sample，反而會賦予更低的權值。實驗結果顯示更關注prime sample顯然效果更好。