論文筆記Revisiting the Sibling Head in Object Detector

1. 論文標題及來源

Revisiting the Sibling Head in Object Detector, CVPR, 2020
下載地址：https://arxiv.org/abs/2003.07540

2. 擬解決問題

分類和迴歸的過程中特徵不對齊問題，如下圖所示(顏色越暖越好)

即當使用同一個特徵進行分類和迴歸時，它的性能不能很好地得到平衡

3. 解決方法

3.1 算法流程

a. 將圖片輸入骨幹網絡提取特徵
b. 通過RPN得到響應圖
c. 通過Sibling head生成proposal
d. 將生成的每個proposal輸入到Spatial distanglement模塊分別得到用於分類的proposal和用於迴歸的proposal，即每個proposal會生成兩個proposal，一個用於分類，另一個用於迴歸
e. 將用於分類的propostal輸入分類分支得到分類得分；將用於迴歸的proposal輸入迴歸分支得到迴歸偏移
f. 通過nms得到最終結果

3.2 task-aware空間解耦模塊

如上圖b所示，將proposal的ROI特徵輸入到上圖b中，然後使用一個3層的全連接網絡生成兩個proposal，一個用於分類，一個用於迴歸。該模塊通過下述公式學習相應的特徵偏移。
$\Delta R = \gamma F_r(F;\theta_r) \cdot (w, h)$
$\overset {\frown} {P_r} = P + \Delta R$
通過上述公式生成用於迴歸的progosal，$\gamma$是一個超參數，用於控制貢獻程度，$\Delta R \in R^{1 \times 1 \times 2}$

$\Delta C = \gamma F_c(F;\theta_c) \cdot (w, h)$
$\overset {\frown} F_c(x, y) = \sum_{p \in G(x, y)} \frac{F_B(p_0 + \Delta C(x, y , 1),\ \ \ p1 + \Delta C(x, y, 2))}{|G(x, y)|}$
通過上述公式生成分類的特徵偏移，然後通過線性插值獲得用於分類的proposal，$\Delta C \in R^{k \times k \times 2}$，$G(x, y)$響應圖上座標爲(x, y)的錨點(anchor)，$|G(x, y)|$表示採樣的總錨點數，$(p_x, p_y)$表示採樣點在網格G(x, y)的座標，$F_B$表示線性插值函數

3.3 漸進式約束

$H_1(y| \cdot)$表示類別y的得分，$|\cdot|_+$類似於Relu方式。

4. 實驗結果

4.1 消融實驗

4.2 OpenImage實驗結果

4.3 COCO實驗結果

5. 總結

該算法通過實驗發現分類和迴歸任務使用的特徵不一樣，提出使用解耦操作分別處理分類和迴歸，即通過一個原始的proposal生成兩個proposal，一個用於分類，另一個用於迴歸，使它們能生成各自需要的特徵，通過漸進性約束進一步提升算法性能。