論文提出自適應的label assignment方法DW，打破了以往耦合加權的慣例。根據不同角度的一致性和非一致性指標，動態地爲anchor分配獨立的pos權重和neg權重，可以更全面地監督訓練。此外，論文還提出了新的預測框精調操作，在迴歸特徵圖上直接精調預測框

來源：曉飛的算法工程筆記公衆號

論文:A Dual Weighting Label Assignment Scheme for Object Detection

Introduction

Anchor作爲目標檢測器訓練的基礎單元，需要被賦予正確的分類標籤和迴歸標籤，這樣的標籤指定(LA, label assignment)過程也可認爲是損失權重指定過程。對於單個anchor的cls損失計算，可以統一地表示爲：

\(w_{pos}\)和\(w_{neg}\)爲正向權重和反向權重，用於控制訓練的方向。基於這個設計，可以將LA方法分爲兩個大類：

Hard LA：每個anchor都可被分爲pos或neg，即\(w_{pos},w_{neg}\in \{0,1\}\)以及\(w_{pos}+w_{neg}=1\)，這類方法的核心在於找到區分正負anchor的界限。經典的做法直接採用固定的IoU閾值進行判斷，忽略了目標在大小和形狀上的差異。而近期如ATSS等研究則提出動態閾值的概念，根據具體的IoU分佈來劃分anchor。但對於訓練來說，不管是靜態還是動態的Hard LA方法，都忽略了anchor本身的重要性差異。

Soft LA：爲了克服Hard LA的缺點，GFL和VFL等研究提出了soft權重的概念。這類方法基於IoU爲每個anchor設定soft label目標，並且根據cls分數和reg分數爲anchor計算\(w_{pos}\)和\(w_{neg}\)。但目前這些方法都專注於\(w_{pos}\)的設計，\(w_{neg}\)一般直接從\(w_{pos}\)中衍生而來，導致網絡缺少來自於neg權重的監督信息。如圖1所示，GFL和VFL爲質量不同的anchor賦予相似的損失權重，這可能會降低檢測器的性能。

爲了給檢測器提供更多的監督信息，論文提出了新的LA方法DW(dual weighting)，從不同的角度單獨計算\(w_{pos}\)和\(w_{neg}\)並讓其能夠互補。此外，爲了給權重計算函數提供更準確的reg分數，論文還提出了新的bbox精調操作，預測目標的邊界位置並根據對應的特徵產生更準確的精調信息。

Proposed Method

Motivation and Framework

由於NMS的存在，檢測器應該預測一致的bbox，既有高分類分數也有準確的位置定位。但如果在訓練時平等地對待所有的訓練樣本，而cls分數越高的預測結果的reg位置不一定越準確，這往往會導致cls head與reg head之間就會存在不一致性。爲此，Soft LA通過加權損失來更柔和地對待訓練樣本，加強cls head與reg head的一致性。基於Soft LA，anchor的損失可以表示爲：

其中\(s\)爲預測的cls分數。爲一致性更高的預測結果分配更大的\(w_{pos}\)和\(w_{reg}\)，能夠使得網絡專注於學習高質量的預測結果，減輕cls head與reg head的不一致問題。

當前的方法直接將\(w_{reg}\)設置爲\(w_{pos}\)，主要關注如何定義一致性以及如何將其集成到損失權重中。表1總結了一些方法對\(w_{pos}\)和\(w_{neg}\)的計算公式，這些方法先定義用於度量一致性的指標\(t\)，隨後將\(1-t\)作爲不一致性的度量指標，最後添加縮放因子將指標集成到損失權重中。
上述方法的\(w_{pos}\)和\(w_{neg}\)都是高度相關的，而論文認爲pos和neg權重應該以prediction-aware的方式單獨設置，具體如下：

pos weighting function：以預測的cls分數和預測框的IoU作爲輸入，預測兩者的一致性程度作爲pos權重。
neg weighting function：同樣以預測cls分數和預測框的IoU作爲輸入，但將neg權重定義爲anchor爲負的概率以及anchor作爲負的重要程度的乘積。

通過上述定義，對於pos權重相似的這種模棱兩可的anchor，就可以根據不同的neg權重得到更細粒度的監督信息。

DW方法的整體流程如圖2所示，先根據中心點距離來爲每個GT構造候選正樣本集，其餘的anchor爲候選負樣本。由於負樣本的統計信息十分混亂，所以不參與權重函數的計算。候選正樣本會被賦予三個權重\(W_{pos}\)、\(W_{neg}\)以及\(W_{reg}\)，用於更有效地監督訓練。

Positive Weighting Function

pos權重需要反映預測結果對檢測性能的重要性，論文從目標檢測的驗證指標來分析影響重要性的因素。在測試時，通常會根據cls分數或cls分數與IoU的結合對單分類的預測結果進行排序，從前往後依次判斷。正確的預測需滿足以下兩點：

a. 與所屬GT的IoU大於閾值\(\theta\)。
b. 無其他排名靠前且所屬GT相同的預測結果滿足條件a。

上述條件可認爲是選擇高ranking分數以及高IoU的預測結果，也意味着滿足這兩個條件的預測結果有更大概率在測試階段被選擇。從這個角度來看，pos權重\(w_{pos}\)就應該與IoU和ranking分數正相關。首先定義一致性指標\(t\)，用於度量兩個條件的對齊程度：

爲了讓不同anchor的pos權重的方差更大，添加指數調節因子：

最終，各anchor的pos權重會根據對應GT的候選anchor的pos權重之和進行歸一化。

Negative Weighting Function

pos權重雖然可以使得一致的anchor同時具有高cls分數和高IoU，但無法區分不一致anchor的重要程度。如前面圖1所示，anchor D定位校準但分類分數較低，而anchor B恰好相反。兩者的一致性程度\(t\)一致，pos權重無法區分差異。爲了給檢測器提供更多的監督信息，準確地體現anchor的重要程度，論文提出爲兩者賦予更清晰的neg權重，具體由以下兩部分構成。

Probability of being a Negative Sample

根據COCO的驗證指標，IoU不滿足閾值的預測結果一律歸爲錯誤的檢測。所以，IoU是決定achor爲負樣本的概率的唯一因素，記爲\(P_{neg}\)。由於COCO使用0.5-0.95的IoU閾值來計算AO，所以\(P_{neg}\)應該滿足以下規則：

任意\([0.5,0.95]\)上單調遞減的函數都可以作爲\(P_{neg}\)中間部分。爲了簡便，論文采用了以下函數：

公式6需要穿過點\((0.5,1)\)和\((0.95, 0)\)，一旦\(\gamma_1\)確定了，參數\(k\)和\(b\)可通過待定係數法確定。

圖3展示了不同\(\gamma_1\)下的\(P_{neg}\)曲線。

Importance Conditioned on being a Negative Sample

在推理時，ranking隊列中靠前的neg預測結果雖然不會影響召回率，但會降低準確率。爲了得到更高的性能，應該儘可能地降低neg預測結果的ranking分數。所以在訓練中，ranking分數較高的neg預測結果應該比ranking分數較低的預測結果更爲重要。基於此，定義neg預測結果的重要程度\(I_{neg}\)爲ranking分數的函數：

最終，整體的neg權重\(w_{neg}=P_{neg}\times I_{neg}\)變爲：

\(w_{neg}\)與\(IoU\)負相關，與\(s\)正相關。對於pos權重相同的anchor，IoU更小的會有更大的neg權重。在兼容驗證指標的同時，\(w_{neg}\)能給予檢測器更多的監督信息。

pos權重和neg權重都以IoU作爲輸入，更準確的IoU可以保證更高質量的訓練樣本，有助於學習更強的特徵。爲此，論文提出了新的box精調操作，基於預測的四條邊的偏移值\(O\in R^{H\times W\times 4}\)進行下一步的精調。

考慮到目標邊界上的點有更大的概率預測準確的位置，論文設計了可學習的預測模塊，基於初步的bbox爲每條邊生成邊界點。如圖4所示，四個邊界點的座標定義爲：

其中，\(\{\Delta^x_l,\Delta^y_l,\Delta^x_t,\Delta^y_t,\Delta^x_r,\Delta^y_r,\Delta^x_b,\Delta^y_b\}\)爲精調模塊的輸出。最後，結合邊界點的預測和精調模塊的輸出，最終精調後的anchor偏移\(O^{'}\)爲：