【論文筆記】：SAPD

&Title

• Soft Anchor-Point Object Detection
• 論文翻譯
• 代碼

&Summary

問題：

• how to make the anchor-free detection head better?
• how to utilize the power of feature pyramid better?

解決方法： soften optimization techniques，

• soft-weighted anchor points
• soft-selected pyramid levels

實驗表明，簡潔的SAPD將速度/精度權衡提升到了一個新的水平，COCO上獲得a single-model single-scale AP of 47.4%，5x faster than other detectors.

算法創新

1. 分析anchor-free檢測器中anchor-point檢測器精度不高的問題，提出了attention bias和feature selection兩個待改進不足。

2. 針對attention bias問題，提出soft-weighted anchor point思想，針對feature selection問題，提出了soft-selected pyramid level思想， 最終改進了anchor-point檢測器的訓練策略，在不影響推理代價的情況下提高了檢測精度。

&Research Objective

• how to make the anchor-free detection head better?
• how to utilize the power of feature pyramid better?

作者的切入點：是否anchor-point detector 能獲得和key-point detector一樣的精度呢？？

&Problem Statement

作者認爲最大的阻礙是在於之前沒有有效的訓練，目前的訓練策略有兩個被忽略的點：

• attention bais：良好的目標會吸引檢測器的注意，其他的目標就容易丟失，這是因爲在訓練中忽視anchor-points‘ feature misalignment。
• feature select：基於啓發式算法的分配實例給每個金字塔層級或者僅僅將某個實例分配給某一層，不能充分利用特徵提取的能力。

具體而言，當前用於錨點檢測器的訓練策略具有兩個被忽略的問題，即注意力偏向和特徵選擇。通過注意力偏差，我們的意思是具有良好視野的物體往往會吸引探測器更多的注意力，這是由於錨點在訓練中沒有對準特徵而導致的其他物體容易被遺漏。而且，特徵選擇問題在於，基於即席啓發式算法將實例分配給金字塔級別，或者每個實例僅限於單個級別，從而導致對特徵功效的利用不足。

&Method(s)

SW（soft - weight）：
爲了解決注意力偏差問題，我們提出了一個soft-weighting方案，基本思想是爲每一個anchor point Plij 賦以權重 Wlij 。對於每一個positive anchor point，該權重大小取決於其圖像空間位置到對應實例中心的距離，距離越大，權重就越低。因此，遠離目標（實例）中心的anchor point被抑制，注意力會更集中於接近目標中心的anchor point。對於negative anchor points，所有的權重都被設置爲1，維持不變。這一部分和key-point檢測器不同（keypoint檢測器只設置一個key point爲positive point），soft-weight anchor point示意圖如圖3所示：

根據我們的soft-weighting方案思路，可以有多種設計選擇，只要權重是anchor point與目標中心距離的單調遞減函數就行。爲此，我們提出了公式4所示的廣義中心度函數（centerness function）：

其中，η控制遞減幅度，權重 [公式] 範圍爲0~1，公式4保證了目標邊界處的anchor points權重爲0，目標中心處的anchor ponit權重爲1。

---

SS（soft - select）：
分析：
我們通過研究特徵金字塔的屬性來解決特徵選擇的問題，實際上，來自不同特徵金字塔級別的特徵圖（尤其是相鄰級別的）彼此之間有些相似。

我們在圖5中可視化了所有金字塔級別的響應，事實證明如果在某個特徵金字塔級別中某個區域被激活，則在相鄰級別的相同區域也可能以相似的方式被激活。但是這種相似性隨着金字塔級別差的增大而減弱，這意味着多個金字塔級別的特徵可以共同爲某個目標的檢測做出貢獻，但不同級別的特徵的貢獻應該有所不同。

基於上述分析，我們認爲在選擇特徵金字塔級別時應該遵循兩個原則。

• 首先，金字塔級別的選擇應該遵循特徵響應的模式，而不是以某些啓發式的方法進行。

  與目標相關的損失可以很好的反應一個金字塔級別是否適合用來檢測某些目標。

• 第二，對於某個目標的檢測，我們應該允許多個級別的特徵共同參與到訓練和測試中，同時每個級別的貢獻應有所不同。

  FoveaBox[10]已經表明了在某些場景下，將目標實例分配到多個特徵金字塔級別可以提升檢測效果，但是分配太多級別也可能會嚴重影響效果。我們認爲這種現象是由金字塔級別的hard 選擇所引起的。對每個目標，FoveaBox中的每個金字塔級別要麼被選中要麼被丟棄，這種選擇方式不考慮各級別特徵響應的差別而對所有級別一視同仁。

因此，我們的解決方法是對於每個目標實例，重新加權各個金字塔級別。換句話說，對每個特徵金字塔級別，我們都根據特徵響應來爲其分配不同的權重，這是一種soft的選擇方式。這也可以看做是將一個目標實例的一部分分配給某個級別。

我們的方案是訓練一個meta-selection網絡來預測各個金字塔級別的權重用於軟特徵選擇。網絡的輸入是從所有金字塔級別上提取的實例相關的特徵響應，具體實現方案是使用RoIAlign層[7]對每個級別的特徵進行映射，然後再串聯concat起來，其中RoI是目標實例的GT box。接着concated的特徵輸入到meta-selection 網絡中，輸出概率分佈向量，該概率分佈就作爲軟特徵選擇的各級別權重，這一過程如圖6所示。

這個輕量級meta-selection網絡只包含3個的3×3卷積層（無padding、relu激活）和一個帶有softmax的全連接層。這個網絡和整個檢測器聯合訓練，訓練時使用交叉熵損失函數，GT是一個one-hot向量，它指示哪個特徵金字塔級別的FASF[35]損失最小。這個meta-selection網絡也可以使用別的結構來設計，我們這裏只是給出了一個簡單的方案。

Loss


最後，整個模型的損失由anchor point損失和meta-selection net的分類損失構成，如公式6所示：

其中λ是控制特徵金字塔選擇的分類損失的重要性的。

圖3展示了在使用soft wieght anchor point策略之後又使用soft feature selection 策略的整個過程。

&Evaluation

• 各個組件對精度的提升效果：
  

• η和k的大小選擇
  

• 和其他檢測器的精度對比
  

&Conclusion

作者認爲影響anchor-point檢測器精度的主要原因是無效的訓練，進而分析無效訓練中被忽略的兩個問題—attention bias和feature selection，並針對性地提出兩個soft思想。

&Thinks

1. 這個SW（soft-weight）有種類似於FCOS的center-ness。