【論文筆記】：Region Proposal by Guided Anchoring

《Region Proposal by Guided Anchoring》來自CVPR2019，非anchor-free時代中anchor在多數目標檢測算法中都起到了重要的作用，本篇提出了一種新的anchor生成方法 ，不同於之前的固定 anchor或者根據數據集聚類anchor的方法，通過guided anchoring可以預測anchor的形狀和位置得到稀疏的anchor，以及作者提出了Feature Adaption模塊使得anchor和特徵更加匹配。

推薦資料：作者知乎鏈接

本篇主要記錄下在論文閱讀中的個人理解供日後翻閱。

Guided Anchoring

最早的anchor使用方法比如Faster-RCNN中的RPN，將一系列形狀和寬高比不同的anchor安插在feature map的每個點上，這樣有兩個問題：

• 位置上：anchor是密集的，分佈在圖像的各個地方，但是圖像中大部分區域都是不包含物體的背景，大多數的anchor並不能起到作用，因此我們期望的應該是和目標所在位置匹配的稀疏anchor
• 形狀上：anchor通常是預設好或者根據數據集聚類而來，無論是哪一種方法得到的anchor，都是固定的
  ，並不一定能完全貼合實際並且對於特殊大小和寬高比懸殊的物體檢測就不夠魯棒了。

基於這些問題，作者提出了guided anchoring方法。anchor的定義由及寬高和位置座標組成，可以寫成如下的聯合概率分部：

上面的式子告訴我們：

1. anchor在不同的位置有不同的出現概率p(x,y|I)，即anchor只 應當在特定的位置出現。
2. 每個位置上anchor的寬高w,h應該和其位置有關係。

基於此，提出了下面的網絡結構：

Anchor Location Target

anchor位置的預測部分應當得到的是一個和F1同樣大小的probability map P(.|F1)，並且在訓練的時候，秉承的原則 應當是：anchor應當儘可能的和groudtruth的中心重合來獲得更大的IOU，因此作者將每個groudtruth的劃分成了三種類型的區域：

• 中心區域，圖中綠色部分，中心區域內的像素點均爲正樣本。
• 略大於中心區域，並且摳除中心區域，，即圖中黃色部分，這部分點既不是正樣本也不是負樣本，不參與訓練。
• 外部區域OR即排除了CR和IR以外的區域，爲負樣本，圖中灰色部分。

同時因爲我們用了FPN會產生不同大小的feature map，而不同大小的feature map理論上應當負責檢測不同大小的物體，較大尺寸的feature map有着更小的感受野並且融合了底層的細粒度特徵，應當負責檢測更小尺寸的物體（如下圖藍框中的黑色小羊）；而較小尺寸的feature map有着更大的感受野並且融合了更高層的語義信息，負責檢測大尺寸的物體（如紅框中的白色羊）。並且因爲CR\IR\OR三種區域的數量不同，訓練location的時候採用了focal loss。

Anchor Location Target

理論上如果我們想預測anchor的寬高，應當先計算出和當前groundtruth最匹配的寬高，然後可以通過smooth L1/L2這種類似的loss來監督網絡學習anchor的寬和高就好了。然而這個和當前groudtruth最匹配的寬和高是很難計算的，因此作者的想法是通過IOU來監督網絡學習使得IOU最大的anchor的寬和高，同時因爲IOU是可導的，進行反向傳播也毫無壓力：

有個問題就是：在從前我們固定anchor大小的情況下，可以用與groundtruth最大IOU的那個anchor來相匹配就可以了。但是現在anchor是網絡學習出來的，其大小是可變的了，我們又不可能窮舉所有可能的w和h來計算和groundtruth最大IOU的anchor，因此可以採取一種近似的方式，即sample幾種可能性的w和h來估計vIOU。作者sample了9對w和h來估計vIOU，並且經過實驗證明網絡對於具體要sample多少的(x,y)，這個超參數並不敏感。

shape的loss function定義：

Feature Adaption

這一部分上面也提過，主要將anchor的形狀信息融入到特徵當中。RPN中的anchor採取了類似於滑窗似的方法均勻分部在整張圖像中，因爲anchor的分部是均勻的，可以說每個anchor都可以用同樣感受野大小的feature來做檢測。但是應用了guided anchoring之後，anchor的大小是可變的了，因此每個anchor對應的位置的感受野大小應當有所區別才能體現出anchor大小不同的優勢。爲了達到這一目的，作者採用了3x3的可變行卷積Nt，並且爲了融合每個anchor的形狀信息，將W x H x 2經過1 x 1的卷積得到的offsets。這樣的好處是：feature 的有效範圍和 anchor 形狀更加接近，不同的位置可以應用不同形狀的anchor了。

經作者測試，Feature Adaption可以帶來接近5個點的提升：

Use of High-quality Proposals

作者發現通過anchoring guided的方式可以得到非常多高質量的proposal region，但是給檢測器帶來的提升效果卻十分的有限。後來作者發現通過anchoring guided方式得到的proposal有兩個特點:

1. proposal中正樣本的比例相比於傳統方法更高
2. proposal的IOU普遍變得更大了。

爲了能更好應用如此高質量的proposal，採取了以下策略：

• 減少RPN產生的proposal region的數量
• 提高IOU閾值

總之想法就是，proposal的質量很高，我們有必要在數量和質量上對proposal做一個更加嚴格的篩選，才能更好的利用到那些更高質量的proposal。經作者嘗試，這樣在Faster-RCNN上能提高2.7個百分點。