論文筆記之Repulsion Loss: Detecting Pedestrians in a Crowd

一、摘要

本文首先通過實驗探索人羣遮擋對檢測器性能的傷害,然後提出了一種專門針對人羣場景的邊界框迴歸損失,稱爲排斥力。 這種損失是由兩部分組成:目標的吸引力和周圍其他物體的排斥。***(就像磁鐵的同性相吸異性相斥)*** 排斥項可以防止proposal移至周圍的目標,從而導致不準確的定位。

二、遮擋問題

在行人檢測中,人羣被遮擋的情況非常常見,原因是行人經常聚集在一起,互相遮擋。人羣遮擋的主要影響是增加了行人定位的難度。例如,當目標行人T與另一個行人B靠的比較近時,探測器容易混淆,因爲這兩個行人具有相似的外觀特徵。結果,預測框本來應該是定位到T但是結果可能會移動到B,從而導致定位不準確。更糟糕的是,最終結果需要通過非最大值抑制(NMS)進一步處理,最初將邊界框從T移到B,NMS後可能會被B的預測框所抑制,使T變成漏檢。也就是說,人羣遮擋使檢測器對NMS閾值敏感:較高的閾值會帶來更多的誤檢,而較低的閾值會導致更多的漏檢。
現有的方法僅需要proposal接近其指定目標,而不考慮周圍物體。在標準邊界框迴歸損失(smoothL1損失)中,當預測框移動到周圍物體時,沒有其他懲罰。 所以是否可以考慮其周圍物體的位置?
受磁鐵特性(即磁鐵吸引和排斥)的啓發,本文提出了一種新穎的定位邊界框的方法,稱爲排斥力(RepLoss)。 使用RepLoss,不僅需要每個proposal接近其指定的目標T,而且還必須遠離其他目標不是T的proposal。 例如,如圖所示,由於移至B的紅色邊界框與周圍的非目標對象重疊,因此會受到額外的懲罰。 因此,RepLoss可以有效地防止預測的邊界框移動到相鄰的重疊目標(遮擋的情況),這使檢測器對人羣場景更加魯棒。
在這裏插入圖片描述

三、密集遮擋的影響分析

3.1 數據集分析

在CityPersons數據集中,驗證子集中共有3157條行人註釋,其中48.8%與另一個帶註釋的行人的IoU爲高於0.1。 此外,所有行人中有26.4%與另一名帶註釋的行人IoU高於0.3。 人羣高度阻塞嚴重損害行人探測器的性能。

3.2 漏檢和誤檢

在這裏插入圖片描述
如圖所示是不同檢測分值下在 reasonable-crowd 子集上的漏檢數量,紅色線是baseline的,藍色線是RepLoss的。在現實應用中,只考慮帶有高置信度的預測邊界框,曲線左端(高置信度)的高漏檢量意味着實際效果並不好。
在這裏插入圖片描述
如圖所示是由密集遮擋導致的誤檢佔全部誤檢的比例,可見RepLoss有效地減少了由於人羣阻塞而導致的漏檢和誤檢。
在這裏插入圖片描述
如圖是人羣檢測錯誤的可視化示例。 綠色框是正確的預測邊界框,而紅色框是由人羣遮擋引起的誤報。 置信度分數的輸出也被附上。 錯誤通常會發生當預測框輕微或劇烈移動到相鄰的真實框目標時(例如右上角的物體),或以幾個重疊的目標真實框(例如右下角的物體)。 而且,人羣錯誤通常有較高的置信度,因此導致排名靠前的false positives。 這表明提高探測器在人羣擁擠場景的魯棒性,需要在執行邊界框迴歸時增加更多的歧視性損失。

3.3總結

對錯誤案例的分析驗證了本文的觀察結果:行人檢測器受到人羣遮擋的影響是非常大的,因爲它通過增加定位困難造成了大多數漏檢和誤檢。 爲了解決這些問題,提出了排斥力損失以提高行人檢測器在人羣場景中的魯棒性。

四、RepLoss

RepLoss由三部分組成:
在這裏插入圖片描述
其中 L_Attr 是吸引項,需要預測框靠近其指定目標;L_RepGT 和 L_RepBox 是排斥項,分別需要預測框遠離周遭其他的 groundtruth 物體和其他指定目標的預測框。係數 α 和 β 充當權重以平衡輔助損失。

4.1 吸引項

在這裏插入圖片描述
本文沿用 Smooth_L1 損失構造吸引項。給定一個 proposal P ∈ P_+(所有的正樣本),爲每個proposal匹配一個與之有最大IoU值的真實目標框:G^P _Attr = arg max_G∈G IoU(G,P)。B^P 是迴歸自 proposal P 的預測框。

4.2 排斥項RepGT

在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
RepGT 損失旨在使 proposal 受到相鄰的非目標 groundtruth 物體的排斥。給定一個 proposal P ∈ P_+,它的排斥 groundtruth 物體被定義爲除了其指定目標之外帶有最大 IoU 區域的 groundtruth 物體。受 IoU 損失的啓發,RepGT 損失被計算以懲罰 B^P 和 G^P_Rep 之間的重疊(由 IoG 定義)。IoG(B, G) ∈ [0, 1] 。其中 Smooth_ln 是一個在區間 (0, 1) 連續可微分的平滑 ln 函數,σ ∈ [0, 1) 是調節RepLoss 對異常值的敏感度的平滑參數。由此可見,proposal 越傾向於與非目標 groundtruth 物體重疊,RepGT 損失對邊界框迴歸器的懲罰就越大,從而有效防止邊界框移向相鄰的非目標物體。

4.3 排斥項RepBox

在這裏插入圖片描述
NMS 是絕大多數檢測框架中不可或缺的後處理步驟,爲降低檢測器對 NMS 的敏感度,作者接着提出 RepBox 損失,意在排斥來自不同指定目標的proposal。其中1是是一個恆等函數,分母的參數是一個小常數防止分母爲零。從上式可以看到,爲最小化 RepBox 損失,指定目標不同的兩個預測框之間的 IoU 區域需要較小。這意味着 RepBox 損失可以降低 NMS 之後不同迴歸目標的邊界框合併爲一的概率,使得檢測器在密集場景中更魯棒。

五、實驗結果

5.1 消融研究

在這裏插入圖片描述
從表中可以看到,單獨加入排斥項的其中一個就有挺好的效果,兩個都加入的效果最好,而且對於不同分辨率的圖像都有着很好的評估結果。
在這裏插入圖片描述
在新註釋中評估的 Calech-USA 測試集 (reasonable) 結果。 在 0.5 IoU 閾值下,作者逐步在基線上把當前最優推進到顯著的 4.0 MR^−2。當把 IoU 閾值增至 0.75,持續的增進證明了 RepLoss 的有效性。

5.2 與SOTA對比

在這裏插入圖片描述
在這裏插入圖片描述

六、總結

本文從分析數據集出發,找到遮擋對於檢測器性能影響的具體情況,藉助磁極的同性相吸異性相斥的思想提出了帶有排斥項的RepLoss。其主要想法在於目標物體的吸引損失並不足以訓練出最優的檢測器,來自周遭物體的排斥損失同樣至關重要。RepLoss 專爲行人檢測精心設計,尤其提升了密集場景的檢測性能。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章