關於解決深度監測和跟蹤器訓練時hard postive樣本不足的問題,三篇CVPR文章有感

        還是那個老故事,即如何解決Deep檢測跟蹤器訓練時正樣本(尤其在occlusion和deformation情況下的hard positive)不足的問題。這個問題的緊迫性在於這樣樣本的缺失導致訓練所得網絡在occlusion、deformation等appearance variation情況下的魯棒性不足。

       傳統解決此問題有兩個方向的思路:1. 儘可能收集和建立越來越大越來越全的數據庫,期待這個數據庫能夠把方方面面的variation都囊括(比如COCO超過10K的汽車樣本with variations)。可是,occlusion和deformation具有long-tail的特性,即便再大的dataset也很難得到一個足夠全的數據庫;2. Hard samples mining in Loss function,比如類似focal loss,這樣做僅僅是增加了在訓練時hard樣本的單體對loss的貢獻,但是依然不能解決有些很罕見樣本根本收集不到的問題。

       在解決此問題上,本文與SINT++的思路完全一樣,即通過Adversarial的概念去直接學習從hard positive的long-tail distribution中學習採樣生成現實中不存在的hard positive樣本,學會如何去遮擋一些真的easy positive。注意,這裏的生成依舊不是輸入一張圖,輸出一張圖的傳統GAN模式。因爲這樣的傳統GAN模式依舊擺脫不了對樣本的需求。這裏做的是在CNN的feature map上進行遮擋,而不是pixel-wise的逐像素生成,這樣一來就對adversary訓練的樣本需求減少很多。 注意,A-Fast-RCNN和SINT++都是在feature map上遮擋而不是在原圖上遮擋。Adversary的概念體現在generator拼命生成discriminator(classifier、detector)無法識別的hard positive,而discriminator則拼命去識別generator扔過來的儘可能難的hard positive。

提到的文章如下:

A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection,CVPR2017

SINT++: Robust Visual Tracking via Adversarial Positive Instance Generation, CVPR2018

VITAL: VIsual Tracking via Adversarial Learning, CVPR2018

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章