轉載的Fast RCNN總結

原文地址:http://blog.csdn.net/qq_17448289/article/details/52871461

一、基於Region Proposal(候選區域)的深度學習目標檢測算法

Region Proposal(候選區域),就是預先找出圖中目標可能出現的位置,通過利用圖像中的紋理、邊緣、顏色等信息,保證在選取較少窗口(幾千個甚至幾百個)的情況下保持較高的召回率(IoU,Intersection-over-Union)。

圖1  IoU定義

Region Proposal方法比傳統的滑動窗口方法獲取的質量要更高。比較常用的Region Proposal方法有:SelectiveSearch(SS,選擇性搜索)、Edge Boxes(EB)。

基於Region Proposal目標檢測算法的步驟如下:

其中:

CNN方法見http://blog.csdn.net/qq_17448289/article/details/52850223

邊框迴歸(Bouding Box Regression):是對RegionProposal進行糾正的線性迴歸算法,目的是爲了讓Region Proposal提取到的窗口與目標窗口(Ground Truth)更加吻合。

二、R-CNN、Fast R-CNN、Faster R-CNN三者關係

 

圖2  三者關係

表1  三者比較

 

使用方法

缺點

改進

R-CNN

(Region-based Convolutional

Neural Networks)

1、SS提取RP;

2、CNN提取特徵;

3、SVM分類;

4、BB盒迴歸。

1、 訓練步驟繁瑣(微調網絡+訓練SVM+訓練bbox);

2、 訓練、測試均速度慢 ;

3、 訓練佔空間

1、 從DPM HSC的34.3%直接提升到了66%(mAP);

2、 引入RP+CNN

Fast R-CNN

(Fast Region-based Convolutional

Neural Networks)

1、SS提取RP;

2、CNN提取特徵;

3、softmax分類;

4、多任務損失函數邊框迴歸。

1、 依舊用SS提取RP(耗時2-3s,特徵提取耗時0.32s);

2、 無法滿足實時應用,沒有真正實現端到端訓練測試;

3、 利用了GPU,但是區域建議方法是在CPU上實現的。

1、 由66.9%提升到70%;

2、 每張圖像耗時約爲3s。

Faster R-CNN

(Fast Region-based Convolutional

Neural Networks)

1、RPN提取RP;

2、CNN提取特徵;

3、softmax分類;

4、多任務損失函數邊框迴歸。

1、 還是無法達到實時檢測目標;

2、 獲取region proposal,再對每個proposal分類計算量還是比較大。

1、 提高了檢測精度和速度;

2、  真正實現端到端的目標檢測框架;

3、  生成建議框僅需約10ms。

2.1 R-CNN目標檢測流程介紹

  

具體可參考http://blog.csdn.net/shenxiaolu1984/article/details/51066975

2.2 Fast R-CNN目標檢測流程介紹

 

注意:Fast R-CNN的RegionProposal是在feature map之後做的,這樣可以不用對所有的區域進行單獨的CNN Forward步驟。

Fast R-CNN框架如下圖:

                                                                                                                                            圖3  Fast R-CNN框架

Fast R-CNN框架與R-CNN有兩處不同:

① 最後一個卷積層後加了一個ROI pooling layer;

② 損失函數使用了multi-task loss(多任務損失)函數,將邊框迴歸直接加到CNN網絡中訓練。分類Fast R-CNN直接用softmax替代R-CNN用的SVM進行分類。

Fast R-CNN是端到端(end-to-end)的。

具體可參考http://blog.csdn.net/shenxiaolu1984/article/details/51036677

三、Faster R-CNN目標檢測

3.1 Faster R-CNN的思想

Faster R-CNN可以簡單地看做“區域生成網絡RPNs + Fast R-CNN”的系統,用區域生成網絡代替FastR-CNN中的Selective Search方法。Faster R-CNN這篇論文着重解決了這個系統中的三個問題:
1. 如何設計區域生成網絡;
2. 如何訓練區域生成網絡;
3. 如何讓區域生成網絡和Fast RCNN網絡共享特徵提取網絡。

在整個Faster R-CNN算法中,有三種尺度:
1. 原圖尺度:原始輸入的大小。不受任何限制,不影響性能。

2. 歸一化尺度:輸入特徵提取網絡的大小,在測試時設置,源碼中opts.test_scale=600。anchor在這個尺度上設定。這個參數和anchor的相對大小決定了想要檢測的目標範圍。
3. 網絡輸入尺度:輸入特徵檢測網絡的大小,在訓練時設置,源碼中爲224*224。

3.2 Faster R-CNN框架介紹

圖4  Faster R-CNN模型

Faster-R-CNN算法由兩大模塊組成:

1.PRN候選框提取模塊;

2.Fast R-CNN檢測模塊。

其中,RPN是全卷積神經網絡,用於提取候選框;Fast R-CNN基於RPN提取的proposal檢測並識別proposal中的目標。

3.3 RPN介紹

3.3.1背景

目前最先進的目標檢測網絡需要先用區域建議算法推測目標位置,像SPPnet和Fast R-CNN這些網絡雖然已經減少了檢測網絡運行的時間,但是計算區域建議依然耗時較大。所以,在這樣的瓶頸下,RBG和Kaiming He一幫人將Region Proposal也交給CNN來做,這才提出了RPN(Region Proposal Network)區域建議網絡用來提取檢測區域,它能和整個檢測網絡共享全圖的卷積特徵,使得區域建議幾乎不花時間。

RCNN解決的是,“爲什麼不用CNN做classification呢?”

Fast R-CNN解決的是,“爲什麼不一起輸出bounding box和label呢?”

Faster R-CNN解決的是,“爲什麼還要用selective search呢?”

3.3.2RPN核心思想

RPN的核心思想是使用CNN卷積神經網絡直接產生Region Proposal,使用的方法本質上就是滑動窗口(只需在最後的卷積層上滑動一遍),因爲anchor機制和邊框迴歸可以得到多尺度多長寬比的Region Proposal。

RPN網絡也是全卷積網絡(FCN,fully-convolutional network),可以針對生成檢測建議框的任務端到端地訓練,能夠同時預測出object的邊界和分數。只是在CNN上額外增加了2個卷積層(全卷積層cls和reg)。

①將每個特徵圖的位置編碼成一個特徵向量(256dfor ZF and 512d for VGG)。

②對每一個位置輸出一個objectness score和regressedbounds for k個region proposal,即在每個卷積映射位置輸出這個位置上多種尺度(3種)和長寬比(3種)的k個(3*3=9)區域建議的物體得分和迴歸邊界。

RPN網絡的輸入可以是任意大小(但還是有最小分辨率要求的,例如VGG是228*228)的圖片。如果用VGG16進行特徵提取,那麼RPN網絡的組成形式可以表示爲VGG16+RPN。

VGG16:參考

https://github.com/rbgirshick/py-faster-rcnn/blob/master/models/pascal_voc/VGG16/faster_rcnn_end2end/train.prototxt,可以看出VGG16中用於特徵提取的部分是13個卷積層(conv1_1---->conv5.3),不包括pool5及pool5後的網絡層次結構。

因爲我們的最終目標是和Fast R-CNN目標檢測網絡共享計算,所以假設這兩個網絡共享一系列卷積層。在論文的實驗中,ZF有5個可共享的卷積層, VGG有13個可共享的卷積層。

RPN的具體流程如下:使用一個小網絡在最後卷積得到的特徵圖上進行滑動掃描,這個滑動網絡每次與特徵圖上n*n(論文中n=3)的窗口全連接(圖像的有效感受野很大,ZF是171像素,VGG是228像素),然後映射到一個低維向量(256d for ZF / 512d for VGG),最後將這個低維向量送入到兩個全連接層,即bbox迴歸層(reg)和box分類層(cls)。sliding window的處理方式保證reg-layer和cls-layer關聯了conv5-3的全部特徵空間。

reg層:預測proposal的anchor對應的proposal的(x,y,w,h)

cls層:判斷該proposal是前景(object)還是背景(non-object)。

 

圖5  RPN框架

在圖5中,要注意,3*3卷積核的中心點對應原圖(re-scale,源代碼設置re-scale爲600*1000)上的位置(點),將該點作爲anchor的中心點,在原圖中框出多尺度、多種長寬比的anchors。所以,anchor不在conv特徵圖上,而在原圖上。對於一個大小爲H*W的特徵層,它上面每一個像素點對應9個anchor,這裏有一個重要的參數feat_stride = 16, 它表示特徵層上移動一個點,對應原圖移動16個像素點(看一看網絡中的stride就明白16的來歷了)。把這9個anchor的座標進行平移操作,獲得在原圖上的座標。之後根據ground truth label和這些anchor之間的關係生成rpn_lables,具體的方法論文中有提到,根據overlap來計算,這裏就不詳細說明了,生成的rpn_labels中,positive的位置被置爲1,negative的位置被置爲0,其他的爲-1。box_target通過_compute_targets()函數生成,這個函數實際上是尋找每一個anchor最匹配的ground truth box, 然後進行論文中提到的box座標的轉化。http://blog.csdn.NET/zhangwenjie89/article/details/52012880

圖6  9種anchor(注意:是不同位置)

圖7  Faster R-CNN卷積流程圖

原圖600*1000經CNN卷積後,在CNN最後一層(conv5)得出的是40*60大小的特徵圖,對應文中說的典型值爲2400。若特徵圖大小爲W*H,則需要W*H*K個anchor,本文中需要40*60*9≈2k個。

在RPN網絡中,我們需要重點理解其中的anchors概念,Loss fucntions計算方式和RPN層訓練數據生成的具體細節。

3.4 RPN的平移不變性

計算機視覺中的一個挑戰就是平移不變性:比如人臉識別任務中,小的人臉(24*24的分辨率)和大的人臉(1080*720)如何在同一個訓練好權值的網絡中都能正確識別。若是平移了圖像中的目標,則建議框也應該平移,也應該能用同樣的函數預測建議框。

傳統有兩種主流的解決方式:
第一、對圖像或feature map層進行尺度\寬高的採樣;
第二、對濾波器進行尺度\寬高的採樣(或可以認爲是滑動窗口).

但Faster R-CNN解決該問題的具體實現是:通過卷積核中心(用來生成推薦窗口的Anchor)進行尺度、寬高比的採樣,使用3種尺度和3種比例來產生9種anchor。

3.5 窗口分類和位置精修

分類層(cls_score)輸出每一個位置上,9個anchor屬於前景和背景的概率。

窗口迴歸層(bbox_pred)輸出每一個位置上,9個anchor對應窗口應該平移縮放的參數(x,y,w,h)。

對於每一個位置來說,分類層從256維特徵中輸出屬於前景和背景的概率;窗口迴歸層從256維特徵中輸出4個平移縮放參數。

需要注意的是:並沒有顯式地提取任何候選窗口,完全使用網絡自身完成判斷和修正。

3.6 學習區域建議損失函數

3.6.1 標籤分類規定

爲了訓練RPN,需要給每個anchor分配的類標籤{目標、非目標}。對於positive label(正標籤),論文中給瞭如下規定(滿足以下條件之一即可判爲正標籤):

 

注意,一個GT包圍盒可以對應多個anchor,這樣一個GT包圍盒就可以有多個正標籤。

事實上,採用第②個規則基本上可以找到足夠的正樣本,但是對於一些極端情況,例如所有的Anchor對應的anchor box與groud truth的IoU不大於0.7,可以採用第一種規則生成。

negative label(負標籤):與所有GT包圍盒的IoU都小於0.3的anchor。

對於既不是正標籤也不是負標籤的anchor,以及跨越圖像邊界的anchor我們給予捨棄,因爲其對訓練目標是沒有任何作用的。

3.6.2 多任務損失(來自Fast R-CNN)

圖8  multi-task數據結構

Fast R-CNN網絡有兩個同級輸出層(cls score和bbox_prdict層),都是全連接層,稱爲multi-task。

① clsscore層:用於分類,輸出k+1維數組p,表示屬於k類和背景的概率。對每個RoI(Region of Interesting)輸出離散型概率分佈

通常,p由k+1類的全連接層利用softmax計算得出。

② bbox_prdict層:用於調整候選區域位置,輸出bounding box迴歸的位移,輸出4*K維數組t,表示分別屬於k類時,應該平移縮放的參數。

k表示類別的索引,是指相對於objectproposal尺度不變的平移,是指對數空間中相對於objectproposal的高與寬。

loss_cls層評估分類損失函數。由真實分類u對應的概率決定:

loss_bbox評估檢測框定位的損失函數。比較真實分類對應的預測平移縮放參數

真實平移縮放參數爲的差別:

其中,smooth L1損失函數爲:

smooth L1損失函數曲線如下圖9所示,作者這樣設置的目的是想讓loss對於離羣點更加魯棒,相比於L2損失函數,其對離羣點、異常值(outlier)不敏感,可控制梯度的量級使訓練時不容易跑飛。

圖9  smoothL1損失函數曲線

最後總損失爲(兩者加權和,如果分類爲背景則不考慮定位損失):

 

規定u=0爲背景類(也就是負標籤),那麼艾弗森括號指數函數[u≥1]表示背景候選區域即負樣本不參與迴歸損失,不需要對候選區域進行迴歸操作。λ控制分類損失和迴歸損失的平衡。Fast R-CNN論文中,所有實驗λ=1。

艾弗森括號指數函數爲:

 

源碼中bbox_loss_weights用於標記每一個bbox是否屬於某一個類。

3.6.3 Faster R-CNN損失函數

遵循multi-task loss定義,最小化目標函數,FasterR-CNN中對一個圖像的函數定義爲:

其中:

3.6.4 R-CNN中的boundingbox迴歸

下面先介紹R-CNN和Fast R-CNN中所用到的邊框迴歸方法。

1.      爲什麼要做Bounding-box regression?

圖10  示例

如圖10所示,綠色的框爲飛機的Ground Truth,紅色的框是提取的Region Proposal。那麼即便紅色的框被分類器識別爲飛機,但是由於紅色的框定位不準(IoU<0.5),那麼這張圖相當於沒有正確的檢測出飛機。如果我們能對紅色的框進行微調,使得經過微調後的窗口跟Ground Truth更接近,這樣豈不是定位會更準確。確實,Bounding-box regression 就是用來微調這個窗口的。

2.      迴歸/微調的對象是什麼?

 

3.      Bounding-box regression(邊框迴歸)

那麼經過何種變換才能從圖11中的窗口P變爲窗口呢?比較簡單的思路就是:

 


注意:只有當Proposal和Ground Truth比較接近時(線性問題),我們才能將其作爲訓練樣本訓練我們的線性迴歸模型,否則會導致訓練的迴歸模型不work(當Proposal跟GT離得較遠,就是複雜的非線性問題了,此時用線性迴歸建模顯然不合理)。這個也是G-CNN: an Iterative Grid Based Object Detector多次迭代實現目標準確定位的關鍵。

線性迴歸就是給定輸入的特徵向量X,學習一組參數W,使得經過線性迴歸後的值跟真實值Y(Ground Truth)非常接近。即。那麼Bounding-box中我們的輸入以及輸出分別是什麼呢?

輸入:這個是什麼?輸入就是這四個數值嗎?其實真正的輸入是這個窗口對應的CNN特徵,也就是R-CNN中的Pool5feature(特徵向量)。(注:訓練階段輸入還包括 Ground Truth,也就是下邊提到的)

輸出:需要進行的平移變換和尺度縮放,或者說是。我們的最終輸出不應該是Ground Truth嗎?是的,但是有了這四個變換我們就可以直接得到Ground Truth,這裏還有個問題,根據上面4個公式我們可以知道,P經過,得到的並不是真實值G,而是預測值

的確,這四個值應該是經過 Ground Truth 和Proposal計算得到的真正需要的平移量和尺度縮放

這也就是R-CNN中的:


 

 

那麼目標函數可以表示爲是輸入Proposal的特徵向量,是要學習的參數(*表示,也就是每一個變換對應一個目標函數),是得到的預測值。我們要讓預測值跟真實值差距最小,得到損失函數爲:

函數優化目標爲:

利用梯度下降法或者最小二乘法就可以得到

4.      測試階段
   根據3我們學習到迴歸參數,對於測試圖像,我們首先經過 CNN 提取特徵,預測的變化就是,最後根據以下4個公式對窗口進行迴歸:

 

3.6.5 Faster R-CNN中的bounding box迴歸

其中:

 

※注意:計算regression loss需要三組信息:

1)     預測框,即RPN網絡測出的proposa;

2)     錨點anchor box:之前的9個anchor對應9個不同尺度和長寬比的anchorbox;

3)     GroundTruth:標定的框。

3.7 訓練RPNs

RPN通過反向傳播(BP,back-propagation)和隨機梯度下降(SGD,stochastic gradient descent)進行端到端(end-to-end)訓練。依照FastR-CNN中的“image-centric”採樣策略訓練這個網絡。每個mini-batch由包含了許多正負樣本的單個圖像組成。我們可以優化所有anchor的損失函數,但是這會偏向於負樣本,因爲它們是主要的。

採樣

每一個mini-batch包含從一張圖像中隨機提取的256個anchor(注意,不是所有的anchor都用來訓練),前景樣本和背景樣本均取128個,達到正負比例爲1:1。如果一個圖像中的正樣本數小於128,則多用一些負樣本以滿足有256個Proposal可以用於訓練。

初始化

新增的2層參數用均值爲0,標準差爲0.01的高斯分佈來進行初始化,其餘層(都是共享的卷積層,與VGG共有的層)參數用ImageNet分類預訓練模型來初始化。

參數化設置(使用caffe實現)

在PASCAL數據集上:

前60k個mini-batch進行迭代,學習率設爲0.001;

後20k個mini-batch進行迭代,學習率設爲0.0001;

設置動量momentum=0.9,權重衰減weightdecay=0.0005。

 

3.8 非極大值抑制法

訓練時(eg:輸入600*1000的圖像),如果anchor box的邊界超過了圖像邊界,那這樣的anchors對訓練loss也不會產生影響,我們將超過邊界的anchor捨棄不用。一幅600*1000的圖像經過VGG16後大約爲40*60,則此時的anchor數爲40*60*9,約爲20k個anchor boxes,再去除與邊界相交的anchor boxes後,剩下約爲6k個anchor boxes,這麼多數量的anchorboxes之間肯定是有很多重疊區域,因此需要使用非極大值抑制法(NMS,non-maximum suppression)將IoU>0.7的區域全部合併,最後就剩下約2k個anchor boxes(同理,在最終檢測端,可以設置將概率大約某閾值P且IoU大約某閾值T的預測框採用NMS方法進行合併,注意:這裏的預測框指的不是anchor boxes)。NMS不會影響最終的檢測準確率,但是大幅地減少了建議框的數量。NMS之後,我們用建議區域中的top-N個來檢測(即排過序後取N個)。

3.9 RPN與Fast R-CNN特徵共享

Faster-R-CNN算法由兩大模塊組成:

1.PRN候選框提取模塊;

2.Fast R-CNN檢測模塊。

我們已經描述瞭如何爲生成區域建議訓練網絡,而沒有考慮基於區域的目標檢測CNN如何利用這些建議框。對於檢測網絡,我們採用Fast R-CNN,現在描述一種算法,學習由RPN和Fast R-CNN之間共享的卷積層。

RPN和Fast R-CNN都是獨立訓練的,要用不同方式修改它們的卷積層。因此需要開發一種允許兩個網絡間共享卷積層的技術,而不是分別學習兩個網絡。注意到這不是僅僅定義一個包含了RPN和Fast R-CNN的單獨網絡,然後用反向傳播聯合優化它那麼簡單。原因是Fast R-CNN訓練依賴於固定的目標建議框,而且並不清楚當同時改變建議機制時,學習Fast R-CNN會不會收斂。

RPN在提取得到proposals後,作者選擇使用Fast-R-CNN實現最終目標的檢測和識別。RPN和Fast-R-CNN共用了13個VGG的卷積層,顯然將這兩個網絡完全孤立訓練不是明智的選擇,作者採用交替訓練(Alternating training)階段卷積層特徵共享:

第一步,我們依上述訓練RPN,該網絡用ImageNet預訓練的模型初始化,並端到端微調用於區域建議任務;

第二步,我們利用第一步的RPN生成的建議框,由Fast R-CNN訓練一個單獨的檢測網絡,這個檢測網絡同樣是由ImageNet預訓練的模型初始化的,這時候兩個網絡還沒有共享卷積層;

第三步,我們用檢測網絡初始化RPN訓練,但我們固定共享的卷積層,並且只微調RPN獨有的層,現在兩個網絡共享卷積層了;

第四步,保持共享的卷積層固定,微調Fast R-CNN的fc層。這樣,兩個網絡共享相同的卷積層,構成一個統一的網絡。

注意:第一次迭代時,用ImageNet得到的模型初始化RPN和Fast-R-CNN中卷積層的參數;從第二次迭代開始,訓練RPN時,用Fast-R-CNN的共享卷積層參數初始化RPN中的共享卷積層參數,然後只Fine-tune不共享的卷積層和其他層的相應參數。訓練Fast-RCNN時,保持其與RPN共享的卷積層參數不變,只Fine-tune不共享的層對應的參數。這樣就可以實現兩個網絡卷積層特徵共享訓練。相應的網絡模型請參考https://github.com/rbgirshick/py-faster-rcnn/tree/master/models/pascal_voc/VGG16/faster_rcnn_alt_opt

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章