在網上發現一篇寫faster rcnn的文章,寫的非常好。但是貌似找不到出處了,原文作者貌似把博客都刪了,很可惜,很想看一下他的其他文章。
↑↑↑↑目錄在這裏↑↑↑↑↑
Faster RCNN github : https://github.com/rbgirshick/py-faster-rcnn
Faster RCNN paper : https://arxiv.org/abs/1506.01497
Bound box regression詳解 : http://download.csdn.net/download/zy1034092330/9940097(來源:王斌_ICT)
縮進經過RCNN和Fast RCNN的積澱,Ross B. Girshick在2016年提出了新的Faster RCNN,在結構上,Faster RCN已經將特徵抽取(feature extraction),proposal提取,bounding box regression(rect refine),classification都整合在了一個網絡中,使得綜合性能有較大提高,在檢測速度方面尤爲明顯。
圖1 Faster CNN基本結構(來自原論文)
縮進依作者看來,如圖1,Faster RCNN其實可以分爲4個主要內容:
- Conv layers。作爲一種CNN網絡目標檢測方法,Faster RCNN首先使用一組基礎的conv+relu+pooling層提取image的feature maps。該feature maps被共享用於後續RPN層和全連接層。
- Region Proposal Networks。RPN網絡用於生成region proposals。該層通過softmax判斷anchors屬於foreground或者background,再利用bounding box regression修正anchors獲得精確的proposals。
- Roi Pooling。該層收集輸入的feature maps和proposals,綜合這些信息後提取proposal feature maps,送入後續全連接層判定目標類別。
- Classification。利用proposal feature maps計算proposal的類別,同時再次bounding box regression獲得檢測框最終的精確位置。
所以本文以上述4個內容作爲切入點介紹Faster RCNN網絡。
縮進圖2展示了python版本中的VGG16模型中的faster_rcnn_test.pt的網絡結構,可以清晰的看到該網絡對於一副任意大小PxQ的圖像,首先縮放至固定大小MxN,然後將MxN圖像送入網絡;而Conv layers中包含了13個conv層+13個relu層+4個pooling層;RPN網絡首先經過3x3卷積,再分別生成foreground anchors與bounding box regression偏移量,然後計算出proposals;而Roi Pooling層則利用proposals從feature maps中提取proposal feature送入後續全連接和softmax網絡作classification(即分類proposal到底是什麼object)。
path:${py-faster-rcnn-root}/models/pascal_voc/VGG16/faster_rcnn_alt_opt/faster_rcnn_test.pt
圖2 faster_rcnn_test.pt網絡結構
1 Conv layers
縮進Conv layers包含了conv,pooling,relu三種層。以python版本中的VGG16模型中的faster_rcnn_test.pt的網絡結構爲例,如圖2,Conv layers部分共有13個conv層,13個relu層,4個pooling層。這裏有一個非常容易被忽略但是又無比重要的信息,在Conv layers中:
- 所有的conv層都是:kernel_size=3,pad=1
- 所有的pooling層都是:kernel_size=2,stride=2
圖3
類似的是,Conv layers中的pooling層kernel_size=2,stride=2。這樣每個經過pooling層的MxN矩陣,都會變爲(M/2)*(N/2)大小。綜上所述,在整個Conv layers中,conv和relu層不改變輸入輸出大小,只有pooling層使輸出長寬都變爲輸入的1/2。
縮進那麼,一個MxN大小的矩陣經過Conv layers固定變爲(M/16)x(N/16)!這樣Conv layers生成的featuure map中都可以和原圖對應起來。
2 Region Proposal Networks(RPN)
縮進經典的檢測方法生成檢測框都非常耗時,如OpenCV adaboost使用滑動窗口+圖像金字塔生成檢測框;或如RCNN使用SS(Selective Search)方法生成檢測框。而Faster RCNN則拋棄了傳統的滑動窗口和SS方法,直接使用RPN生成檢測框,這也是Faster RCNN的巨大優勢,能極大提升檢測框的生成速度。
圖4 RPN網絡結構
上圖4展示了RPN網絡的具體結構。可以看到RPN網絡實際分爲2條線,上面一條通過softmax分類anchors獲得foreground和background(檢測目標是foreground),下面一條用於計算對於anchors的bounding box regression偏移量,以獲得精確的proposal。而最後的Proposal層則負責綜合foreground anchors和bounding box regression偏移量獲取proposals,同時剔除太小和超出邊界的proposals。其實整個網絡到了Proposal Layer這裏,就完成了相當於目標定位的功能。
2.1 多通道圖像卷積基礎知識介紹
- 對於單通道圖像+單卷積核做卷積,第一章中的圖3已經展示了;
- 對於多通道圖像+多卷積核做卷積,計算方式如下:
2.2 anchors
縮進提到RPN網絡,就不能不說anchors。所謂anchors,實際上就是一組由rpn/generate_anchors.py生成的矩形。直接運行作者demo中的generate_anchors.py可以得到以下輸出:
- [[ -84. -40. 99. 55.]
- [-176. -88. 191. 103.]
- [-360. -184. 375. 199.]
- [ -56. -56. 71. 71.]
- [-120. -120. 135. 135.]
- [-248. -248. 263. 263.]
- [ -36. -80. 51. 95.]
- [ -80. -168. 95. 183.]
- [-168. -344. 183. 359.]]
其中每行的4個值[x1,y1,x2,y2]代表矩形左上和右下角點座標。9個矩形共有3種形狀,長寬比爲大約爲:width:height = [1:1, 1:2, 2:1]三種,如圖6。實際上通過anchors就引入了檢測中常用到的多尺度方法。
圖6 anchors示意圖
注:關於上面的anchors size,其實是根據檢測圖像設置的。在python demo中,會把任意大小的輸入圖像reshape成800x600(即圖2中的M=800,N=600)。再回頭來看anchors的大小,anchors中長寬1:2中最大爲352x704,長寬2:1中最大736x384,基本是cover了800x600的各個尺度和形狀。
那麼這9個anchors是做什麼的呢?借用Faster RCNN論文中的原圖,如圖7,遍歷Conv layers計算獲得的feature maps,爲每一個點都配備這9種anchors作爲初始的檢測框。這樣做獲得檢測框很不準確,不用擔心,後面還有2次bounding box regression可以修正檢測框位置。
圖7
解釋一下上面這張圖的數字。
- 在原文中使用的是ZF model中,其Conv Layers中最後的conv5層num_output=256,對應生成256張特徵圖,所以相當於feature map每個點都是256-d
- 在conv5之後,做了rpn_conv/3x3卷積且num_output=256,相當於每個點又融合了周圍3x3的空間信息(猜測這樣做也許更魯棒?反正我沒測試),同時256-d不變(如圖4和圖7中的紅框)
- 假設在conv5 feature map中每個點上有k個anchor(默認k=9),而每個anhcor要分foreground和background,所以每個點由256d feature轉化爲cls=2k scores;而每個anchor都有[x, y, w, h]對應4個偏移量,所以reg=4k coordinates
- 補充一點,全部anchors拿去訓練太多了,訓練程序會在合適的anchors中隨機選取128個postive anchors+128個negative anchors進行訓練(什麼是合適的anchors下文5.1有解釋)
注意,在本文講解中使用的VGG conv5 num_output=512,所以是512d,其他類似.....
2.3 softmax判定foreground與background
- layer {
- name: "rpn_cls_score"
- type: "Convolution"
- bottom: "rpn/output"
- top: "rpn_cls_score"
- convolution_param {
- num_output: 18 # 2(bg/fg) * 9(anchors)
- kernel_size: 1 pad: 0 stride: 1
- }
- }
- "Number of labels must match number of predictions; "
- "e.g., if softmax axis == 1 and prediction shape is (N, C, H, W), "
- "label count (number of labels) must be N*H*W, "
- "with integer values in {0, 1, ..., C-1}.";
2.4 bounding box regression原理
圖9
縮進對於窗口一般使用四維向量(x, y, w, h)表示,分別表示窗口的中心點座標和寬高。對於圖 10,紅色的框A代表原始的Foreground Anchors,綠色的框G代表目標的GT,我們的目標是尋找一種關係,使得輸入原始的anchor A經過映射得到一個跟真實窗口G更接近的迴歸窗口G',即:給定anchor A=(Ax, Ay, Aw, Ah),GT=[Gx, Gy, Gw, Gh],尋找一種變換F:使得F(Ax, Ay, Aw, Ah)=(G'x, G'y, G'w, G'h),其中(G'x, G'y, G'w, G'h)≈(Gx, Gy, Gw, Gh)。
圖10
那麼經過何種變換F才能從圖6中的anchor A變爲G'呢? 比較簡單的思路就是:
縮進 1. 先做平移
縮進 2. 再做縮放
縮進觀察上面4個公式發現,需要學習的是dx(A),dy(A),dw(A),dh(A)這四個變換。當輸入的anchor A與GT相差較小時,可以認爲這種變換是一種線性變換, 那麼就可以用線性迴歸來建模對窗口進行微調(注意,只有當anchors A和GT比較接近時,才能使用線性迴歸模型,否則就是複雜的非線性問題了)。對應於Faster RCNN原文,平移量(tx, ty)與尺度因子(tw, th)如下:
縮進接下來的問題就是如何通過線性迴歸獲得dx(A),dy(A),dw(A),dh(A)了。線性迴歸就是給定輸入的特徵向量X, 學習一組參數W, 使得經過線性迴歸後的值跟真實值Y非常接近,即Y=WX。對於該問題,輸入X是一張經過卷積獲得的feature map,定義爲Φ;同時還有訓練傳入的GT,即(tx, ty, tw, th)。輸出是dx(A),dy(A),dw(A),dh(A)四個變換。那麼目標函數可以表示爲:
其中Φ(A)是對應anchor的feature map組成的特徵向量,w是需要學習的參數,d(A)是得到的預測值(*表示 x,y,w,h,也就是每一個變換對應一個上述目標函數)。爲了讓預測值(tx, ty, tw, th)與真實值差距最小,設計損失函數:
函數優化目標爲:
2.5 對proposals進行bounding box regression
縮進在瞭解bounding box regression後,再回頭來看RPN網絡第二條線路,如圖11。
圖11 RPN中的bbox reg
先來看一看上圖11中1x1卷積的caffe prototxt定義:
- layer {
- name: "rpn_bbox_pred"
- type: "Convolution"
- bottom: "rpn/output"
- top: "rpn_bbox_pred"
- convolution_param {
- num_output: 36 # 4 * 9(anchors)
- kernel_size: 1 pad: 0 stride: 1
- }
- }
可以看到其num_output=36,即經過該卷積輸出圖像爲WxHx36,在caffe blob存儲爲[1, 36, H, W],這裏相當於feature maps每個點都有9個anchors,每個anchors又都有4個用於迴歸的[dx(A),dy(A),dw(A),dh(A)]變換量。
2.6 Proposal Layer
- layer {
- name: 'proposal'
- type: 'Python'
- bottom: 'rpn_cls_prob_reshape'
- bottom: 'rpn_bbox_pred'
- bottom: 'im_info'
- top: 'rois'
- python_param {
- module: 'rpn.proposal_layer'
- layer: 'ProposalLayer'
- param_str: "'feat_stride': 16"
- }
- }
- 生成anchors,利用[dx(A),dy(A),dw(A),dh(A)]對所有的anchors做bbox regression迴歸(這裏的anchors生成和訓練時完全一致)
- 按照輸入的foreground softmax scores由大到小排序anchors,提取前pre_nms_topN(e.g. 6000)個anchors,即提取修正位置後的foreground anchors。
- 利用im_info將fg anchors從MxN尺度映射回PxQ原圖,判斷fg anchors是否大範圍超過邊界,剔除嚴重超出邊界fg anchors。
- 進行nms(nonmaximum suppression,非極大值抑制)
- 再次按照nms後的foreground softmax scores由大到小排序fg anchors,提取前post_nms_topN(e.g. 300)結果作爲proposal輸出。
3 RoI pooling
縮進而RoI Pooling層則負責收集proposal,並計算出proposal feature maps,送入後續網絡。從圖3中可以看到Rol pooling層有2個輸入:
- 原始的feature maps
- RPN輸出的proposal boxes(大小各不相同)
3.1 爲何需要RoI Pooling
縮進先來看一個問題:對於傳統的CNN(如AlexNet,VGG),當網絡訓練好後輸入的圖像尺寸必須是固定值,同時網絡輸出也是固定大小的vector or matrix。如果輸入圖像大小不定,這個問題就變得比較麻煩。有2種解決辦法:
- 從圖像中crop一部分傳入網絡
- 將圖像warp成需要的大小後傳入網絡
圖13 crop與warp破壞圖像原有結構信息
兩種辦法的示意圖如圖13,可以看到無論採取那種辦法都不好,要麼crop後破壞了圖像的完整結構,要麼warp破壞了圖像原始形狀信息。回憶RPN網絡生成的proposals的方法:對foreground anchors進行bound box regression,那麼這樣獲得的proposals也是大小形狀各不相同,即也存在上述問題。所以Faster RCNN中提出了RoI Pooling解決這個問題(需要說明,RoI Pooling確實是從SPP發展而來,但是限於篇幅這裏略去不講,有興趣的讀者可以自行查閱相關論文)。
3.2 RoI Pooling原理
縮進分析之前先來看看RoI Pooling Layer的caffe prototxt的定義:
- layer {
- name: "roi_pool5"
- type: "ROIPooling"
- bottom: "conv5_3"
- bottom: "rois"
- top: "pool5"
- roi_pooling_param {
- pooled_w: 7
- pooled_h: 7
- spatial_scale: 0.0625 # 1/16
- }
- }
其中有新參數pooled_w=pooled_h=7,另外一個參數spatial_scale=1/16應該能夠猜出大概吧。
縮進RoI Pooling layer forward過程:在之前有明確提到:proposal=[x1, y1, x2, y2]是對應MxN尺度的,所以首先使用spatial_scale參數將其映射回(M/16)x(N/16)大小的feature maps尺度(這裏來回多次映射,是有點繞);之後將每個proposal水平和豎直都分爲7份,對每一份都進行max pooling處理。這樣處理後,即使大小不同的proposal,輸出結果都是7x7大小,實現了fixed-length output(固定長度輸出)。
圖14 proposal示意圖
4 Classification
從PoI Pooling獲取到7x7=49大小的proposal feature maps後,送入後續網絡,可以看到做了如下2件事:
- 通過全連接和softmax對proposals進行分類,這實際上已經是識別的範疇了
- 再次對proposals進行bounding box regression,獲取更高精度的rect box
圖16 全連接層示意圖
其計算公式如下:
其中W和bias B都是預先訓練好的,即大小是固定的,當然輸入X和輸出Y也就是固定大小。所以,這也就印證了之前Roi Pooling的必要性。到這裏,我想其他內容已經很容易理解,不在贅述了。
5 Faster RCNN訓練
- 在已經訓練好的model上,訓練RPN網絡,對應stage1_rpn_train.pt
- 利用步驟1中訓練好的RPN網絡,收集proposals,對應rpn_test.pt
- 第一次訓練Fast RCNN網絡,對應stage1_fast_rcnn_train.pt
- 第二訓練RPN網絡,對應stage2_rpn_train.pt
- 再次利用步驟4中訓練好的RPN網絡,收集proposals,對應rpn_test.pt
- 第二次訓練Fast RCNN網絡,對應stage2_fast_rcnn_train.pt
可以看到訓練過程類似於一種“迭代”的過程,不過只循環了2次。至於只循環了2次的原因是應爲作者提到:"A similar alternating training can be run for more iterations, but we have observed negligible improvements",即循環更多次沒有提升了。接下來本章以上述6個步驟講解訓練過程。
5.1 訓練RPN網絡
縮進在該步驟中,首先讀取RBG提供的預訓練好的model(本文使用VGG),開始迭代訓練。來看看stage1_rpn_train.pt網絡結構,如圖17。
圖17 stage1_rpn_train.pt
(考慮圖片大小,Conv Layers中所有的層都畫在一起了,如紅圈所示,後續圖都如此處理)
與檢測網絡類似的是,依然使用Conv Layers提取feature maps。整個網絡使用的Loss如下:
上述公式中,i表示anchors index,pi表示foreground softmax predict概率,pi*代表對應的GT predict概率(即當第i個anchor與GT間IoU>0.7,認爲是該anchor是foreground,pi*=1;反之IoU<0.3時,認爲是該anchor是background,pi*=0;至於那些0.3<IoU<0.7的anchor則不參與訓練);t代表predict bounding box,t*代表對應foreground anchor對應的GT box。可以看到,整個Loss分爲2部分:
- cls loss,即rpn_cls_loss層計算的softmax loss,用於分類anchors爲forground與background的網絡訓練
- reg loss,即rpn_loss_bbox層計算的soomth L1 loss,用於bounding box regression網絡訓練。注意在該loss中乘了pi*,相當於只關心foreground anchors的迴歸(其實在迴歸中也完全沒必要去關心background)。
縮進由於在實際過程中,Ncls和Nreg差距過大,用參數λ平衡二者(如Ncls=256,Nreg=2400時設置λ=10),使總的網絡Loss計算過程中能夠均勻考慮2種Loss。這裏比較重要是Lreg使用的soomth L1 loss,計算公式如下:
縮進瞭解數學原理後,反過來看圖17:
- 在RPN訓練階段,rpn-data(python AnchorTargetLayer)層會按照和test階段Proposal層完全一樣的方式生成Anchors用於訓練
- 對於rpn_loss_cls,輸入的rpn_cls_scors_reshape和rpn_labels分別對應p與p*,Ncls參數隱含在p與p*的caffe blob的大小中
- 對於rpn_loss_bbox,輸入的rpn_bbox_pred和rpn_bbox_targets分別對應t於t*,rpn_bbox_inside_weigths對應p*,rpn_bbox_outside_weights對應λ,Nreg同樣隱含在caffe blob大小中
這樣,公式與代碼就完全對應了。特別需要注意的是,在訓練和檢測階段生成和存儲anchors的順序完全一樣,這樣訓練結果才能被用於檢測!
5.2 通過訓練好的RPN網絡收集proposals
縮進在該步驟中,利用之前的RPN網絡,獲取proposal rois,同時獲取foreground softmax probability,如圖18,然後將獲取的信息保存在python pickle文件中。該網絡本質上和檢測中的RPN網絡一樣,沒有什麼區別。
5.3 訓練Fast RCNN網絡
縮進讀取之前保存的pickle文件,獲取proposals與foreground probability。從data層輸入網絡。然後:
- 將提取的proposals作爲rois傳入網絡,如圖19藍框
- 將foreground probability作爲bbox_inside_weights傳入網絡,如圖19綠框
- 通過caffe blob大小對比,計算出bbox_outside_weights(即λ),如圖19綠框
這樣就可以訓練最後的識別softmax與最終的bounding regression了,如圖19。
圖19 stage1_fast_rcnn_train.pt
之後的訓練都是大同小異,不再贅述了。
PS:我知道你們想問,畫圖工具:http://ethereon.github.io/netscope/#/editor
--------------------------------------------------------------------------
Faster RCNN的分析就結束了,之後會緩慢更新YOLO,YOLO V2,SSD,Mask RCNN等內容,敬請期待~