RCNN可以說是利用深度學習進行目標檢測的開山之作，論文發表在2014年的CVPR，是R-CNN系列算法的開山之作。
1、算法流程
RCNN算法分爲4個步驟：
- 一張圖像生成1K~2K個候選區域
- 對每個候選區域，使用深度網絡提取特徵
- 特徵送入每一類的SVM 分類器，判別是否屬於該類
- 使用迴歸器精細修正候選框位置
2、候選區域生成
使用了Selective Search1方法從一張圖像生成約2000-3000個候選區域。基本思路如下：
- 使用一種過分割手段，將圖像分割成小區域
- 查看現有小區域，合併可能性最高的兩個區域。重複直到整張圖像合併成一個區域位置
- 輸出所有曾經存在過的區域，所謂候選區域
候選區域生成和後續步驟相對獨立，實際可以使用任意算法進行。
3、合併規則
優先合併以下四種區域：
- 顏色（顏色直方圖）相近的
- 紋理（梯度直方圖）相近的
- 合併後總面積小的
- 合併後，總面積在其BBOX中所佔比例大的
4、特徵提取
預處理
使用深度網絡提取特徵之前，首先把候選區域歸一化成同一尺寸227×227。
此處有一些細節可做變化：外擴的尺寸大小，形變時是否保持原比例，對框外區域直接截取還是補灰。會輕微影響性能。
預訓練
網絡結構
基本借鑑Hinton 2012年在Image Net上的分類網絡2，略作簡化3。
此網絡提取的特徵爲4096維，之後送入一個4096->1000的全連接(fc)層進行分類。
學習率0.01。
訓練數據
使用ILVCR 2012的全部數據進行訓練，輸入一張圖片，輸出1000維的類別標號。
調優訓練
網絡結構
同樣使用上述網絡，最後一層換成4096->21的全連接網絡。
學習率0.001，每一個batch包含32個正樣本（屬於20類）和96個背景。
訓練數據
使用PASCAL VOC 2007的訓練集，輸入一張圖片，輸出21維的類別標號，表示20類+背景。
考察一個候選框和當前圖像上所有標定框重疊面積最大的一個。如果重疊比例大於0.5，則認爲此候選框爲此標定的類別；否則認爲此候選框爲背景。
類別判斷
分類器
對每一類目標，使用一個線性SVM二類分類器進行判別。輸入爲深度網絡輸出的4096維特徵，輸出是否屬於此類。
由於負樣本很多，使用hard negative mining方法。
正樣本
本類的真值標定框。
負樣本
考察每一個候選框，如果和本類所有標定框的重疊都小於0.3，認定其爲負樣本
位置精修
目標檢測問題的衡量標準是重疊面積：許多看似準確的檢測結果，往往因爲候選框不夠準確，重疊面積很小。故需要一個位置精修步驟。
迴歸器
對每一類目標，使用一個線性脊迴歸器進行精修。正則項λ=10000λ=10000\lambda=10000。
輸入爲深度網絡pool5層的4096維特徵，輸出爲xy方向的縮放和平移。
訓練樣本
判定爲本類的候選框中，和真值重疊面積大於0.6的候選框。
結果
論文發表的2014年，DPM已經進入瓶頸期，即使使用複雜的特徵和結構得到的提升也十分有限。本文將深度學習引入檢測領域，一舉將PASCAL VOC上的檢測率從35.1%提升到53.7%。
本文的前兩個步驟（候選區域提取+特徵提取）與待檢測類別無關，可以在不同類之間共用。這兩步在GPU上約需13秒。
同時檢測多類時，需要倍增的只有後兩步驟（判別+精修），都是簡單的線性運算，速度很快。這兩步對於100K類別只需10秒。
解決的問題
本文主要講R-CNN（Regions with CNN features）這個算法，該算法是用來做object detection的經典算法，2014年提出。object detection的問題簡單講就是兩方面：localization和recognition，即知道object在哪，以及這個object是什麼。之前也有使用CNN算法做目標檢測的，但是效率比較低，使用固定大小的區域逐步移動來當作輸入進行神經網絡的訓練。
缺點
R-CNN流程較多，包括region proposal的選取，訓練卷積神經網絡（softmax classifier，log loss），訓練SVM（hinge loss）和訓練 regressor（squared loss），這使得訓練時間非常長（84小時），佔用磁盤空間也大。在訓練卷積神經網絡的過程中對每個region proposal都要計算卷積，這其中重複的太多不必要的計算，試想一張圖像可以得到2000多個region proposal，大部分都有重疊，因此基於region proposal卷積的計算量太大。