R-CNN論文解讀

R-CNN論文解讀

一、 相關知識

     數據集：
     1、VOC2010-2012 
     2、200-class ILSVRC2013 detection dataset
     背景：目標檢測在2010-2012年間發展緩慢，缺少較有成效的方法。
     聚焦兩個問題：用一個深度神經網絡定位目標，並且在較少數據集的情況下訓練一個高容量模型。

二、論文貢獻

①  將CNNs作爲底層選取區域提案爲了定位和分割目標
② 當有標籤的數據缺乏時，利用有監督的預訓練作爲輔助，對具體域進行微調，產生了很有意義的提高。
③ 可以往更多的領域推廣，如語義分割。
 提出了一種簡易的目標檢測算法，並將VOC2012數據集上的檢測結果mAP提升了30%。（因爲結合了CNNs和region proposals,故爲R-CNN）

三、模型結構

作者首先從每一個推薦區域中提取了一個4096維的特徵向量，通過5個卷積層和兩個全連接層計算特徵。爲了計算特徵，首先要把圖像轉化爲CNN匹配的格式（此處爲227*227） ，在任意形狀的轉換中，我們挑選最簡單的那個。
在測試時，通過SS算法在測試圖片上提取2000個區域，然後把每個區域扭曲成CNN匹配的大小前向輸入給CNN，計算其特徵。然後，用SVM給每一類的特徵向量進行打分，其中對於IoU（即重疊）較高的區域採用非極大值抑制方法進而得出結果。通過對運行時間進行分析，發現R-CNN可以高效率的處理大量類別
*

## 訓練

1. 有監督的預訓練：作者在一個大的輔助數據集(ILSVRC2012 classification)上只用圖像極批註預訓練CNN，採用開源的Caffe CNN執行預訓練過程。
2. 微調：只針對扭曲的區域採用SGD算法對CNN參數進行微調。對於提取出的區域，當>=0.5IoU時認爲有效，其他認爲無效。然後以0.001的學習率開始SGD算法。在每一次SGD迭代過程中，作者採用32個有效窗口和96個背景窗口來組建mini-batch。
3. 目標分類：作者定的閾值爲0.3,對於高於0.3的重疊部分認爲有效，低於的認爲無效。（閾值選擇很有效）
4. 通過和其餘基線進行比較，證明了R-CNN很優秀，mAP有很大的提高。

四、實驗設計

由於本論文創新性的提出了R-CNN，所以作者所做的實驗均爲在同一數據集上與前人方法比較。根據識別效果以及mAP值的大小得出結論。

1、消融研究

1. Performance layer-by-layer,without fine-tuning
   爲了理解哪一層是檢測特徵的關鍵層，作者基於VOC2007數據集分析了後三層的檢測結果：
   layer pool5:有較大的感受野，可以更好地讀取特徵。
   layer fc6:與pool5全連接。他被重新塑成了一個9216維的特徵向量，並加入了biases向量及半波矯正。
   layer fc7:是網絡的最後一層，相似的也加入了一個biases向量並且應用了半波矯正。
   以下是比較結果：
   
2. Performance layer-by-layer, with fine-tuning.

3. Comparison to recent feature learning methods.
主要和以往的特徵學習方法進行比較： DPM ST 和DPMH SC

作者又分別對訓練數據的三個步驟（SVM訓練集、CNN微調、BB迴歸）進行了消融研究，以下是實驗結果：

2.網絡結構

在當時比較好用的網絡主要有"T-Net"和"O-Net"，此處作者使用的O-Net.

3、檢測錯誤分析

作者使用了一種常用的分析工具對模型進行試錯，有興趣的讀者可以深入研究。以下是分析結果：

4、邊框迴歸（BB)
基於錯誤分析，作者使用了一種簡單的方法來減少定位中的錯誤，通過訓練一個線性迴歸模型來爲SS區域提議預測一個新的檢測窗口。

5、語義分割
作者將R-CNN應用於PASCAL VOC 數據集，與目前最強的OP2方法（採用CPMC對每張圖片生成150個區域提案然後預測每一個區域的質量）進行比較。
此處作者採用三種策略，分別是：忽略區域形狀，直接計算CNN特徵、把背景去掉，只計算帶有目標區域的特徵、最後一種策略是計算整張圖片和所有特徵，以下是比較結果：

總之，R-CNN是目標檢測領域一項新的里程碑，後續還會有很多基於R-CNN的模型提出，目標檢測這個大家庭將越來越完善。
初次整理，如有不足，還望指正。