1、RCNN網絡中的選擇性搜索算法（SS）
參考博客：https://blog.csdn.net/u014796085/article/details/83478583
https://blog.csdn.net/u010402786/article/details/78051647
主要步驟：
- 使用 Efficient Graph-Based Image Segmentation的方法獲取原始分割區域R={r1,r2,…,rn}；
- 初始化相似度集合S=∅；
- 計算兩兩相鄰區域之間的相似度，將其添加到相似度集合S中；
- 從相似度集合S中找出，相似度最大的兩個區域 ri 和rj，將其合併成爲一個區域 rt，從相似度集合中除去原先與ri和rj相鄰區域之間計算的相似度，計算rt與其相鄰區域（原先與ri或rj相鄰的區域）的相似度，將其結果添加的到相似度集合S中。同時將新區域 rt 添加區域集合R中； 相似度度量：紋理直方圖，顏色直方圖，圖像梯度綜合考慮
- 重複上述步驟，直到S=∅，即最後一個新區域rt爲整幅圖像。
- 獲取R中每個區域的Bounding Boxes，去除像素數量小於2000，以及寬高比大於1.2的，剩餘的框就是物體位置的可能結果。
通過從初始分割結果開始，自下而上的從小區域的區域建議到更大的區域建議，完成了一種層次結構。
2、在RCNN網絡中，在SS得到的結果送入CNN之前，由於CNN有全連接，需要固定大小輸入CNN，論文中對得到的所有區域建議進行了各向異性resize。
各向異性：不管圖片大小如何，直接進行resize成固定大小，如下圖D。
各向同性：a、將bounding box的邊界向外延伸，使圖片成正方形，然後裁剪。如果延伸到原來圖片的外邊界，則用bounding box中的顏色均值補齊，如圖B。
b、先將bounding box中的圖片裁剪出來，然後用固定的背景顏色填充成需要大小（背景顏色是bounding box的像素顏色均值）如圖C。
3、RCNN中的NMS（非極大值抑制算法）
自己的理解寫出來實現步驟：
RCNN是對每類單獨來執行NMS
- 首先，對每一類，按SVM得到的分數對候選區域按從小到大排序；
- 取出排序後的第一個，即該類得分最高的，然後對排序後的每一個regions計算與該得分最高的區域的IOU；
- 通過設定的閾值，去掉IOU過高的候選框，在執行上述第二步，直到該類的所有候選框全被比較完
最終得到的就是該類別下所有不相交或者相交IOU小於閾值的候選框。
代碼可參考：https://blog.csdn.net/a1103688841/article/details/89711120
4、訓練的方法
1、CNN網絡的預訓練是在大型輔助訓練集ILSVRC2012分類數據集（沒有約束框數據）上進行的，之後使用我們的resize後的區域建議進行微調，每個batch大小爲128,32個正例，96個負例。IoU>= 0.5就認爲是正例，否則就是負例。
2、訓練SVM和CNN網絡是獨立進行的，每一類都訓練一個SVM，每類中IOU<0.3被作爲負例，ground-truth是正例，其餘的全部丟棄。RCNN網絡最後結果是每個候選區域的經過CNN提取特徵，SVM分類的最高得分的類別作爲最終的標籤，之後在進行NMS。
3、硬負樣本挖掘，在訓練SVM時，由於訓練數據大，很難裝進內存，所以採用此方法，每次把那些頑固的棘手的輸入區域,再送回去繼續練,練到map不在提升，可以快速收斂。
4、爲什麼在fine-tunning和SVM訓練這兩個階段，我們定義得正負樣例是不同的？
fine-tunning階段是由於CNN對小樣本容易過擬合，需要大量訓練數據，故對IoU限制寬鬆： IoU>0.5的建議框爲正樣本，否則爲負樣本； SVM這種機制是由於其適用於小樣本訓練，故對樣本IoU限制嚴格：Ground Truth爲正樣本，與Ground Truth相交IoU＜0.3的建議框爲負樣本。
5、爲什麼訓練一個分類器是必要的，而不只是簡單地使用來自調優後的CNN的最終fc8層的類別輸出？
作者最開始使用訓練SVM的方式同樣定義CNN網絡的正負樣本，結果發現不好，後來做實驗發現IOU閾值爲0.5時，可以有效提高CNN過擬合的能力，因爲數據量上去了，可是這對於對於小樣本訓練的SVM會減少定位的準確度，所以把他們兩個分開訓練。如果直接使用softmax去得到分類結果，沒有經過從新定義訓練數據的SVM分類結果好。
6、BBR問題
（待續）