1、RCNN网络中的选择性搜索算法（SS）
参考博客：https://blog.csdn.net/u014796085/article/details/83478583
https://blog.csdn.net/u010402786/article/details/78051647
主要步骤：
- 使用 Efficient Graph-Based Image Segmentation的方法获取原始分割区域R={r1,r2,…,rn}；
- 初始化相似度集合S=∅；
- 计算两两相邻区域之间的相似度，将其添加到相似度集合S中；
- 从相似度集合S中找出，相似度最大的两个区域 ri 和rj，将其合并成为一个区域 rt，从相似度集合中除去原先与ri和rj相邻区域之间计算的相似度，计算rt与其相邻区域（原先与ri或rj相邻的区域）的相似度，将其结果添加的到相似度集合S中。同时将新区域 rt 添加区域集合R中； 相似度度量：纹理直方图，颜色直方图，图像梯度综合考虑
- 重复上述步骤，直到S=∅，即最后一个新区域rt为整幅图像。
- 获取R中每个区域的Bounding Boxes，去除像素数量小于2000，以及宽高比大于1.2的，剩余的框就是物体位置的可能结果。
通过从初始分割结果开始，自下而上的从小区域的区域建议到更大的区域建议，完成了一种层次结构。
2、在RCNN网络中，在SS得到的结果送入CNN之前，由于CNN有全连接，需要固定大小输入CNN，论文中对得到的所有区域建议进行了各向异性resize。
各向异性：不管图片大小如何，直接进行resize成固定大小，如下图D。
各向同性：a、将bounding box的边界向外延伸，使图片成正方形，然后裁剪。如果延伸到原来图片的外边界，则用bounding box中的颜色均值补齐，如图B。
b、先将bounding box中的图片裁剪出来，然后用固定的背景颜色填充成需要大小（背景颜色是bounding box的像素颜色均值）如图C。
3、RCNN中的NMS（非极大值抑制算法）
自己的理解写出来实现步骤：
RCNN是对每类单独来执行NMS
- 首先，对每一类，按SVM得到的分数对候选区域按从小到大排序；
- 取出排序后的第一个，即该类得分最高的，然后对排序后的每一个regions计算与该得分最高的区域的IOU；
- 通过设定的阈值，去掉IOU过高的候选框，在执行上述第二步，直到该类的所有候选框全被比较完
最终得到的就是该类别下所有不相交或者相交IOU小于阈值的候选框。
代码可参考：https://blog.csdn.net/a1103688841/article/details/89711120
4、训练的方法
1、CNN网络的预训练是在大型辅助训练集ILSVRC2012分类数据集（没有约束框数据）上进行的，之后使用我们的resize后的区域建议进行微调，每个batch大小为128,32个正例，96个负例。IoU>= 0.5就认为是正例，否则就是负例。
2、训练SVM和CNN网络是独立进行的，每一类都训练一个SVM，每类中IOU<0.3被作为负例，ground-truth是正例，其余的全部丢弃。RCNN网络最后结果是每个候选区域的经过CNN提取特征，SVM分类的最高得分的类别作为最终的标签，之后在进行NMS。
3、硬负样本挖掘，在训练SVM时，由于训练数据大，很难装进内存，所以采用此方法，每次把那些顽固的棘手的输入区域,再送回去继续练,练到map不在提升，可以快速收敛。
4、为什么在fine-tunning和SVM训练这两个阶段，我们定义得正负样例是不同的？
fine-tunning阶段是由于CNN对小样本容易过拟合，需要大量训练数据，故对IoU限制宽松： IoU>0.5的建议框为正样本，否则为负样本； SVM这种机制是由于其适用于小样本训练，故对样本IoU限制严格：Ground Truth为正样本，与Ground Truth相交IoU＜0.3的建议框为负样本。
5、为什么训练一个分类器是必要的，而不只是简单地使用来自调优后的CNN的最终fc8层的类别输出？
作者最开始使用训练SVM的方式同样定义CNN网络的正负样本，结果发现不好，后来做实验发现IOU阈值为0.5时，可以有效提高CNN过拟合的能力，因为数据量上去了，可是这对于对于小样本训练的SVM会减少定位的准确度，所以把他们两个分开训练。如果直接使用softmax去得到分类结果，没有经过从新定义训练数据的SVM分类结果好。
6、BBR问题
（待续）