[SDS]Simultaneous Detection and Segmentation

Motivation

作者认为,尽管检测和分割被分成两个任务,但是这些差异都是人为设定的。因此,这里应该存在一种任务——Simultaneous Detection and Segmentation,这个其实就是后来的instance segmentation.
本文的目标就是提高SDS task的性能. 

Framework

1
* proposal generation
由于是分割任务,所以这里代替SS使用MCG,提取了一种region candidate.
* feature extraction
two-pathway, 一路提取bounding-box特征,一路提取region foreground特征.
* region classification
train a SVM to classfy every candidate.
* region refinement
使用CNN产生的特征直接进行maks prediction,并使用原有的region candidate进行提高.


* Three Model
A: 两路,权重相同,联合训练
B: 两路,权重不同,分开训练
C: 两路,权重不同,联合训练
* Segmentation refine
top-down(features extracted by CNN) + bottom-up(superpixel)

Result

在SDS任务上远远超过了O2P,并且在检测和分割任务上都有一定的提高。  
2  
3

Conclusion

首次结合了检测和分割,使用两路完成bounding-box和region信息的融合,然后SVM分类,segmentation refine.

Other

Source code: http://www.eecs.berkeley.edu/Research/Projects/CS/vision/shape/sds

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章