Motivation
作者認爲,儘管檢測和分割被分成兩個任務,但是這些差異都是人爲設定的。因此,這裏應該存在一種任務——Simultaneous Detection and Segmentation,這個其實就是後來的instance segmentation.
本文的目標就是提高SDS task的性能.
Framework
* proposal generation
由於是分割任務,所以這裏代替SS使用MCG,提取了一種region candidate.
* feature extraction
two-pathway, 一路提取bounding-box特徵,一路提取region foreground特徵.
* region classification
train a SVM to classfy every candidate.
* region refinement
使用CNN產生的特徵直接進行maks prediction,並使用原有的region candidate進行提高.
* Three Model
A: 兩路,權重相同,聯合訓練
B: 兩路,權重不同,分開訓練
C: 兩路,權重不同,聯合訓練
* Segmentation refine
top-down(features extracted by CNN) + bottom-up(superpixel)
Result
在SDS任務上遠遠超過了O2P,並且在檢測和分割任務上都有一定的提高。
Conclusion
首次結合了檢測和分割,使用兩路完成bounding-box和region信息的融合,然後SVM分類,segmentation refine.
Other
Source code: http://www.eecs.berkeley.edu/Research/Projects/CS/vision/shape/sds