Paper Reading Note
URL: https://arxiv.org/pdf/1903.00241.pdf
TL;DR
之前在實例分割任務中，通常是使用分類的分數作爲mask的分數，然而實際上mask的真實分數（預測mask與gt的IoU）與分類分數不能很好的關聯，因此，本論文在Mask R-CNN的基礎上，加入一條分支，使用預測出的mask和原始輸入特徵共同mask的IoU，以解決mask質量和mask score不對齊的問題，進而提高實例分割的效果
Dataset/Algorithm/Model/Experiment Detail
如圖1所示，Mask R-CNN中，分類得分和預測的mask存在不對齊的問題，一些分類分數高的case中，其mask的質量其實並不好，而論文提出的MS R-CNN則能緩解這一問題
另外，作者通過實驗驗證了Mask R-CNN的分類score和Mask IoU的關聯性確實不強，如圖2(a)所示。論文提出的MS R-CNN則能做到更好的關聯性，如圖2(b)所示，另外，如圖2©所示，從Mask IoU的分佈上來看，MS R-CNN的效果也更好
論文中提出的Mask Scoring R-CNN如圖3所示，和Mask R-CNN最主要的區別在於加入了一條用於預測MaskIoU的head，這部分的輸入是RoIAlign後用於預測mask的feature map以及預測出的mask兩者concat得到的。
訓練時，首先得到預測的mask，並使用與GT的IoU是否大於0.5爲條件進行過濾。過濾後，使用L2 loss對預測出的mask到GT target進行迴歸，預測時將MaskIoU與cls score二者相乘得到最終的mask score。
表1和表2分別是在不同的backbone和framework上加入MS R-CNN後帶來的提升，可以看到，在實力分割任務上的提點還是比較明顯的，但在檢測上的漲點比較微小
在COCO 2017對比Mask R-CNN等模型的結果，在不同backbone上均穩定漲點
Thoughts
與IoU-Net的思路類似，通過多出一個分支來預測mask的IoU，緩解了cls score和實際mask質量不一致的問題，這種解決問題的思路是很值得借鑑的