论文:SOLOv2: Dynamic, Faster and Stronger
论文链接:https://arxiv.org/abs/2003.10152
代码链接:https://github.com/aim-uofa/AdelaiDet
SOLO算法解读链接:https://blog.csdn.net/qq_41994006/article/details/105170426
创新点
SOLOv2主要有两个创新点:
1、作者更进一步,引入动态机制,动态学习目标分割器的mask head。将mask分支解耦为kernal分支以及mask特征分支,学习卷积核权重。
2、作者提出Matrix NMS,减少前向推理时间。
效果:在单张V100显卡,coco数据集上Res-50-FPN SOLOv2,AP达到38.8%,耗时18FPS。
Dynamic Instance Segmentation
如图2所示,在SOLOv1中,mask分支如2(a)所示,由于参数量较多,而且预测结果存在冗余信息,因此进行解耦如图2(b)所示,但都是从预测结果层面出发。对此作者想到为什么不从卷积核角度出发,由此得到2(c),上面为mask kernal分支,下面为mask特征分支。
对于mask kernal分支,如图2(c)所示,输入特征F为H*W*E,学习动态卷积核G为S*S*D,比如G为1*1*E*S^2或3*3*E*S^2,即为D=E或者D=9E。输入channel为E,输出channel为S^2,S^2表示共有S^2个位置,每个位置对应一个卷积核。因此最多生成S^2个mask,此时意味着,每个位置都出现了目标。作者使用不同大小及channel卷积核,实验效果如表3所示。
对于mask特征分支,可以每层FPN都做mask预测,也可以合并为一个统一的mask,经作者实验,后者效果更佳,如图3所示。将FPN的P2到P5层依次经过3×3卷积 + group norm + ReLU + 2个双线性插值,统一到原图的1/4尺寸,再做element-wise summation,经过1 × 1 convolution + group norm + ReLU得到mask的feature map F。
mask的feature map F经过学到的卷积核G(i,j),i,j表示网格中位置,得到相应位置的实例分割结果。
推理过程
先得到类别置信度,通过阈值0.1过滤掉低置信度预测结果,而后使用学习到的卷积核对mask特征进行卷积操作,经过sigmoid函数后,使用阈值0.5将预测的soft mask转变为二值图。最后一步进行Matrix NMS。
Matrix NMS
IOU计算公式如式3、衰减因子decay计算如式4所示
sj = sj * decayj,sj表示第j个目标的预测得分。
两种简单的衰减函数如式5、6所示,线性以及高斯。
Matrix NMS计算过程如下:
1、选取按照置信度排列的top N个结果,生成N*N的IoU矩阵。对于二值图,通过矩阵运算,高效形成IoU矩阵,因为计算IOU时可直接相乘。
2、在IOU矩阵列上,找到最大的IOU。
3、计算decay。
4、通过decay更新预测得分。
代码如下:
实验结果
实例分割结果如表1所示。
目标检测结果如表2所示。