论文阅读笔记《Meta R-CNN : Towards General Solver for Instance-level Low-shot Learning》

核心思想

  本文基于Faster/Mask R-CNN提出一种小样本目标检测/分割网络（Meta R-CNN）。文章保留了Faster/Mask R-CNN两阶段式的结构，整体网络结构如下图所示

  首先，查询集图片经过特征提取网络和RPN网络（与Faster/Mask R-CNN中相同）得到感兴趣区域的特征图$z_i$。然后支持集图像和对应的真实标签图经过预测器重建模网络（Predictor-head Remodeling Network，PRN，注意与RPN相区分）得到每个类别对应的类别注意力向量（class-attentive vectors），PRN网络的主体部分与Faster/Mask R-CNN的特征提取网络结构相同且权重共享，得到对应特征图后,通过逐元素Sigmoid函数得到对应的注意力向量$v_c$. 最后将RPN网络输出的感兴趣区域特征图$z_i$和PRN网络输出的注意力向量$v_c$通过逐通道相乘的方式进行融合,最后再利用Faster/Mask R-CNN中预测头得到对应个检测图或分割图.

实现过程

网络结构

  基本与Faster/Mask R-CNN保持相同

损失函数

  本文的目标函数如下

前三项是与Faster/Mask R-CNN保持相同, 最后一项表示元损失函数,利用交叉熵损失函数来监督类别注意力向量和物体对应的类别保持一致.

创新点

• 设计了PRN模块,将支持集各类别特征信息融入到Faster/Mask R-CNN,并利用元损失函数进行监督

算法评价

  目前的小样本目标检测算法看起来都是大同小异的,无论是采用单阶段形式还是两阶段形式,都是在原有网络的基础上,通过某种方式将支持集图像的特征信息融合进去,然后依赖原有网络实现目标的定位和分类工作.并没有算法专门针对小样本目标检测问题提出有突破性的,有创新性的算法,我觉得尤其是在定位阶段,基本上都采用了常见目标检测算法的方式.

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。