论文阅读笔记《Meta-learning for semi-supervised few-shot classification》

核心思想

  本文提出一种基于半监督训练的小样本分类算法。所谓半监督就是在训练集中即包括带有标签的图片，也包含不带有标签的图片，作者认为人类在学习物品分类时，也会观察到许多非目标类别的物体，这种学习方式更加接近实际使用需求，并且可以提高算法的泛化能力。本文以原型网络（Prototypical Network）作为baseline，在此基础上提出了三种改进型，以满足无监督训练的需要。与原型网络（Prototypical Network）相似，训练集也划分为支持集与查询集，不同的是在支持集中还包含有不带有标签的图片，这些图片的类别既有支持集中需要训练的类别，也有原本支持集中并不存在的类别（作为干扰项），测试集情况基本类似。

  下面主要介绍本文提出的原型网络的三种改进型，关于原型网络的介绍可以查看之前的文章（点击此处查看），此处不再重复介绍了。

1. 带有软k均值的原型网络
     对于无标签的图片分类而言，最直接的方法就是k均值（k-means）算法了，本文选择软k均值（soft k-means）算法，是因为硬k均值算法不可微。首先使用正常的原型网络得到带有标签数据集对应的原型$p_c$作为聚类中心，然后根据无标签样例与聚类中心之间的欧氏距离得到一个局部位置$\tilde{z}_{j,c}$；最后通过将无标签的样例整合到各个原型中，得到更新后的原型$\tilde{p}_c$，计算过程如下：
   
   这个改进可以理解为先利用有标签样例得到原型，再将无标签的样例按照就近原则划分给各个原型，并修正原型的位置。
2. 带有一个干扰项中心和软k均值的原型网络
     上个方案存在一个重要的问题，就是在无标签数据集中包含部分干扰项，其类别与有标签数据集中的类别不同，如果简单的将其划分给现有的原型，会导致数据污染。为了避免这一情况，作者为干扰性提供了一个初始值为0的聚类中心，并引入一个长度尺度参数$r_c$用于表示与聚类中心之间距离的变化，具体计算过程如下：
   
   整合的方式与第一种改进型相同，这一方案相当于为所有的干扰项提供一个新的聚类中心，以避免其干扰之前的原型。
3. 带有掩码和软k均值的原型网络
     第二个方案只把所有的干扰项分为一类，这显然太过简单了，不符合实际情况。作者提出的第三个改进方案并不是将干扰项都划分到具备高方差多类别的原型里去，而是采用一种掩码的方式，使得与原型距离远的样本被掩盖掉，距离近的则更少被掩盖。首先计算未标记的样例与原型之间的规范化距离$\tilde{d}_{j,c}$
   
   然后，通过训练的方式得到两个参数，分别是软阈值$\beta_c$和斜率$\gamma_c$，这两个参数是通过一个多层感知机得到的，输入值是关于规范化距离$\tilde{d}_{j,c}$的统计学参数
   
   式中skew表示倾斜度，kurt表示峰值系数。最后利用学习到的参数$\beta_c$和$\gamma_c$实现掩码
   
   式中$\sigma$表示sigmoid函数，因为sigmoid函数当输入越小，输出越接近于0；输入越大，输出越接近于1；输入为0时，输出为0.5。所以当规范化距离$\tilde{d}_{j,c}$超过阈值$\beta_c$时，其掩码值$m_{j,c}$会接近于0（相当于被掩盖了）；当规范化距离小于阈值时，其掩码值则更接近于1（相当于被保留了）。

实现过程

网络结构

  与原型网络相同

损失函数

  正确分类概率的负对数均值

创新点

• 提出一种半监督训练的小样本分类算法，提高算法的泛化能力
• 在原型网络的基础上提出三种改进型

算法评价

  本文是原型网络的改进型，也是看到的第一篇采用半监督学习的元学习算法。整体而言还是具有一些有趣的创新点的，尤其是第三种改进型中应用的掩码方法，是之前没有见过的。但由于训练集中包含无标签样例，因此在训练量总数相同的情况下，其准确率还是低于有监督学习的。而且根据作者的实验结果，也无法确定三种改进型的优劣（在不同测试条件下，表现并不统一），因此对于小样本分类任务的改进作用有限。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。