基于少量样本的快速学习Few-shot learning

原創 _Summer tree 2020-06-24 05:29

基于少量样本的快速学习Few-shot learning

Reference[原文]: Joselynzhao.top & 夏木青 | 基于少量样本的快速学习Few-shot learning

背景

人工智能

连接主义：核心是神经元网络和深度学习，仿造人的神经系统，以此仿造智能（John Hopfield）
逻辑主义（符号主义）：核心是符号推理与机器推理，用符号的方式来研究智能、推理（Marvin Minsky）

神经网络的三次浪潮

在这里插入图片描述

深度学习

模型规模与日俱增

  • 错误率越来越低
  • 应用范围越来越广：图像识别、语音识别，机器翻译…

依赖大量的带标签训练数据——Data Hungry

人工智能困境

特定任务需要专门的模型从零开始训练

  • 训练时间
  • 计算资源

模型训练需要大量的带标签数据

  • 打标签需要耗费大量的人工成本
  • 所需训练数据本身难以获得

人工智能 → 人类智能

基于少数样本快速识别目标的能力——学习能力

  • 对猫、狗等生物体的识别
  • 根据一张照片快速识别目标的能力

结合已有知识快速学习新知识的能力——泛化能力

  • 学会C++后继续学习Java
  • 学习词汇后对英语等外语的学习过程

定义及数值原理

机器学习定义

A computer program is said to learn form experience E with respect to some classes of task T and performance measure P if its performance can improve with E on T measured by P
在这里插入图片描述
优化目标
在这里插入图片描述

数值原理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据增强

数据预处理

翻转，剪切，缩放，反射，裁剪，旋转…

基于已有的丰富标签数据训练转化器，以此对小样本数据集进行处理，所得数据与原始数据构成新的数据集

在这里插入图片描述

在这里插入图片描述

综合运用其他已有数据

无标签数据集——半监督学习

  • 通过在标签数据中引入无标签数据，增强监督分类效果
  • 通过在无标签数据中引入标签数据，增强无监督聚类效果

相似数据集

  • 关键：相似性的衡量
  • 2018年，Gao1等人通过GAN实现了对数据集类与类之间的衡量，从而实现相似数据集的确定

网络模型

和相关任务共同训练——多任务学习模型

定义：基于共享表示，把多个相关的任务放在一起学习的机器学习方法
参数硬（Hard）共享

  • 所有任务共享隐藏层
  • 不同任务使用不同输出层

在这里插入图片描述
这种模型能够极大降低模型过拟合的风险

参数软（Soft）共享

  • 所有任务拥有单独模型
  • 使用正则项保证不同模型参数尽可能相似

在这里插入图片描述

生成模型

在这里插入图片描述

嵌入学习模型（Embedding Learning）

通过映射，将数据从高维空间映射到低维空间
分类

  • 任务专用（Task Specific）
  • 多任务共享（Task Invariant）
  • 两者结合——元学习
    以任务训练数据，对多任务共享得到的embedding函数进行调整
    在这里插入图片描述

元学习： 学会学习（Learning to Learn）

  • 组件：基础学习器，元学习器，外部存储器-
  • 学习发生在两个层面
  • 基础学习器在输入任务空间执行，元学习器在任务不可知的元空间中运行（负责学习学习能力）
    在这里插入图片描述

带外部存储的学习模型

利用外部存储对已经训练后的信息进行存储
存储器记忆更新策略：

  • 最近最少使用
  • 记忆年龄
  • 记忆Loss值
    …
    在这里插入图片描述

塑性网络模型

核心思想——突触可塑性

  • 赫布规则
  • 如果一个神经元反复参与另一个神经元的活动，它们之间的联系就会加强

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

模式分类

  • 数据集：Omniglot
    50种文字
    1623类手写字符
    每类字符仅有20个样本
    在这里插入图片描述

  • 训练过程
    1、随机选择5类字符，每类字符1个样本
    2、从上述5类字符中随机选择一个样本进行预测分类
    3、利用预测分类与真实分类误差进行反向传播

在这里插入图片描述

在这里插入图片描述

  • 对miniImageNet可见光图像分类
    正确率达到75%
    非塑性神经网络方法的最好性能为58%

在这里插入图片描述

贝叶斯程序学习（BPL）模型

  • 每一个“概念”均由多个简单的“基元”组成，基元之间存在位置、时间、因果上的关系，这些基元按照上述关系进行组合，就得到相应“概念”的实例
  • 贝叶斯模型可以将各种“关系”参数化，通过计算机自动学习这些参数
  • 文章将BPL用于手写字符的单样本概念学习，并实现了模拟手写字符、归类手写字符、创造并书写新字符
    在这里插入图片描述
    在这里插入图片描述

BPL参数解析过程

  • 对图片进行处理，得到符号的细“骨架”
  • 使用随机游走方法解析所得符号的书写方式及BPL参数

然而，解析需要的先验概率分布信息由预训练得到，论文中并没有提到预训练（由元学习训练）的过程，并且在所给出的代码也是直接给出了已经训练好的预训练模型

每一套过程相当于一个字符的program。虽然看起来比较复杂，但是其实是个马尔可夫过程，即并不考虑n>1步之前的笔画或子笔画。所以只需要训练一个转移矩阵就好。

训练的时候，先给例子字符，以及这个字符怎么拆成笔画和子笔画。这些部件，以及笔画间的转移概率会被学到。然后生成的时候，就按照上述过程随机生成大概率的笔画组合，看起来就像同一风格的文字。

先随机生成一个字的笔画数，然后生成每个笔画的子笔画数。然后随机从一个库里选每个子笔画的类型，比如竖线、左撇等。

优化算法

在这里插入图片描述

研究展望

证明是→ 证明否 —— 反正（证伪）学习

借鉴逻辑主义学派思想（如：贝叶斯模型）提高样本的利用率

参考文献

  1. H. Gao, Z. Shou, A. Zareian, H. Zhang, and S. Chang. 2018. Low-shot Learning via Covariance-Preserving Adversarial Augmentation Networks. In Advances in Neural Information Processing Systems. 983–993.
  2. Miconi T, Clune J, Stanley K O. Differentiable plasticity: training plastic neural networks with backpropagation[J]. arXiv preprint arXiv:1804.02464, 2018.
  3. Lake B M , Salakhutdinov R , Tenenbaum J B . Human-level concept learning through probabilistic program induction[J]. Science, 350.

特别鸣谢

感谢本篇博文的内容提供者：奉涌泉 · HPCL

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

启用TOMCAT的SSL

 啓用TOMCAT的SSL 本教程使用 JDK 6 和 Tomcat 7，其他版本類似。基本步驟：使用 java 創建一個 keystore 文件配置 Tomcat 以使用該 keystore 文件測試配置應用以便使用 SSL ，例如

虫它 2020-07-08 11:08:02

【MMT】ICLR 2020: MMT(Mutual Mean-Teaching)方法，无监督域适应在Person Re-ID上性能再创新高

爲了減輕噪音僞標籤的影響，文章提出了一種無監督的MMT（Mutual Mean-Teaching）方法，通過在迭代訓練的方式中使用離線精煉硬僞標籤和在線精煉軟僞標籤，來學習更佳的目標域中的特徵。同時，還提出了可以讓Traplet

_Summer tree 2020-07-08 05:01:22

SSLClient

可以通過 System.setProperty("javax.net.ssl.keyStore", "d:\test.keys"); 設置證書。 package org.sl.bean; import java.io.FileInp

AFer198215 2020-07-07 22:05:49

Netty——预置的ChannelHandler和编解码器(一)

預置的ChannelHandler和編解碼器 Netty 爲許多通用協議提供了編解碼器和處理器，幾乎可以開箱即用，這減少了你在那些相 當繁瑣的事務上本來會花費的時間與精力。在本章中，我們將探討這些工具以及它們所帶來的好 處，其中包

吴声子夜歌 2020-07-07 01:09:47

【FSR】Feature Space Regularization for Person Re-Identification with One Sample

Feature Space Regularization for Person Re-Identification with One SampleAbstractI. INTRODUCTIONFramework.Our Meth

_Summer tree 2020-07-06 22:12:48

openssl 生成私钥、申请文件，证书导入jks说明

openssl 生成私鑰、申請文件，證書導入說明 1.生成私鑰 openssl genrsa -out serverkey.key 1024/2048 這樣生成的私鑰不帶密碼（以後生成密鑰庫後，要將密碼改成和密鑰庫密碼相同） op

墨玉wsc 2020-07-06 19:13:20

Python 3.7.2 使用SSL库作为HTTPS客户端访问服务器例子

import socket,ssl,sys HOST, PORT = '14.215.177.38', 443 REQUESTSTR="GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConne

tomggx 2020-07-03 00:35:28

【SSL+Tomcat】Tomcat怎么部署SSL证书

基礎環境： CentOS 7.6 Tomcat 8 前提條件： 你需要申請一個ssl證書，申請獲得的證書結構正常是這樣的，這裏我們只需要用到Tomcat目錄裏的文件 Tomcat文件夾中一般有兩個文件，一個是祕鑰庫文件（域名.jks）,

尤成军军军 2020-06-25 21:50:35

Received fatal alert: internal_error

參考：https://blog.csdn.net/cuiqiang60/article/details/82694261

Echo_zy_if 2020-06-25 16:27:18

HTTPS请求携带证书，双向认证 - Java

1.首先導入證書到服務器(MAC環境，Linux環境替換對應路徑java home即可) sudo keytool -import -alias cerName -keystore /Library/Java/JavaVirtualMac

听说你在这里 2020-06-24 18:17:21

理解Java Keystore和Truststore

a Java Keystore and a TruststoreDifference Between a Java Keystore and a TruststoreKeystoreTruststore 大多數情況下，使用SSL/

打字员小林 2020-06-24 16:44:21

Zero-Shot Deep Domain Adaptation[reading notes]

Zero-Shot Deep Domain AdaptationAbstractIntroductionRelated workOur Proposed Method — ZDDADomain adaptation Refere

_Summer tree 2020-06-24 05:29:32

Generalizing from a Few Examples: A Survey on Few-Shot Learning 小样本学习最新综述 | 三大数据增强方法

原文鏈接：小樣本學習與智能前沿 文章目錄01 Transforming Samples from Dtrain02 Transforming Samples from a Weakly Labeled or Unlabeled D

_Summer tree 2020-06-24 05:29:21

Generation Tasks

Generation TasksImproved GANrelated tasksImproved GAN-Image GenerationGANProblems of GANImproved GANNew paper from

_Summer tree 2020-06-24 05:29:32

概念学习前沿报告

概念學習前沿報告研究背景人工智能vs人類智能樣本效率低遷移、泛化能力差過於依賴監督在一些人類易解的問題上出錯小結概念概念是認知科學、認知心理學的研究對象概念與語言的關係概念是範疇化的結果，是對特徵的獨特組合而形成的知識單元人的學習

_Summer tree 2020-06-24 05:29:32