对《Visualizing and Understanding Convolutional Networks》理解

1.文章内容的介绍

这篇文章主要解决以下两个问题:

  1. However there is no clear understanding of why they perform so well(卷积神经网络特征提取方面表现好的原因是什么?);
  2. how they might be improved.(如何改进这个卷积神经网络结构?)。

  卷积神经网络在ImageNet的基准测试中比之前的模型有很大的改善,同时迁移到其他的数据集也表现良好,同时文章提出一种可视化的技术,可以用来观测模型特征提取层和分类器在模型训练过程中的起到的作用,以便于改进模型的结构。

2.文章内容的描述

  卷积和反卷积的结构:通过反卷积的网络结构模拟卷积网络结构,使用数据可视化的方式,理解卷积层每层的作用。
  如图1所示,图的左半部分是反卷积网络结构,右边是卷积网络结构;Each layer consists of(卷积网络结构主要包含:)

  1. convolution of the previous layer output (or, in the case of the
    1st layer, the input image) with a set of learned fifilters; (局部感受野)
  2. passing the responses through a rectifified linear function (relu(x) = max(x, 0))(非线性的结构映射);
  3. [optionally] max pooling over local neighborhoods (最大池化)and
  4. [optionally] a local contrast operation that normalizes the responses across feature maps(归一化);

  反卷积结构
  (i) unpool, (反池化:记录池化操作过程中变量的位置,然后求解近似的逆值);
  (ii) rectify(重建relu非线性)and ;
  (iii) fifilter to reconstruct the activity in the layer beneath that gave rise to the chosen activation(感受器的反转).
  卷积的可视化:通过在模型训练过程中观察不同特征层的变化和整个模型构建过程层次的特征;通过选择不同的模型结构和随机的遮挡一部分特征,观测每个结构的实际作用。
  实验:通过改变模型的结构,如过滤器的尺寸大小(11x11,7x7,5x5),滑动步长(2,3,4),卷积层数,全连接层等,发现这些结构的改变都会对实际的效果产生较大的影响。通过调节这些超参数,可以获得最佳的结果。

          图1 卷积和反卷积网络结构图

3.总结

  卷积网络的运用可以更好获取复杂的特征,学习到更多的非线性的特征,在图像特征提取方面表现出良好的性能,同时也存在一些问题:需要更多的数据;卷积计算量大,需要更多的GPU资源;模型变得更加复杂,容易过拟合
  文章的主要贡献在与提出可视化的技术手段,通过实验的方式比较直观的了解卷积网络在特征提取过程和模型训练过程中所起的作用,有利于优化整个模型的网络结构,在减少模型复杂度的同时,提高模型的性能。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章