论文浏览(13) Resource Efficient 3D Convolutional Neural Networks

---

0. 前言

• 相关资料：
  • arxiv
  • github
  • 论文解读
• 论文基本信息
  • 领域：行为识别
  • 作者单位：慕尼黑工业大学&英特尔欧洲实验室
  • 发表时间：2019.4

---

1. 要解决什么问题

• 3D卷积发展迅猛，2D轻量化卷积神经网络发展也很快，但3D轻量化网络却没有太多研究。

---

2. 用了什么方法

• 把2D轻量化卷积神经网络转换为3D的形式。
• 在以下三个数据集上测试3D卷积网络的性能
  • Kinetics-600：测试模型容量
  • Jester：测试模型提取动作特征的能力
  • UCF-101：测试模型的迁移能力
• 常用block的3D版
  • 3D-SqueezeNet
    • 最主要的就是Fire模块，如下图所示。一个类似于分组分组卷积+concat的操作，不同组的卷积核不同。
  • 3D-MobileNetV1
    • 本质就是加入了Depthwise Convolution，3D版的就是把2D Depthwise改为3D Depthwise。
  • 3D-MobileNetV2
    • 在使用Depthwise Convolution的基础上设计一个类似于resnet block的结构，改变了relu的位置。
  • 3D-ShuffleNetV1
    • 本网络的主要特点在于使用了 pointwise group convolution 以及 channel shuffle 操作。
  • 3D-ShuffleNetV2
    • 主要是改变了channel shuffle的位置。
• 上述网络总体architecture与2D网络的差不多

---

3. 效果如何

• 在Kinetics-600 Jester UCF-101 上的性能对比
  • 3D卷积网络没有使用一些(2+1)D啥的其他操作。

---

4. 还存在什么问题

• 都是一些最朴素的2D转3D。

• 最大的好处就是有开源代码，可以直接用到其他地方（比如slowfast里）。