論文瀏覽(13) Resource Efficient 3D Convolutional Neural Networks

---

0. 前言

• 相關資料：
  • arxiv
  • github
  • 論文解讀
• 論文基本信息
  • 領域：行爲識別
  • 作者單位：慕尼黑工業大學&英特爾歐洲實驗室
  • 發表時間：2019.4

---

1. 要解決什麼問題

• 3D卷積發展迅猛，2D輕量化卷積神經網絡發展也很快，但3D輕量化網絡卻沒有太多研究。

---

2. 用了什麼方法

• 把2D輕量化卷積神經網絡轉換爲3D的形式。
• 在以下三個數據集上測試3D卷積網絡的性能
  • Kinetics-600：測試模型容量
  • Jester：測試模型提取動作特徵的能力
  • UCF-101：測試模型的遷移能力
• 常用block的3D版
  • 3D-SqueezeNet
    • 最主要的就是Fire模塊，如下圖所示。一個類似於分組分組卷積+concat的操作，不同組的卷積核不同。
  • 3D-MobileNetV1
    • 本質就是加入了Depthwise Convolution，3D版的就是把2D Depthwise改爲3D Depthwise。
  • 3D-MobileNetV2
    • 在使用Depthwise Convolution的基礎上設計一個類似於resnet block的結構，改變了relu的位置。
  • 3D-ShuffleNetV1
    • 本網絡的主要特點在於使用了 pointwise group convolution 以及 channel shuffle 操作。
  • 3D-ShuffleNetV2
    • 主要是改變了channel shuffle的位置。
• 上述網絡總體architecture與2D網絡的差不多

---

3. 效果如何

• 在Kinetics-600 Jester UCF-101 上的性能對比
  • 3D卷積網絡沒有使用一些(2+1)D啥的其他操作。

---

4. 還存在什麼問題

• 都是一些最樸素的2D轉3D。

• 最大的好處就是有開源代碼，可以直接用到其他地方（比如slowfast裏）。