【论文阅读笔记】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

(一) 论文地址：

《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》

（二）核心思想：

作者在研究时发现，像Xception和ResNeXt这些使用group convolution的网络，在缩小结构时会变得非常低效，究其原因是稠密的1×1卷积造成的；

为了提高计算效率并克服1×1group卷积带来的边缘效应，作者提出了一个高效网络ShuffleNet，两个核心就是：

1. 一个新的卷积方式：Pointwise Group Convolutions
2. 一个新的骚操作：Channel Shuffle

（三）Pointwise Group Convolutions：

在小网络中，逐点卷积计算消耗比较大；为解决该问题，一个直接的解决方案是使用通道稀疏连接，例如在1×1卷积上也使用组卷积；

但是如果多个1×1组卷积相互叠加，会造成来自某个通道的输出仅来自一小部分的输入通道，从而阻碍了组与组之间特征的流通；

为了解决这个问题，作者又提出了Channel Shuffle；

（四）Channel Shuffle：

具体来说，对于从前一组图层生成的特征图，我们可以先将每个组中的通道划分为多个子组，然后在下一层中为每个组提供不同的子组，由此实现每组数据之间的相互流通；

利用channel shuffle操作，作者提出了一种专为小型网络设计的新型ShuffleNet单元：

作者基于图(a)所示的残差结构，分别提出了$stride=1,2$的两种单元；

（五）ShuffleNet的网络结构：

其中$g$是Group Convolution的卷积组的数目；

（六）实验结果：