【論文閱讀筆記】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

(一) 論文地址：

《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》

（二）核心思想：

作者在研究時發現，像Xception和ResNeXt這些使用group convolution的網絡，在縮小結構時會變得非常低效，究其原因是稠密的1×1卷積造成的；

爲了提高計算效率並克服1×1group卷積帶來的邊緣效應，作者提出了一個高效網絡ShuffleNet，兩個核心就是：

1. 一個新的卷積方式：Pointwise Group Convolutions
2. 一個新的騷操作：Channel Shuffle

（三）Pointwise Group Convolutions：

在小網絡中，逐點卷積計算消耗比較大；爲解決該問題，一個直接的解決方案是使用通道稀疏連接，例如在1×1卷積上也使用組卷積；

但是如果多個1×1組卷積相互疊加，會造成來自某個通道的輸出僅來自一小部分的輸入通道，從而阻礙了組與組之間特徵的流通；

爲了解決這個問題，作者又提出了Channel Shuffle；

（四）Channel Shuffle：

具體來說，對於從前一組圖層生成的特徵圖，我們可以先將每個組中的通道劃分爲多個子組，然後在下一層中爲每個組提供不同的子組，由此實現每組數據之間的相互流通；

利用channel shuffle操作，作者提出了一種專爲小型網絡設計的新型ShuffleNet單元：

作者基於圖(a)所示的殘差結構，分別提出了$stride=1,2$的兩種單元；

（五）ShuffleNet的網絡結構：

其中$g$是Group Convolution的卷積組的數目；

（六）實驗結果：