【網絡優化】MobileNets

轉自：http://blog.csdn.net/cv_family_z/article/details/70847482?locationNum=1&fps=1

TensorFlow實現：https://github.com/Zehaos/MobileNet
caffe實現：https://github.com/pby5/MobileNet_Caffe

MobileNets用於手機或嵌入式視覺應用，提出使用depthwise separable convolutions 構造輕量化的深度神經網絡，並使用兩個全局超參數Width Multiplier和Resolution Multiplier減少參數數量。

模型結構
1. Depthwise Separable Convolution
標準的卷積濾波和特徵組合在一步內完成，Depthwise Separable卷積將標準的卷積分解爲一個depthwise卷積和一個1*1的pointwise卷積。depthwise卷積對每個輸入通道用一個濾波器計算，pointwise卷積使用1*1的卷積組合depthwise的結果。這個分解可以有效降低計算量和模型大小，分解過程如下圖所示：

分解前後計算量對比爲，分解後計算量降低了8~9倍：

2. 網絡結構
MobileNet第一層是全卷積，其餘卷積層使用depthwise separable卷積構建，除最後一層，所有層與Batch Norm和ReLU銜接，最後一層輸入到softmax層。MobileNet的網絡結構爲：

下圖顯示了分解卷積與常規卷積的區別：

MobileNet花費了95%的計算時間在1*1的卷積上，主要參數也在1*1卷積中，其餘的參數在全連接層中，如下表所示：

3. 模型瘦身-width乘子α
輸入通道數乘子α
4. 降低分辨率-分辨率乘子ρ
降低輸入圖像或特徵圖的分辨率，計算量下降ρ2

實驗結果
MobileNet與GoogleNet,Vgg16對比，準確度差不多，但參數少很多

物體檢測結果，使用Faster-RCNN，SSD框架與VGG，Inception V2對比：