面經整理-小網絡總結

（1）MobileNets

MobileNets能減少參數量與計算量的方式主要存在於兩點：

1. 深度可分卷積
2. Width Multiplier + Resolution Multiplier

傳統的卷積操作不考慮bias的情況下，參數量是$D_K.D_K.M.N$，運算量是$D_K.D_K.M.N.D_F.D_F$。其中$D_K$是卷積核的維度大小，$M$是輸入的通道數，$N$是輸出的通道數(或者說是卷積核的個數),$D_F$是輸出feature map大小(假定輸入輸出的feature map都相等，且是正方形)。

這樣深度可分卷積的具體做法是，分爲兩個步驟
（1）深度卷積（depthwise convolution)
（2）1*1卷積 （pointwise convolution)

其中深度卷積相較於傳統卷積不同的地方在於，相較於每個通道用N個卷積核進行卷積，這兒對於每個通道只用了1個卷積核進行卷積。

其次利用了1*1卷積對深度卷積的輸出進行組合（或者說是升維，達到輸出的channel數量N)。

這樣總的計算量相較於傳統卷積：

其中分子的前半部分爲深度卷積的計算量，後半部分爲1*1卷積的計算量，可以發現的是由於輸出通道數$N$往往遠大於卷積核的大小$D_K.D_K$，因此這個深度可分卷積的主要計算量和參數量會體現在pointwise convolution這一塊。

文中進一步提出的兩個multiplier指的是Width Multiplier $\alpha$與Resolution Multiplier $\rho$

最後文章在多個視覺任務上展開實驗，在accuracy與parameter size和computation cost之間進行一個trade off。