MobileNet網絡結構是一款輕量級的移動終端神經網絡，到目前爲止有V1和V2兩個版本。
V1版本的主要思想是深度可分離卷積，Inception網絡的結構設計思想就是將卷積通道相關和空間通道相關進行分離（如下圖所示）
Xception的構造也是沿用上面的思路，結構如下圖所示：
更多關於v1的相關內容，請參考
- https://www.jianshu.com/p/38dc74d12fcf?utm_source=oschina-app
- https://blog.csdn.net/Einstellung/article/details/103585835（pytorch實現深度可分離卷積代碼）
- https://yinguobing.com/separable-convolution/#fn2
v2的主要思想是先通過Expansion layer來擴展維度，之後在用深度可分離卷積來提取特徵，之後使用Projection layer來壓縮數據，讓網絡從新變小。因爲Expansion layer 和 Projection layer都是有可以學習的參數，所以整個網絡結構可以學習到如何更好的擴展數據和從新壓縮數據。
有兩個概念需要理解Linear Bottleneck 和 Inverted Residuals。
關於Linear Bottleneck：
原論文中提出了興趣流形（mainfold of interest）的概念（即網絡層中的激活特徵），認爲深度神經網絡是由n個Li 層構成，每層經過激活輸出的張量爲Hi Wi Di,一連串的卷積和激活層形成一個興趣流形(manifold of interest，這就是我們感興趣的數據內容)，興趣流行可以嵌入到低維子空間,通過減少每一層維度（即每層圖像深度或者卷積核個數），從而降低激活空間的維度。MobileNetv1是通過寬度因子(width factor)（控制激活空間的維度）在計算量和精度之間取折中，直到興趣流形橫跨整個空間。
但是，由於深度卷積神經網絡的層是具有非線性激活函數的，如果當前激活空間內興趣流形完整度較高，經過ReLU，可能會讓激活空間坍塌，不可避免的會丟失信息。論文針對這個問題使用linear bottleneck(即不使用ReLU激活，做了線性變換)的來代替原本的非線性激活變換。
關於Linear Bottleneck和Inverted Residuals的更多理解，請參考https://zhuanlan.zhihu.com/p/98001811。