一，Xception
Xception是在InceptionV3基礎上修改的，主要引入了深度可分離卷積，將空間和通道的操作進行解耦合。
與“extreme” Inception兩個區別：
1,1×1卷積的順序，Xcption用於3×3之後，而Inception用於之前
2,Xception在1×1和3×3之後都沒用relu，而Inception都用了。
3*3做空間相關性，1×1做通道相關性。
用Relu會損失一部分信息。
二，Inception-ResNet
證明了Residual learning並非深度網絡走向更深的必需條件，其只是可以使得深度網絡的訓練速度加快而已。爲了表明這一點，他們更是造出了更爲複雜、精巧的Inception v4網絡，在不使用residual learning的情況下也達到了與Inception-Resnet v2近似的精度。
如果通道數超過1000，那麼Inception-resnet等網絡都會開始變得不穩定，並且過早的就“死掉了”，即在迭代幾萬次之後，平均池化的前面一層就會生成很多的0值。作者們通過調低學習率，增加BN都沒有任何改善。實驗發現如果對inception-resnet網絡中的residual模塊的輸出進行scaling（如乘以0.1-0.3），那麼可以讓它的整個訓練過程更加地穩定。如下圖爲scaling的具體做法示意。
