圖像分類系列：
1、Lenet詳解
3、VGG網絡結構
4、NIN網絡結構
5、Googlenet inception v1 結構詳解、inception v2 和 inception v3
inception v2 和inception v3是對inception v1在結構上的改進優化。作者認爲必須按照一套合理的規則來優化Inception結構，具體如下：
對inceptionv1優化的幾個原則：
inceptionv2 v3採用的優化方法
其中inception v1加上方法1，2，3，4即成了inception v2，inception v2加上方法5即成了inceptionv3。
下面對這五種方法一一解釋：
1、使用並行結構來優化pooling，減少信息丟失過多。
對pooling輸入層進行兩次操作。一次跟之前一樣，只做pooling操作。另一次對輸入層進行1x1卷積操作，輸出和pooling結果一樣格式的結果。見下圖。
2和3、5x5卷積核分成兩個3x3卷積核，3x3分成一個1x3和一個3x1卷積核串聯。可以減小計算量。
4、使用Label Smoothing來對標籤進行正則化，
原始圖片類別（標籤）是one-hot0，1這種脈衝式的標籤，容易導致過擬合。分類問題的損失函數是交叉熵，單類情況下，如果某一類概率接近1，其他的概率接近0，那麼會導致交叉熵取log後變得很大很大，從而導致網絡過分擬合。
現在採用公式new_labels = (1.0 - label_smoothing) * one_hot_labels + label_smoothing / num_classes平滑標籤。
Szegedy在網絡實現的時候，令 label_smoothing = 0.1，num_classes = 1000。Label smooth提高了網絡精度0.2%
5、Batch Normalization批標準化
這個比較重要，需要單獨拿出來。Batch Normalization極大提升了訓練速度，收斂過程大大加快；還能增加分類效果，③另外調參過程也簡單多了，對於初始化要求沒那麼高，而且可以使用大的學習率等。
參考https://www.jianshu.com/p/4e5b3e652639，https://www.cnblogs.com/mimandehuanxue/p/8994678.html