GoogleNet/Resnet學習記錄

 

1. GoogleNet

1.1. 介紹    

1. 2014競賽第一
2. 進化順序：Inception V1->Inception V2->Inception V3->Inception V4
3. 目的：提升性能
   1. 降參，降計算
   2. 加寬，深度

1.2. Inception V1網絡：

1. 核心組件 Inception Architecture-稀疏連接結構
   1. Split-Merge->1×1卷積，3×3卷積，5×5卷積，3×3池化；
      1. 增加網絡對多尺度的適應性，提高多尺度特徵，輸出通道多尺度（感受野）化
      2. 增加網絡寬度
      3. 串接合並所有分支輸出
   2. Bottleneck Layer->使用NiN的1×1卷積進行特徵降維，解決多尺度代理的高額參數&計算
      1. 大幅降低計算量10×

1. 取消全連接
   1. 參數量大，減負，全連接層佔用大量參數
      1. AlexNet：58.6M（6×6×256×4096+4096×4096+4096×4096）
      2. VGG：72M（7×7×256×4096+4096×4096+4096×1000）   
   2. 本質上是全尺寸卷積層
   3. 由全局平均池化替代（Global average pooling）
      1. 輸入 7×7×1024
      2. 輸出 1×1×1024

3. 輔助分類器

    - 解決前幾層梯度消失問題

    - 有效加速收斂，測試階段不可用

   

 

1.3. Inception V2網絡 

1. 核心組件
   1. Batch Normalization（批歸一化）
      1. 解決Internal Covariate Shift問題（內部neuron數據分佈發生變化）
      2. 白化：使每一層輸出都規範化到N（0,1）
      3. 允許較高學習率
      4. 取代部分Dropout
      5. 在batch範圍內，對每個特徵通道分別進行歸一化
   2. 5×5卷積核->2個3×3卷積核
   3. 位置：卷積-》BN->ReLU
   4. 配對使用scale&shift
      1. 添加一組你算子：scale乘子，bias偏置
      2. 這組參數需要學習

  

 

1.4 Inception V3 網絡

1. 核心組件
   1. 非對稱卷積：N×N分解成1×N->N×1
   2. 降低參數數量和計算量
   3. 高效的降尺寸
      1. 避免表達瓶頸
         1. 降尺寸前增加特徵通道
      2. 2個並行分支
         1. 卷積分支+池化分支
         2. 串接分支結果

1. 1. 取消淺層輔助分類器
      1. 完全無用
   2. 深層輔助分類器只在訓練後期有用
      1. 加上BN和Dropout，主分類器Top1性能提升0.4%
      2. 正則化作用
      3. 用在最後一層17*17後

1. 1. 不增加計算量
      1. 避免表達瓶頸
      2. 增強結果（表達力）
         1. 寬度
         2. 深度

  

 

1.5 ResNet殘差網絡

1. 核心組件Skip/shortcut connection
   1. Plain net:可以擬合出任意目標映射H（x）
   2. Residual net
      1. 可以擬合出任意目標映射F(x), H(x)=F(x)+x
      2. F(x)是殘差映射，相對於identity來說
      3. 當H（x）最優映射接近identity時，很容易捕捉到小的擾動。

1. 其他設計
   1. 全是3×3卷積核
   2. 卷積步長2取代池化
   3. 使用Batch Normalization
   4. 取消
      1. Max池化
      2. 全連接層
      3. Dropout

 

1. 更深網絡：根據Bootleneck優化殘差映射網絡
   1. 原始：3×3×256×256 -> 3×3×256×256
   2. 優化：1×1×256×4 -> 3×3×64×634 -> 1×1×64×256

1.6 Inception V4網絡

1.7 ResNeXt網絡

1.8 CNN設計準則

1.9 準確性&執行效率

1.10 性能對比