筆記四：經典神經網絡

經典神經網絡

LeNet-5: 手寫體數字識別

LeNet-5網絡的論文：Lecun et al.,1998 Gradient-based learning applied to document recognition
吳恩達老師建議閱讀第二和第三部分

AlexNet

說明：

1. 上圖爲AlexNet的神經網絡結構
2. 如圖所示，通過5x5卷積核以stride=2進行卷積運算後，輸入特徵由27x27x96得到輸出特徵27x27x256，根據筆記一中公式可以推得：該處進行了padding操作，且padding的大小經過計算爲15。
3. 該網絡需要訓練的參數大約爲60 million
4. 根據吳恩達老師所說，改網絡提出來的時候GPU的運算速度相對來說比較慢，所以Alex想了一種複雜的方法將不同的層拆分到在不同的GPU上進行訓練，然後通過某種方法用於GPU之間的數據交換，從而提升訓練速度，具體情況可以查詢相關資料進行了解。
5. 相比於LeNet-5,該網絡使用RELU函數作爲激活函數。

VGG-16：專注於構建卷積層的網絡

說明：

1. 卷積核的選擇如圖所示：3x3,stride=1,padding is same as stride,so it’s 1; 池化單元的信息：2x2,stride=2
2. [CONV 64]表示有64個卷積核核輸入特徵圖進行卷積計算，x2表示，該卷積計算進行了兩次,具體計算過程如由上圖所示
3. 如圖網絡結構所示：經過padding的卷積計算使得輸出特徵單元與輸入特徵單元具有相同的大小，經過池化單元使得輸出特徵單元的大小爲輸入特徵單元的一半
4. 由圖觀察可知，通道數在每次卷積過程中都成倍增加
5. 該網絡的訓練參數爲138 million
6. 其他需要了解請搜索左下角文獻：Very deep convolutional networks for large-scale image recognition