一.背景介紹：
第一個典型的卷積網絡是lenet5,但是第一個引起大家極大關注的卷積網絡確是AlexNet。該模型在2012年ImageNet競賽中取得冠軍，並與第二名拉開了較大的差距，所以在當時對學術界和工業界帶來了較大的影響，同時也帶來了深度學習的春天。自此深度學習在圖像，語音等領域大放異彩，計劃碾壓其他傳統的機器學習算法。
二.網絡結構：
- 輸入層：224*224*3 （論文上是這個輸入尺寸，但是經過計算和查看相關博文，其實應該是227*227*3。不過我們下面直接使用pytorch提供的官方代碼，它裏面加入了自適應均值池化，可以忽略尺寸大小的影響）
- 網絡共有5個卷積層和3個全連接層。
- 除最後一個全連接層以外，每層後面接relu(校正線性單元)
- 在第一個relu,第二個relu,和第5個relu後面接最大池化層。
- 在第一個最大池化層和第二個最大池化層後面接局部響應歸一化。
- 在第6個relu和第7個relu後面接dropout。
- 最後分類使用softmax。
以上是論文中介紹的網絡結構,但pytorch中的源碼對此做了少部分的修改。下圖是從百度上搜出來的，勉強看一下吧。
三. 評價：
- 網絡中使用relu作爲激活函數，經驗證，效果要好於sigmoid等飽和函數，減小了網絡較深時梯度消失的影響
- 使用dropout來減小過擬合問題
- 使用最大池化，且准許重疊池化。有效緩解過擬合問題
- 提出了局部歸一化，對局部神經元的活動創建競爭機制，增強了模型的泛化能力。