【深度學習】全面理解VGG16模型

VGG16的結構層次

vgg16總共有16層，13個卷積層和3個全連接層，第一次經過64個卷積核的兩次卷積後，採用一次pooling，第二次經過兩次128個卷積核卷積後，再採用pooling，再重複兩次三個512個卷積核卷積後，再pooling，最後經過三次全連接。附上，官方的vgg16網絡結構圖:

介紹結構圖

首先需要看懂上圖中的一些式子含義，如conv3-64，conv3-125

1. conv3-64 ：是指第三層卷積後維度變成64，同樣地，conv3-128指的是第三層卷積後維度變成128；
2. input（224x224 RGB image） ：指的是輸入圖片大小爲224244的彩色圖像，通道爲3，即224224*3；
3. maxpool ：是指最大池化，在vgg16中，pooling採用的是2*2的最大池化方法（如果不懂最大池化，下面有解釋）；
4. FC-4096 :指的是全連接層中有4096個節點，同樣地，FC-1000爲該層全連接層有1000個節點；
5. padding：指的是對矩陣在外邊填充n圈，padding=1即填充1圈，5X5大小的矩陣，填充一圈後變成7X7大小；
6. 最後補充，vgg16每層卷積的滑動步長stride=1，padding=1，卷積核大小爲333；

VGG16模型所需要的內存容量

此處引用大佬的一張圖片來說明：

上圖，非常清晰地展示了每經過一次卷積或pooling後，所需要佔用的內存，以及需要傳送的權重值個數。

介紹卷積中的基本概念

什麼是卷積？ 最直觀的解釋，直接上圖（引用網上最火的圖片）

image爲需要進行卷積的圖片，而convolved feature爲卷積後得到的特徵圖；那麼什麼是卷積的過濾器也就是filter呢？圖中黃色矩陣即爲filter，image爲5X5大小的一維圖像，filter爲3X3大小的一維矩陣；卷積過程是：filter與image對應位置相乘再相加之和，得到此時中心位置的值，填入第一行第一列，然後在移動一個格子（stride=1），繼續與下一個位置卷積…最後得到是3X3X1的矩陣。
——這裏需要註明：卷積後的結果矩陣維度=（image矩陣維數-filter矩陣維數+2xpad）/2+1，對應上圖即寬width：3=（5-3+2x0）/1+1，高height：3=（5-3+2x0）/1+1；
如果還不懂，請接着看下圖（爲博主自己手寫的卷積過程圖）

在這裏補充經過padding填充，那麼卷積後圖片大小不會發生改變，如5X5的圖像大小，padding=1變成7X7，再用3X3的filter進行卷積，那麼卷積後的寬高爲（7-3+2x1）/1+1=7。

什麼是maxpool？ 最大池化就是取filter對應區域內最大像素值替代該像素點值，其作用是降維。在這裏，池化使用的濾波器都是2*2大小，因此池化後得到的圖像大小爲原來的1/2。下圖爲最大池化過程：

介紹完基本概念之後，就開始進入到理解VGG16的網絡模型了

1.從input到conv1：

由於224不太好計算，那麼這裏使用input圖片大小爲300x300x3舉例：
圖片:
首先兩個黃色的是卷積層，是VGG16網絡結構十六層當中的第一層（Conv1_1）和第二層（Conv1_2），合稱爲Conv1。

那麼，第一層怎麼將300x300x3的矩陣變成一個300x300x64的呢？？

假設RGB圖像爲藍色框，橙色方塊爲3x3x3的卷積核（即filter），那麼卷積後得到的圖像應爲298x298x1（此處沒有進行padding，步長爲1），但是經過填充一圈的矩陣，所以得到的結果爲300x300x1，在這層中有64個卷積核，那麼原來的300x300x1就變成了300x300x64。

2.從conv1到conv2之間的過渡：

在上面的結構圖可以看到，第一層卷積後要經過pooling，纔到第二層，那麼：

這層，pooling使用的filter是2x2x64，且步長爲2，那麼得到的矩陣維數剛好爲原來的一半，第三個維度64不改變，因爲那個指的是filter個數。

3.conv2到conv3：

我們從上面的過程中知道了，input爲300x300x3的圖片，經過第一層之後變成150x150x64，那麼第二層裏面有128個卷積核，可以推出經過第二層後得到是75x75x128。

4.進入conv3：

可知，第三層有256個卷積核，那麼得到就是75x75x256

5.從conv3到conv4之間的過渡：

這裏75是奇數，經過pad之後變成偶數76，那麼就得到結果爲38x38x256
其餘的過程與上述一樣，最終得到10x10x512。

6.最後到三層全連接FC層

在全連接層中的每一個節點都與上一層每個節點連接，把前一層的輸出特徵都綜合起來。在VGG16中，第一個全連接層FC1有4096個節點，上一層pool之後得到是10x10x512=51200個節點，同樣第二個全連接層FC2也有4096個節點，最後一個FC3有1000個節點。

結論

上述對VGG16進行了初步深入的理解，還有很多知識點沒寫，不足之處請多多原諒。另外本博文也參考了其他文章，圖片來源於網絡。

參考文章：

[1]: (https://blog.csdn.net/gbyy42299/article/details/78969261]
[2]: [http://mini.eastday.com/mobile/180329080222874.html#]
[3]: https://www.jianshu.com/p/a4b8b0fc7d21