目錄
如果這篇文章對你有一點小小的幫助，請給個關注，點個贊喔~我會非常開心的~
花書+吳恩達深度學習（十二）卷積神經網絡 CNN 之全連接層
花書+吳恩達深度學習（十三）卷積神經網絡 CNN 之運算過程（前向傳播、反向傳播）
花書+吳恩達深度學習（十四）卷積神經網絡 CNN 之經典案例（LetNet-5, AlexNet, VGG-16, ResNet, Inception Network）
0. 前言
本篇文章主要介紹卷積神經網絡的運算過程。
整體卷積神經網絡的運算趨勢，是行和列逐漸減小，通道數逐漸增加。
1. 單層卷積網絡
此處以單個樣本爲例子。
- 原始圖像（上一層輸出）作爲
。
- 每一個過濾器的參數疊加在一起，組成這一層的權重
。
- 爲每個過濾器加上偏差，組成偏差
，在卷積之後的 2D 圖像的每一個像素上加上偏差。
- 通過激活函數
，激活函數同樣針對 2D 圖像的每一個像素。
- 則，每一個過濾器計算出來爲 2D 圖像，多個過濾器組合起來作爲 3D 圖像，下一層的輸入。
，在卷積之後的 2D 圖像的每一個像素上加上偏差。
，激活函數同樣針對 2D 圖像的每一個像素。2. 各參數維度
![\begin{align*} & f^{[l]}=filter\ size \\ & p^{[l]}=padding \\ & s^{[l]}=stride \\ & n_c^{[l]}=number\ of\ filters\ in\ layer\ l \\ \end{align*}](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20181220123546579)
![\begin{align*} & Input:\ n^{[l-1]}_H\times n^{[l-1]}_W\times n_c^{[l-1]} \\ & output:\ n^{[l]}_H\times n^{[l]}_W\times n_c^{[l]} \\ & n^{[l]}_{H/W}=\lfloor \frac{n^{[l-1]}_{H/W}+2p^{[l]}-f^{[l]}}{s^{[l]}}+1 \rfloor \\ \end{align*}](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20181220123546596)
![\begin{align*} & each\ filter:\ f^{[l]}\times f^{[l]}\times n_c^{[l-1]} \\ & weights:\ f^{[l]}\times f^{[l]}\times n_c^{[l-1]}\times n_c^{[l]} \\ & bias:\ 1\times 1\times 1\times n_c^{[l]} \\ \end{align*}](https://pic1.xuehuaimg.com/proxy/csdn/https://img-blog.csdnimg.cn/20181220123546616)
3. CNN 前向傳播反向傳播
對於每一個 3D 圖像，可以看成是，行（長），列（寬），通道（高）。
定義一個 4 維張量 
定義一個 3 維張量 
定義一個 3 維張量 
則前向傳播的卷積運算表示爲：
在反向傳播中，對
使用梯度下降，對權重
如果不是神經網絡的第一層，則需要對輸入
如果這篇文章對你有一點小小的幫助，請給個關注，點個贊喔~我會非常開心的~