卷積神經網絡
卷積神經網絡（Convolutional Neural Networks）簡稱CNN，標準卷積神經網絡架構由卷積層、池化層和全連接層構成。
1. 卷積層
卷積層主要作用是對輸入的數據進行特徵提取，卷積核（一個指定窗口大小的掃描器）。
卷積前有兩種邊界像素填充方式：same（全部填充0），valid(不處理）。對輸入圖像的不進行前期處理和像素填充，可能會導致圖像的部分像素點不能被滑動窗口捕捉；same方式可以避免這個問題，讓輸入圖像的全部像素都能被滑動窗口捕捉。
卷積操作後：
輸出圖像的寬度與高度分別爲：
（output表示輸出圖像相關參數，filter表示卷積核相關參數，S表示卷積核的步長，P表示圖像邊緣增加的邊界像素層數，same模式下，P的值就是圖像增加的邊界層數，如果選擇的是valid，P=0）
一般圖像爲三通道，三通道卷積將獨立的三通道分別進行卷積得到的結果相加，得到最終的輸出結果。
2. 池化層
池化層作爲一種提取數據的核心特徵的方式。與卷積層類似，池化層也需要定義一個滑動窗口，與卷積層不同的是，這個窗口僅用於提取特徵圖中的重要特徵本身並沒有參數，且這個滑動窗口的深度和特徵圖的深度保持一致（這一點在之後的神經網絡的深度計算中比較重要）。
池化層不僅能夠最大限度的提取輸入的特徵圖的核心特徵，還能夠對輸入的特徵圖進行壓縮，也就是降維。常見的池化層有平均池化層與最大池化層，平均池化層即將窗口數字的平均值作爲輸出結果，而最大池化層則是選擇窗口中的最大值作爲結果。
3. 全連接層
全連接層的主要作用是將輸入圖像在經過卷積和池化操作後提取的特徵進行壓縮，並且根據壓縮的特徵完成模型的分類功能。全連接層的工作是將通過卷積層和池化層提取的輸入圖像的核心特徵，與全連接層中定義的權重參數相乘，最後壓縮成輸出參數。這時的輸出參數已經是一個分類結果，在經過激活參數的進一步處理，就可以使分類預測結果更加明顯。比如Softmax激活函數。
經典模型：LeNet，AlexNet，VGGNet，GoogLeNet，ResNet.
4. 激活函數softmax:
i爲數據的個數，v表示數據集。
舉個例子：
因此，softmax激活函數，即將數據歸一到（0,1），也可以理解爲概率，送油的輸出結果是一個和爲1的概率事件，每一個輸出是一種分類結果，而佔比最大的輸入數據的分類結果是這個的概率最大，則可以選取這個最大的概率作爲結果輸出。