一、深度學習概述
1.1 發展歷程
上世紀60年代，Hubel等人通過對貓視覺皮層細胞的研究，提出了感受野這個概念。
到80年代，日本科學家福島邦彥（Kunihiko Fukushima）提出Neocognitron（神經認知機），直接啓發了後來的卷積神經網絡。
1998年，Yann LeCun提出的卷積神經LeNet，首次提出了多層級聯的卷積結構，可對手寫數字進行有效識別。
2012年， Alex依靠卷積神經網絡AlexNet奪得ILSVRC 2012比賽的冠軍，吹響了卷積神經網絡研究的號角。AlexNet成功應用了ReLu、Dropout、最大池化、LRN（Local Response Normalization，局部響應歸一化）、GPU加速等新技術，啓發了後續更多的技術創新，加速了卷積神經網絡和深度學習的研究。從此，深度學習研究進入蓬勃發展的新階段。
2014年Google提出的GoogleNet，運用Inception Module這個可以反覆堆疊高效的卷積網絡結構，獲得了當年的ImageNet ILSVRC比賽的冠軍，同年的亞軍VGGNet全程使用3×3的卷積，成功訓練了深度達19層的網絡。
2015年，微軟提出了ResNet，包含殘差學習模塊，成功訓練了152層的網絡，一舉拿下當年ILSVRC比賽的冠軍。
2019年3月27日 ——ACM宣佈，深度學習的三位創造者Yoshua Bengio, Yann LeCun, 以及Geoffrey Hinton獲得了2018年的圖靈獎。
Hinton最重要的貢獻：1983年發明的玻爾茲曼機（Boltzmann Machines），1986年發明反向傳播的論文“Learning Internal Representations by Error Propagation”，AlexNet，在計算機視覺領域掀起一場革命。
Yann LeCun：代表貢獻之一是卷積神經網絡，拓展了神經網絡的應用範圍。
Bengio的貢獻：在1990年代發明的Probabilistic models of sequences。發表了劃時代的論文“A Neural Probabilistic Language Model”，使用高維詞向量來表徵自然語言。
1.2 深度學習的興起
傳統方法的瓶頸：人工設計特徵是淺層特徵，無法有效刻畫對象的變化，所採用的識別網絡是淺層網絡。
淺層學習：2006年前，多種淺層機器學習模型被提出，如感知機、BP神經網絡、支持向量機等。這些模型的結構基本上可以看成帶有一層隱層節點，或沒有隱層節點的神經網絡結構。
興起的標誌：2006後，深度學習之父Hinton在《科學》雜誌提出神經網絡的深度學習方法，自此開啓了深度學習在學術界和工業界的浪潮。
深度學習的動機：更復雜的分佈往往需要更深層的網絡結構。更深層次的網絡具有更強的非線性擬合能力
1.3 深度學習的特點
1）與人腦相似的信息處理：從低層到高層的深層次特徵抽象。
2）深層結構實現更復雜的非線性擬合。其本質是解決思路爲維度空間映射，深層結構能夠實現更復雜的非線性擬合。
3）深度特徵的自動提取：利用反向傳播自動學習深度特徵。
1.4 深度學習的優勢
1）更優的大數據學習能力：與傳統機器學習算法相比，深度網絡的結構可以隨數據的增加而充分挖掘數據內在的分佈規律，獲得更優的性能。
2）更高層的特徵提取機制：經典的機器學習算法需要複雜的特徵提取過程。而深度神經網絡可自適應地學習特徵提取器，降低人工參與。
3）更優異的泛化性能：與傳統的ML算法相比，深度學習可通過遷移學習實現不同圖像域的域自適應學習能力，從而更容易適應不同的領域和應用。
深度學習產業化的核心要素：數據+運算能力+神經網絡
二、卷積神經網絡剖析
一般的卷積神經網絡由以下幾個層組成：卷積層，池化層，非線性激活函數，全連接層。這四者構成了常見的卷積神經網絡。當然，損失函數也至關重要，還有各種各樣的網絡的優化，使得網絡準確率更高。
2.1 卷積層
卷積層：卷積層是一個卷積神經網絡最重要的部分，也是卷積神經網絡得名的緣由。卷積層中每一個節點的輸入是上一層神經網絡的一小塊，卷積層試圖將神經網絡中的每一個小塊進行更加深入地分析從而得到抽象程度更高的特徵。
CNN正式通過卷積的方式實現輸入特徵的提取和變換映射，從而獲得數據的特徵表示。卷積層本質上執行的是相關計算。
步長：卷積核移動的距離（包括下和左）。步長爲n，則每次移動n個數值。
卷積後數據大小變化了，不再是原來數據的尺寸，怎麼辦？
在原始數據周圍補充0，以保持卷積後的數據大小與輸入數據一致。即爲padding操作。
可根據需要設定補零的層數, 是一個可以設置的超參數, 但要根據卷積核的大小, 步幅, 輸入矩陣的大小進行調整, 以使得卷積核恰好滑動到邊緣。
一般情況下, 輸入的圖片矩陣以及後面的卷積核, 特徵圖矩陣都是方陣, 這裏設輸入矩陣大小爲 δ. 神經