深度學習解決哪些問題？
分類 和 迴歸
這兩個有實質區別麼？
二郎覺得他們的區別只是在最後網絡輸出時的區別，輸出的是判斷類別的概率百分數還是最終的結果與我們擬合的曲線關係一致。
在解決複雜問題時，我們都需要先從簡單的問題入手
現在我們想判斷一張圖中有沒有路牌，學過圖像處理課的都知道，這是一個簡單的匹配問題。
簡單
①我們用一個路牌的模板去在圖中進行全局匹配；
②匹配到的位置標爲1，沒匹配到的標爲-1；
③最後總結，匹配結果有1就證明有路牌。
卷積與均值
全局匹配是通過窗操作進行的，學術術語是卷積，對應點相乘再相加（這裏不夠準確，卷積需要一個翻轉的過程，不過很多情況下大家不做強調）
①plus1：卷積操作。
在②中，我們的行爲是不是太過草率，完全匹配上的能有幾個？路牌不會按你的心意長成你想要的樣子的，或者說根本就沒有一模一樣的路牌，而且背景也是有問題的。
於是，我們就需要用到均值，用窗內每個像素點進行匹配，匹配後把所有點匹配的結果取平均值，接近1表示匹配成功率較高，接近-1表示匹配失敗率較高。
這裏有個問題，-1怎麼來的？二值圖的時候比較好形容，黑色爲-1，白色爲1，那麼灰階爲256的呢？
用歸一化處理。
無論+1、-1，我們只想說明一個問題，我們用模板去匹配，匹配窗掃過的位置越接近模板，越說明該位置有和模板一致的物體，這裏用到均值，是爲了避開一些其他影響因素，讓我們不至於非常苛刻的認爲只有1纔是匹配上的。
②plus1：匹配爲窗操作（這個不知道的自己去看下，比較簡單），取平均值。
不同尺度
模板太小，圖中的路標太大；路標太小，模板太大……匹配不上
不同尺度（說句普通話：把模板變大變小後再去匹配，就是這樣的道理）
②plus2：用不同大小的窗進行匹配，3X3，5X5等尺寸的窗
深度學習：
1：卷積核
對應於上面的路標模板，一般深度學習學習的也是這個卷積核（路標模板）
，讓這個模板能夠準確地辨別出圖中有無路標。
而上面的 ②plus2也對應到了這裏，不同尺度，所以我們一般會用到不同尺度的卷積核——3X3，5X5等。
那麼在訓練的開始，卷積核如何選取呢？隨機給定初值，通過迭代，找到最優卷積核。
2：卷積運算
讓卷積核在圖像中滑動，進行卷積運算，對應 ①plus1和 ②plus1。
卷積運算後我們得到了什麼？
我們得到了freture map（特徵圖），這個圖反映了，圖像中的每個區域與卷積核的相關性，也就是匹配度。相關性越大，證明該區域與卷積核匹配程度越高，越說明該區域存在與卷積核類似的特徵，該區域存在路標。相當於我們 ①的全局匹配。
3：多層卷積
卷積層多少層，卷積核多大……這些如果大家檢索，可能不會得到實質的幫助，因爲很多情況下這些參數的設置還不具備理論支撐。
這裏二郎提出一種過濾的概念，和濾波器差不多。
比如我們想要找個路牌
卷積層一
過濾出圖中所有的三角形標誌
得到freture map1
卷積層二
過濾出黃色三角的標誌
得到freture map2
卷積層三
過濾出帶有文字的黃色三角的標誌
得到freture map3
卷積層四
過濾出有紅色的帶有文字的黃色三角的標誌
得到freture map4
經過層層過濾，最終的freture map4代表了有紅色的帶有文字的黃色三角的標誌是否存在的，以及存在的可能。
4：激活函數、池化
這兩個放到一塊說，其實作用是類似的，都是減少參數，提高計算速度
激活函數直接減少圖像中參數點在每一層的傳播
池化能夠改變圖像尺寸，求局部極值，代表了整個局部的特性
這裏有人會問了，改變了圖像尺寸，那麼我們就不知道我們的匹配到的特徵具體所在位置了————不需要知道，至少在CNN中不需要知道，比如你判斷一個圖是貓還是狗，你真的需要知道貓在圖中哪個位置？狗在圖中哪個位置？這些都是後話，最基本的分類深度網絡沒有考慮保持位置信息的傳播。
5：全連接層
將所有找到的局部特徵放到一起獲得全局信息
對於cnn，全連接層直接把找到的局部特徵降維成一堆序列。
用softmax對所有序列進行歸一化
然後按照概率的大小進行分類，實現“分佈式特徵表示”映射到樣本標記空間的作用。
到這裏，基本的深度網絡，，，CNN就講完了，然後就是從網上蕩（下載）程序，自己跑跑試試，誤差函數以及卷積層數和卷積核都是可以調節的。
其他的網絡也可以借鑑該模式。