深度學習，神經網絡，多層神經網絡，BP,卷積神經網絡區別
接觸神經網絡不久，想弄明白“深度學習”與”多層神經網絡”的區別，看了幾篇博客和知乎回答，總結一下自己的認識 先提一下:BP是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡。
神經網絡包括了多層神經網絡（可以當做普通的神經網絡）和卷積神經網絡等 ， 而卷積神經網絡又屬於深度學習中最爲重要的算法。 我們這所謂的層指的神經網絡的層數，但是也並不是層數多了就是深度學習，深度學習一定是層數多最起碼3層以上吧！！
“深度學習”和“多層神經網絡”的區別?
關於“深度學習”和“多層神經網絡”的區別? 借用知乎上比較理性和感性的認識 分析一下
從廣義上說深度學習的網絡結構也是多層神經網絡的一種。
傳統意義上的多層神經網絡是隻有輸入層、隱藏層、輸出層。其中隱藏層的層數根據需要而定，沒有明確的理論推導來說明到底多少層合適。
而深度學習中最著名的卷積神經網絡CNN，在原來多層神經網絡的基礎上，加入了特徵學習部分，這部分是模仿人腦對信號處理上的分級的。具體操作就是在原來的全連接的層前面加入了部分連接的卷積層與降維層，而且加入的是一個層級。 輸入層 - 卷積層 -降維層 -卷積層 - 降維層 – …. – 隱藏層 -輸出層
簡單來說，原來多層神經網絡做的步驟是：特徵映射到值。特徵是人工挑選。深度學習做的步驟是 信號->特徵->值。 特徵是由網絡自己選擇。
作者：楊延生
鏈接：https://www.zhihu.com/question/26017374/answer/31868340
來源：知乎
作者：Bipolar Bear
鏈接：https://www.zhihu.com/question/26017374/answer/127924427
來源：知乎
著作權歸作者所有。商業轉載請聯繫作者獲得授權，非商業轉載請註明出處。
兩種網絡被設計出來，所要解決的問題和目的不同。
多層神經網絡與universal approximation theorem [1] （泛逼近性原理，不知這樣翻譯可對？）相伴而生。
該理論指出，單隱藏層（hidden layer）非線性前饋神經網絡，可以在實數空間近似任何連續函數。上世紀80 90年代，Backpropagation 剛剛開始大行其道，利用這一算法，只需知道輸入和輸出便可訓練網絡參數，從而得到一個神經網絡“黑箱”。之所以稱爲黑箱，是因爲無需知道y=f(x) 中f的表達式是什麼，也能輕易做函數計算，因爲f（objective function）就是網絡本身。多層神經網絡的座右銘是：“函數是什麼我不管，反正我能算！“。
當然多層神經網絡並非天下無敵，它有三個主要限制：
一是在面對大數據時，需要人爲提取原始數據的特徵作爲輸入，這個問題前面的知友提到過@楊延生。必須忽略不相關的變量，同時保留有用的信息。這個尺度很難掌握，多層神經網絡會把蹲在屋頂的Kitty和騎在貓奴頭上的Kitty識別爲不同的貓咪，又會把二哈和狼歸類爲同一種動物。前者是對不相關變量過於敏感，後者則因無法提取有實際意義的特徵。
二是想要更精確的近似複雜的函數，必須增加隱藏層的層數，這就產生了梯度擴散問題@青青子衿。所謂“強弩之末勢不能穿魯縞“。
三是無法處理時間序列數據（比如音頻），因爲多層神經網絡不含時間參數。隨着人工智能需求的提升，我們想要做複雜的圖像識別，做自然語言處理，做語義分析翻譯，等等。多層神經網絡顯然力不從心。
那麼深度模型是如何解決以上三個問題的。
第一，深度學習自動選擇原始數據的特徵。舉一個圖像的例子，將像素值矩陣輸入深度網絡（這裏指常用於圖像識別的卷積神經網絡CNN），網絡第一層表徵物體的位置、邊緣、亮度等初級視覺信息。第二層將邊緣整合表徵物體的輪廓……之後的層會表徵更加抽象的信息，如貓或狗這樣的抽象概念。所有特徵完全在網絡中自動呈現，並非出自人工設計。更重要的一點是這種隨着層的深入，從具象到抽象的層級式表徵跟大腦的工作原理吻合，視網膜接收圖像從LGN到視皮層、顳葉皮層再到海馬走的是同樣的路數[2]！
第二，深度網絡的學習算法。一種方法是改變網絡的組織結構，比如用卷積神經網絡代替全連接（full connectivity）網絡，訓練算法仍依據Backpropagating gradients的基本原理。另一種則是徹底改變訓練算法，我嘗試過的算法有Hessian-free optimization[3]，recursive least-squares(RLS) 等。
第三，使用帶反饋和時間參數的Recurrent neural network 處理時間序列數據。從某種意義上講，Recurrent neural network可以在時間維度上展開成深度網絡，可以有效處理音頻信息（語音識別和自然語言處理等），或者用來模擬動力系統。
順便提一下 強弩之末勢不能穿魯縞 ：“強弩之末，勢不能穿魯縞。”這句話出自《諸葛亮傳》。弩，是用機括髮射箭矢的弓；魯縞是產自山東的一種很薄的白細絹。此話是說，弩弓射出的箭，到了射程之末連細絹也穿不透。比喻強大的力量已經衰弱，起不了什麼作用。 學到了！