點擊上方“AI有道”，選擇“星標”公衆號
重磅乾貨，第一時間送達
神經網絡
自2012年CNN的imagenet 上的突破，以神經網絡網絡爲基礎的深度學習開始風靡學界和工業界。我們來看一張圖片，關於google 內部深度學習項目的數量。而且應用領域極廣，從Android 到 藥品發現，到youtube。
我們從一起回顧下神經網絡的額前世今生：
• 1958: Perceptron (linear model)
• 1969: Perceptron has limitation
• 1980s: Multi-layer perceptron
• Do not have significant difference from DNN today
• 1986: Backpropagation
• Usually more than 3 hidden layers is not helpful
• 1989: 1 hidden layer is “good enough”, why deep?
• 2006: RBM initialization (breakthrough)
• 2009: GPU
• 2011: Start to be popular in speech recognition
• 2012: win ILSVRC image competition
深度學習是機器學習的一個分支，目前講是最重要的一個分支。 怎麼學好深度學些呢？
其實還是關鍵的三步：
1. 選擇神經網絡
2. 定義神經網絡的好壞
3. 選擇最好的參數集合
以下是神經網絡的示意圖：
所有的 θ 和 b 都在神經元內
1. 全連接網絡（Fully Connection）
2. 深度網絡 DEEP
深度 = 很多層
那麼有人就會問：
* 到底多少層深度合適？每層多個神經元？
答：這個看經驗和實驗的結果，不斷調整。
* 結構能被自動設定嗎？
答：可以通過進化網絡實現。
* 我們能自己設計網絡結構嗎？
答： CNN 就是設計出來的網絡結構。
3. 定義神經網絡的好壞Loss
我們以minist 數字識別爲例，一組數字識別爲例
4. 選擇最好的神經網絡（找到參數集）
核心方法：
* Gradient Descent
* BackPropagation
深度學習基本知識點了解到了，但是爲什麼越Deep，效果會越好？ 以前都是做類比思考，比如電路模型，但是近期的lpaper上在理論上有嚴格的證明，我們後續博客會介紹
本專欄圖片、公式很多來自臺灣大學李弘毅老師、斯坦福大學cs229、cs231n 、斯坦福大學cs224n課程。在這裏，感謝這些經典課程，向他們致敬！
作者簡介：武強 蘭州大學博士，谷歌全球開發專家Google Develop Expert（GDE Machine Learing 方向）
CSDN：https://me.csdn.net/dukuku5038
知乎：https://www.zhihu.com/people/Dr.Wu/activities
漫畫人工智能公衆號：DayuAI-Founder
推薦閱讀
（點擊標題可跳轉閱讀）
重磅！
林軒田機器學習完整視頻和博主筆記來啦！
掃描下方二維碼，添加 AI有道小助手微信，可申請入羣，並獲得林軒田機器學習完整視頻 + 博主紅色石頭的精煉筆記（一定要備註：入羣 + 地點 + 學校/公司。例如：入羣+上海+復旦。
長按掃碼，申請入羣
（添加人數較多，請耐心等待）
最新 AI 乾貨，我在看
