什麼是神經網絡
一個典型的神經元如下圖，從輸入到輸出。神經元一般採用Relu激活函數。
Relu：Rectified Linear Unit.線性整流函數。
一個大型的神經網絡就是由這樣簡單的神經元組成。
例如房價預測：
如上圖，房子大小，房間數，地區，財富都是影響房價的原因。我們可以將它們組成如下圖的神經網絡。
中間隱藏節點是否表徵“家庭大小”“距離”“學區好壞”等信息？我們不用管他們，讓神經網絡自行去學習就好。
用神經網絡進行監督學習
神經網絡能夠學習結構化數據（Structured Data）。
而且還能非常好的學習非結構化數據（Unstructured Data）。比如：圖片、音頻、文本上的自然語言信息。
why is Deep Learning taking off?爲啥神經網絡能流行起來？
數據規模驅動深度學習進步
如上圖：
- 傳統機器學習(svm，邏輯迴歸等)，在數據大規模增長後，性能提升有限。但在訓練數據較少的時候，機器學習的表現與深度學習差異不大。
- 深度學習，隨着神經網絡規模越來越大（更深的網絡，更多的神經元，更的參數），數據量越來越多，對應的性能也越來越好
Scale drivers deep learning progress
- data 數據規模越來越大
- computation 計算能力不斷提高。cpu的摩爾定律、gpu的運用
- Algorithms. 比如從sigmoid到Relu的改進等等。yu
運算速度越來越快，讓研究人員能快速嘗試不同的想法。idea->code->Experiment->idea….。讓模型、產品快速升級迭代。
About this Course
Neural Networks and Deep Learning
- week1:Introduction
- week2:Basics of Neural Network programming
- week3:One hidden layer Neural Networks
- week4:Deep Neural Networks
Heroes of Deep Learning
Geoffrey Hinton interview:
神經網絡的教父。
1）受限玻爾茲曼機得發明者。他認爲最令他深刻的發明。
2）反向傳播的提出者之一。1986年。
3）1993年，變分貝葉斯論文（逼近EM）。
%￥》#&……各種聽不懂