目錄
什麼是神經網絡
以房屋價格爲例，輸入房屋尺寸，經過神經元，輸出價格。這是一個單神經元。
【神經元節點先計算線性函數（z = Wx + b），再計算激活。】
ReLU函數：修正線性單元，是一種人工神經網絡中常用的激活函數（activation function），修正指取不小於0的值
一個複雜的神經網絡：將如上的獨立簡單神經元疊加起來
神經網絡的一部分神奇之處在於，當你實現它之後，你要做的只是輸入，就能得到輸出。因爲它可以自己計算你訓練集中樣本的數目以及所有的中間過程。
上圖中，x1~x4是輸入層，第2層爲隱藏單元，在一個神經網絡中，它們每個都從輸入的四個特徵獲得自身輸入，輸入層和中間層被緊密的連接起來了。
用神經網絡進行監督學習
到目前幾乎所有由神經網絡創造的經濟價值，本質上都離不開一種叫做監督學習的機器學習方法。需要機智的選擇x和y，才能解決特定問題。
圖像領域中，經常應用的是卷積神經網絡CNN；對於序列數據，如音頻是一維時間序列，通常使用RNN，一種循環神經網絡；語言最自然的表示方式也是序列數據，可以用更復雜的RNNs。
下圖分別是標準神經網絡、CNN、RNN的結構。卷積網絡通常用於圖像；RNN非常適合這種一維序列，其中包含時間成分。
機器學習也應用於結構化數據和非結構化數據。
結構化數據：數據的數據庫，如放假預測中的房屋大小、臥室數目，每個特徵都有清晰的定義
非結構化數據：如音頻、圖像、文本，這裏的特徵就可能是圖像的像素值和文本中的單詞。從歷史經驗看，非結構化數據更難讓計算機理解。
神經網絡徹底改變了監督學習。多虧了深度學習和神經網絡，計算機現在能更好地解釋非結構化數據。
爲什麼深度學習會興起
數據規模巨大：需要訓練大規模NN才能提高性能
算法的改進：增加了計算速度，使代碼運行更快，可以更快訓練大規模神經網絡
例如激活函數：將Sigmod函數換成ReLU函數，梯度下降法運行得更快
