神經網絡——模型學習
Cost Function:從邏輯迴歸推廣過來
計算最小值，無論用什麼方法，都需要計算代價和偏導。
網絡結構的前向傳播和可向量化的特點：
BP算法：
總結：計算代價函數及偏導
進一步理解FPBP：
梯度檢驗:避免BP發生的小錯誤
確保自己的確在計算代價函數的偏導數,對於向量形式,可以這麼檢驗:
檢驗無誤後要記得關掉檢驗功能,否則速度會慢.記得!!
數值方法計算梯度比BP算法慢.
隨機初始化權值:
都初始化爲0的後果:
這樣相當於每個神經元學習的東西都相同,相當於只在計算一個特徵,這是完全多餘的做法.所以要打破對稱性.
隨機初始化爲一個區間內的接近0的小數.
總結:
1、選擇網絡結構:
通常隱藏層一般越多越好,但計算量會大,一般默認一層隱藏層是比較合理的結構,隱藏層的數目稍微大於輸入層數目是可以接受的.
2、訓練網絡
給了個無人駕駛的例子