1.視頻網站：mooc慕課https://mooc.study.163.com/university/deeplearning_ai#/c
2.詳細筆記網站(中文)：http://www.ai-start.com/dl2017/
3.github課件+作業+答案：https://github.com/stormstone/deeplearning.ai
第一週 深度學習的實用層面 Setting up your ML application
- 1.1 訓練/開發/測試集 Train/dev/test sets
- 1.2 偏差/方差 Bias/Variance
- 1.3 機器學習基礎 Basic “recipe” for machine learning
- 1.4 正則化 Regularization -正則方法1：L2正則化
- 1.5 爲什麼正則化可以減少過擬合？Why regularization reduces overfitting
- 1.6 Dropout 正則化 Dropout regularization--正則方法2
- 1.7 理解 Dropout Why does drop out work?
- 1.8 其他正則化方法 Other regularization methods
- 1.9 歸一化輸入 Normalizing inputs
- 1.10 梯度消失與梯度爆炸 Vanishing/exploding gradients
- 1.11 神經網絡的權重初始化 Weight Initialization for Deep NetworksVanishing / Exploding gradients
- 1.12 梯度的數值逼近 Numerical approximation of gradients
- 1.13 梯度檢驗 Gradient Checking
- 1.14 關於梯度檢驗實現的注意事項 Gradient Checking implementation notes
本週我們將介紹如何配置訓練集，驗證集和測試集，如何分析偏差和方差，如何處理高偏差或高方差以及高偏差和高方差並存的問題，如何在神經網絡中應用不同形式的正則化，如L2正則化和dropout，還有加快神經網絡訓練速度的技巧（歸一化輸入可以在任何位置都確保步長大/訓練快，初始化權重避免梯度消失導致步長小/學習過慢），最後是梯度檢驗（確保反向傳播正確）。
1.1 訓練/開發/測試集 Train/dev/test sets
2020-5-15 吳恩達-改善深層NN-w1 深度學習的實用層面(1.1 訓練/開發(驗證)/測試集)
1.2 偏差/方差 Bias/Variance
2020-5-18 吳恩達-改善深層NN-w1 深度學習的實用層面(1.2 偏差-欠擬合(訓練集)/方差-過擬合(驗證集))
1.3 機器學習基礎 Basic “recipe” for machine learning
2020-5-18 吳恩達-改善深層NN-w1 深度學習的實用層面(1.3 機器學習基礎-診斷/解決偏差(大網絡)和方差(大數據)問題)
1.4 正則化 Regularization -正則方法1：L2正則化
2020-5-19 吳恩達-改善深層NN-w1 深度學習的實用層面(1.4 正則化-L2正則化/弗羅貝尼烏斯範數/權重衰減)
1.5 爲什麼正則化可以減少過擬合？Why regularization reduces overfitting
2020-5-20 吳恩達-改善深層NN-w1 深度學習的實用層面(1.5 爲什麼正則化可以減少過擬合？（L2正則化舉例）)
1.6 Dropout 正則化 Dropout regularization–正則方法2
2020-5-21 吳恩達-改善深層NN-w1 深度學習的實用層面(1.6 Dropout 正則化-inverted dropout反向隨機失活)
1.7 理解 Dropout Why does drop out work?
2020-5-22 吳恩達-改善深層NN-w1 深度學習的實用層面(1.7 理解 Dropout–壓縮權重/分層設置keep-prob)
1.8 其他正則化方法 Other regularization methods
2020-5-22 吳恩達-改善深層NN-w1 深度學習的實用層面(1.8 其他正則化方法-數據擴增/early stopping–ML步驟介紹，與L2對比)
1.9 歸一化輸入 Normalizing inputs
2020-5-22 吳恩達-改善深層NN-w1 深度學習的實用層面(1.9 歸一化輸入(特徵)-加速訓練，優化J簡單-因爲任何位置都可以快速下降，步長大)
1.10 梯度消失與梯度爆炸 Vanishing/exploding gradients
2020-5-24 吳恩達-改善深層NN-w1 深度學習的實用層面(1.10 梯度消失與梯度爆炸–激活函數與L層相關的指數級遞減(步長小，學習時間長)或者增加。)
1.11 神經網絡的權重初始化 Weight Initialization for Deep NetworksVanishing / Exploding gradients
2020-5-24 吳恩達-改善深層NN-w1 深度學習的實用層面(1.11 神經網絡的權重初始化–減少梯度爆炸或過快消失-初始化權重矩陣的方差公式)
1.12 梯度的數值逼近 Numerical approximation of gradients
2020-5-25 吳恩達-改善深層NN-w1 深度學習的實用層面(1.12 梯度的數值逼近（使用雙邊誤差）–實現梯度檢驗需要)
1.13 梯度檢驗 Gradient Checking
2020-5-26 吳恩達-改善深層NN-w1 深度學習的實用層面(1.13 梯度檢驗(原理)-檢查導數和梯度的逼近值是否相差過大)