2020-5-15 吴恩达DL学习-改善深层NN-第一周 深度学习的实用层面

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

本周我们将介绍如何配置训练集，验证集和测试集，如何分析偏差和方差，如何处理高偏差或高方差以及高偏差和高方差并存的问题，如何在神经网络中应用不同形式的正则化，如L2正则化和dropout，还有加快神经网络训练速度的技巧（归一化输入可以在任何位置都确保步长大/训练快，初始化权重避免梯度消失导致步长小/学习过慢），最后是梯度检验（确保反向传播正确）。

1.1 训练/开发/测试集 Train/dev/test sets

2020-5-15 吴恩达-改善深层NN-w1 深度学习的实用层面(1.1 训练/开发(验证)/测试集)

1.2 偏差/方差 Bias/Variance

2020-5-18 吴恩达-改善深层NN-w1 深度学习的实用层面(1.2 偏差-欠拟合(训练集)/方差-过拟合(验证集))

1.3 机器学习基础 Basic “recipe” for machine learning

2020-5-18 吴恩达-改善深层NN-w1 深度学习的实用层面(1.3 机器学习基础-诊断/解决偏差(大网络)和方差(大数据)问题)

1.4 正则化 Regularization -正则方法1：L2正则化

2020-5-19 吴恩达-改善深层NN-w1 深度学习的实用层面(1.4 正则化-L2正则化/弗罗贝尼乌斯范数/权重衰减)

1.5 为什么正则化可以减少过拟合？Why regularization reduces overfitting

2020-5-20 吴恩达-改善深层NN-w1 深度学习的实用层面(1.5 为什么正则化可以减少过拟合？（L2正则化举例）)

1.6 Dropout 正则化 Dropout regularization–正则方法2

2020-5-21 吴恩达-改善深层NN-w1 深度学习的实用层面(1.6 Dropout 正则化-inverted dropout反向随机失活)

1.7 理解 Dropout Why does drop out work?

2020-5-22 吴恩达-改善深层NN-w1 深度学习的实用层面(1.7 理解 Dropout–压缩权重/分层设置keep-prob)

1.8 其他正则化方法 Other regularization methods

2020-5-22 吴恩达-改善深层NN-w1 深度学习的实用层面(1.8 其他正则化方法-数据扩增/early stopping–ML步骤介绍，与L2对比)

1.9 归一化输入 Normalizing inputs

2020-5-22 吴恩达-改善深层NN-w1 深度学习的实用层面(1.9 归一化输入(特征)-加速训练，优化J简单-因为任何位置都可以快速下降，步长大)

1.10 梯度消失与梯度爆炸 Vanishing/exploding gradients

2020-5-24 吴恩达-改善深层NN-w1 深度学习的实用层面(1.10 梯度消失与梯度爆炸–激活函数与L层相关的指数级递减(步长小，学习时间长)或者增加。)

1.11 神经网络的权重初始化 Weight Initialization for Deep NetworksVanishing / Exploding gradients

2020-5-24 吴恩达-改善深层NN-w1 深度学习的实用层面(1.11 神经网络的权重初始化–减少梯度爆炸或过快消失-初始化权重矩阵的方差公式)

1.12 梯度的数值逼近 Numerical approximation of gradients

2020-5-25 吴恩达-改善深层NN-w1 深度学习的实用层面(1.12 梯度的数值逼近（使用双边误差）–实现梯度检验需要)

1.13 梯度检验 Gradient Checking

2020-5-26 吴恩达-改善深层NN-w1 深度学习的实用层面(1.13 梯度检验(原理)-检查导数和梯度的逼近值是否相差过大)

1.14 关于梯度检验实现的注意事项 Gradient Checking implementation notes

2020-5-27 吴恩达-改善深层NN-w1 深度学习的实用层面(1.14 关于梯度检验实现的注意事项)