动手学深度学习之凸优化

凸优化理论是学习线性回归的时候就会用到的数学知识，利用凸优化的理论，可以求出最佳的参数值（解析解）使得损失函数最小，也可以证明梯度下降优化算法是有效地。

优化与DL

1. 优化与估计
   尽管优化方法可以最小化深度学习中的损失函数值，但本质上优化方法达到的目标与深度学习的目标并不相同。
   优化方法目标：训练集损失函数值
   深度学习目标：测试集损失函数值（泛化性）
2. 优化在DL中遇到的问题
   局部最小值
   
   鞍点
   
   梯度消失
   

凸优化

记住这样的结论就够了：

1. 凸函数有全局最小值，一阶导等于0的地方；
2. 凸函数与二阶导一直大于等于0为充分必要条件。

有些话说

一些问题：

1. DL常用的交叉熵损失函数是凸函数吗？