简单介绍梯度下降

来源：哔哩哔哩UP主莫烦Python的神经网络 : 梯度下降 (Gradient Descent in Neural Nets)

为了方便观看，取一个容易看懂的代价函数

蓝色点的斜率，就是该点的梯度。

根据梯度与学习率，执行梯度下降操作

如果遇到非凸函数，就会有很多局部最优解，很难一次性找到全局最优解

在优化函数是非凸函数的情况下，就需要确定优化函数的上界函数（需要是凸函数），然后对这个上界函数进行优化，这样就可以找到非凸函数的全局最优解。