关于梯度下降的一些概念理解

偏导数的定义

前面已经说明，二元函数z=f(x，y)的图形一般是一张曲面，它在点(x0，y0)处对x的偏导数相当于一元函数z=f(x，y0)在点x0处的导数，在几何上，函数z=f(x，y0)的图形可看成在平面y=y0上的曲线，即曲面z=f(x，y)和平面y=y0的交线。因此，根据一元函数导数的几何意义可知，偏导数fx(x0，y0)表示曲线 在点M(x0，y0,(x0，y0))处的切线关于x轴的斜率

同样，偏导数fx(x0，y0)表示曲线在点M0(x0，y0,(x0，y0))处的切线关于y轴的斜率

*方向导数的定义

*梯度的定义

所以沿梯度方向，方向导数的值最大，即变化最快，所以在优化目标函数的时候，自然是沿着负梯度方向去减小函数值，以此达到我们的优化目标。

如何沿着负梯度方向减小函数值呢？既然梯度是偏导数的集合，那么我们在每个变量轴上减小对应变量值即可。
梯度下降法可以描述如下：