在方向矢量u 与梯度方向相反时方向导数取得最小值。梯度向量指向上坡,负梯度向量指向下坡,我们在负梯度方向上移动可以减少 f(x)。这被称为梯度下降法或者最速下降法。
啊呀,梯度就是多元函数的全导数,方向导数就是梯度投影到该方向上,梯度方向的方向导数当然是最大的(正数),梯度反方向的方向导数自然是最小的(负数)
但是对于梯度下降法x:=x -a * f'(x),a>0,岂不是在很小f'(x)时候前进很慢,不过这在峰值附近是需要的。我指的是某些平坦区域导数很小,且里目标区域很远,这可咋办啊
在方向矢量u 与梯度方向相反时方向导数取得最小值。梯度向量指向上坡,负梯度向量指向下坡,我们在负梯度方向上移动可以减少 f(x)。这被称为梯度下降法或者最速下降法。
啊呀,梯度就是多元函数的全导数,方向导数就是梯度投影到该方向上,梯度方向的方向导数当然是最大的(正数),梯度反方向的方向导数自然是最小的(负数)
但是对于梯度下降法x:=x -a * f'(x),a>0,岂不是在很小f'(x)时候前进很慢,不过这在峰值附近是需要的。我指的是某些平坦区域导数很小,且里目标区域很远,这可咋办啊