在方向矢量u 與梯度方向相反時方向導數取得最小值。梯度向量指向上坡,負梯度向量指向下坡,我們在負梯度方向上移動可以減少 f(x)。這被稱爲梯度下降法或者最速下降法。
啊呀,梯度就是多元函數的全導數,方向導數就是梯度投影到該方向上,梯度方向的方向導數當然是最大的(正數),梯度反方向的方向導數自然是最小的(負數)
但是對於梯度下降法x:=x -a * f'(x),a>0,豈不是在很小f'(x)時候前進很慢,不過這在峯值附近是需要的。我指的是某些平坦區域導數很小,且裏目標區域很遠,這可咋辦啊
在方向矢量u 與梯度方向相反時方向導數取得最小值。梯度向量指向上坡,負梯度向量指向下坡,我們在負梯度方向上移動可以減少 f(x)。這被稱爲梯度下降法或者最速下降法。
啊呀,梯度就是多元函數的全導數,方向導數就是梯度投影到該方向上,梯度方向的方向導數當然是最大的(正數),梯度反方向的方向導數自然是最小的(負數)
但是對於梯度下降法x:=x -a * f'(x),a>0,豈不是在很小f'(x)時候前進很慢,不過這在峯值附近是需要的。我指的是某些平坦區域導數很小,且裏目標區域很遠,這可咋辦啊