次梯度

次導數

設f在實數域上是一個凸函數，定義在數軸上的開區間內。這種函數不一定是處處可導的，例如絕對值函數f(x)=|x| 。對於下圖來說，對於定義域中的任何x0，我們總可以作出一條直線，它通過點(x0, f(x0))，並且要麼接觸f的圖像，要麼在它的下方。直線的斜率稱爲函數的次導數。次導數的集合稱爲函數f在x0處的次微分。

定義

對於所有x，我們可以證明在點x0 的次導數的集合是一個非空閉區間[a,b]，其中a和b是單測極限。

a=limx−>x−0f(x)−f(x0)x−x0

b=limx−>x+0f(x)−f(x0)x−x0

一定存在，且a<=b，在[a,b]內的所有次導數是f在x0的次微分。

例子

凸函數f(x)=|x| 。在原點的次微分是[-1,1]。當x0<0時，次微分是單元素集合{-1},而x0>0時，次微分單元素集合是{1}。

性質

當函數在x0處可導時，次微分只有一個點組成，這個點就是函數在x0處的導數。

次梯度法

次梯度方法(subgradient method)是傳統的梯度下降方法的拓展，用來處理不可導的凸函數。它的優勢是比傳統方法處理問題範圍大，劣勢是算法收斂速度慢。但它對不可導函數有很好的處理方法。
通過求函數在點的每一分量的次導數可以求出函數在該點的次梯度。