深度學習之基礎篇：凸學習問題

簡介

深度學習中，凸優化的重要性不言而喻。爲了更好的理解凸優化，這裏對凸學習問題、凸性及相關性質做一個簡單總結：

這裏我們依次來了解其中各個性質。

基本概念

1. 凸集

定義：設C是向量空間中的一個集合，若對C中任意兩點u和v，連接他們的線段仍在C中，那麼集合C是一個凸集。
也即，對任一實數α∈[0, 1]，都有

αu+(1-α)v∈C

圖片引用自我愛機器學習

根據定義，圖1中左圖爲凸集，右圖爲非凸集。

2. 凸函數

定義：設C是一個凸集，如果對任意的u，v∈C及α∈[0, 1]，函數f:C→R滿足

f(αu + (1-α)v) ≤ αf(u) + (1-α)f(v)

則稱f爲C上的凸函數。
性質1: 凸函數的每一個局部極小值也是全局極小值。
性質2: 對於凸可微函數，有：

∀u, f(u) ≥ f(w) + <▽f(w), u-w>

性質一，通過任意小的α構造u和u+α(v-u)數據同一局部域中，再結合凸函數定義即可證明。
性質二，通過偏導的定義，令α→0，再結合凸函數定義即可證明。
證明過程就不再贅述。

引理：設f:R→R是一個二階可微的標量函數，則下列命題等價：

• f是凸的。
• f的一階導是單調不減的。
• f的二階導是非負的。

3. 利普希茨性

定義：設C∈R^d, f:R^d→R^k,如果對於任意的w₁，w₂∈C， 有

||f(w₁) - f(w₂)|| ≤ ρ|| w₁-w₂ ||

那麼， f是ρ-利普希茨的。
直觀的講，利普希茨函數變化不會太快。
對於可微函數，由中值定理可知

f(w₁) - f(w₂) = f’(u)(w₁-w₂)

其中u位於w₁，w₂之間，若f的導數絕對值處處以 ρ爲界，則函數f是 ρ-利普希茨的。

4. 光滑性

定義：如果可微函數f:R^d→R的梯度是ρ-利普希茨的，即對於所有的v，w滿足||▽f(v) - ▽f(w)|| ≤ ρ|| v-w ||，那麼f是ρ-光滑。
如果一個函數既凸又光滑時，我們可以同時得到函數與其一階近似差值的上下界，這種函數也稱爲自有界函數。

凸學習問題

定義：如果假設類H是凸集，且對於任意的z∈樣本集Z，損失函數L是凸函數，那麼學習問題（H，Z，L）是凸的。

1. 凸學習問題的可學習性

不是R^d上所有的凸學習問題都是可學習的，還需添加一些額外的約束條件使其可學習，比如可以假設損失函數具有利普希茨性或光滑性。

2. 凸利普希茨有界學習

如果假設類H是一個凸集，且對於所有的w∈H都成立||w|| ≤ B; 對於所有的z∈Z， 損失函數是凸的且是ρ-利普希茨，則稱學習問題（H，Z，L）是凸利普希茨有界的。

3.凸光滑有界學習

如果假設類H是一個凸集，且對於所有的w∈H都成立||w|| ≤ B; 對於所有的z∈Z， 損失函數是凸的，非負的且是ρ-光滑，則稱學習問題（H，Z，L）是凸光滑有界的。