來捋一捋SVM吧

硬間隔

優化目標

能將所有樣本點正確分類的幾何間距最大的超平面。

$\mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac{b}{||w||})\geq\gamma ,\forall i$

$\quad \quad \quad \downarrow \gamma= \frac{ \hat{\gamma}}{||w||}$ 函數間隔代替幾何間隔

$\mathop{argmax}\limits_{w,b} \frac{ \hat{\gamma}}{||w||} \quad s.t.\quad y_i(w^Tx_i+b)\geq \hat{\gamma},\forall i$

$\quad \quad \quad \downarrow \hat{\gamma}$ 歸一化爲1

$\mathop{argmax}\limits_{w,b} \frac{1}{||w||} \quad s.t.\quad y_i(w^Tx_i+b)\geq 1,\forall i$

$\quad \quad \quad \downarrow$ 轉化爲凸優化問題

$\mathop{argmin}\limits_{w,b} \frac{1}{2} ||w||^2 \quad s.t.\quad 1-y_i(w^Tx_i+b)\leq 0,\forall i$

KKT 條件

SVM優化目標的拉格朗日函數：

KKT條件給出了一組向量 $w^*,b^*,\lambda^*$ 是原問題最優解的必要條件(上述原問題是凸優化問題，所以是充要條件)：

• $\nabla_{}L|_{w=w^*,b=b^*}=0$
• $1-y_i(w^Tx_i+b)\leq 0,\forall i$
• $\lambda_i^*\geq0 ,\forall i$
• $\lambda_i^*(1-y_i(w^{*T}x_i+b^*))=0,\forall i$

但是這個優化問題仍然不好解

對偶問題

強對偶條件

凸優化問題+Slater條件

對應：SVM中數據線性可分

構造對偶問題

將原優化問題與約束條件寫成一個大的優化函數

將原優化問題轉化爲minmax問題

根據強對偶性質轉化爲maxmin問題

對偶問題求解

先求內層的min,對w,b求導=0，得到：

代入原函數，優化目標變爲：

使用SMO求解

凸優化問題

• 滿足爲凸優化問題？
  一般地，如果一個同時擁有等式約束和不等式約束的最值問題
  
  滿足條件:1. $f(x)$ 是凸函數 2. $g_i(x)$ 都是凸函數 3. $h_i(x)$都是仿射函數，即形如 形式的函數.那麼稱這是一個凸優化問題.

• 凸優化問題有優點：
  局部最優解一定是全局最優解.
  方法較多，容易求解.
  使得KKT條件成爲充要條件.
  再加上一個條件可以推出強對偶性.

參考鏈接：主脈絡