（LXTML筆記）關於支持向量機[二]

下面討論的是對偶支持向量機，先看引入

由上一節我們知道，樸素支持向量機可以通過二次規劃來直接解決，但是我們假設x$x$ 本身是一個d$d$ 維的向量，然後由於可能有複雜邊界，所以我們常常要講x$x$ 轉換到Z$Z$ 空間上，通過zn=ϕ(xn)$z_n=\varphi (x_n)$ 來實現，在實際中這裏的ϕ$\varphi$ 往往是升維度的，因爲一般是不可線性可分，然後（比如）高維的時候就變成線性可分了，不妨比如如

ϕ(x)=(x21,x1x2,x1x3....xdx1,xdx2,...x2d),$$\varphi (x)=(x_1^2,x_1{x}_2,x_1{x}_3....x_d{x}_1,x_d{x}_2,...x_d^2),$$

這樣的話複雜度（如內積）完全取決於ϕ$\varphi$ 的形式，這裏變成了至少O(d2)$O(d^2)$ ，這給二次規劃帶來了巨大的壓力，那麼此時我們引入SVM的對偶問題

將SVM的複雜度變爲和數據的數量相聯繫

和正則化那一節類似地，我們可以考慮如下拉格朗日函數，企圖將約束條件去掉，塞進最優化部分。

最優化問題變爲了

minb,w(maxan≥0{L(b,w,a)}),$$mi{n}_{b,w}\left(ma{x}_{a_n\ge 0}\{L(b,w,a)\}\right),$$

這個操作也是迫使向的，假設有一個(b,w)$(b,w)$ 不滿足限制條件，那麼就是說yn(wTzn+b)<1$y_n(w^T{z}_n+b)<1$ ，所以容易知道(maxan≥0{L(b,w,a)})→+∞$\left(ma{x}_{a_n\ge 0}\{L(b,w,a)\}\right)\to +\mathrm{\infty }$ ，而假設全部的(b,w)$(b,w)$ 都滿足限制條件的話，那麼容易知道(maxan≥0{L(b,w,a)})=wTw$\left(ma{x}_{a_n\ge 0}\{L(b,w,a)\}\right)=w^{T}w$ ，這和我們原來的最優化目標是一樣的。

至此，我們去掉了限制條件，下面引入對偶問題，我們知道對於

minb,w(maxan≥0{L(b,w,a)}),$$mi{n}_{b,w}\left(ma{x}_{a_n\ge 0}\{L(b,w,a)\}\right),$$

固定a$a$ 的話，我們輕鬆得到：

由於對任何固定a$a$ 都成立，那麼我們對右邊的a$a$ 取最大仍是成立的，我們得到了min⋅max≥max⋅min$min\cdot max\ge max\cdot min$ 的結論，如下圖

如果上面的這個大於等於號是等號就好了，而最優化裏有這樣的一個結論：

對於二次規劃問題，如果

• 凸函數
• 可分的
• 限制條件是線性的

那麼稱上述對偶問題爲強對偶問題，存在一組(b,w,a)$(b,w,a)$ 使得兩邊都成立，即等號成立，即解左右兩邊都是一樣的。下面我們來看右邊的對偶問題能帶來什麼便利，

整理一下，現在問題變爲

考慮取到最小值時候的費馬點條件，對w$w$ 和b$b$ 進行求導，然後將這些必要條件放在限制條件上有

這樣下來，我們可以看到我們已經去掉了”min$min$ ”了，此時最優化目標僅僅與a$a$ 有關，總結一下既有

上述中的4點展示的是KKT條件（不過略強，實際上可以稍微放鬆一點條件），第四點是上文中關於

minb,w(maxan≥0{L(b,w,a)}),$$mi{n}_{b,w}\left(ma{x}_{a_n\ge 0}\{L(b,w,a)\}\right),$$

的描述所保證的。

依舊採用二次規劃的問題的方法即可

要還原回原來的(w,b)$(w,b)$ 的話，在求得所有的an$a_n$ 後，由我們最優條件的w=∑anynzn)$w=\sum a_n{y}_n{z}_n)$ 可以獲得w$w$ ，而由於有an(1−yn(wTzn+b))=0$a_n(1-y_n(w^T{z}_n+b))=0$ ，所以我們只需要找到一個非零的an$a_n$ 就可以得到我們要的b$b$ ,特別地我們可以觀察到，實際上，整個問題只和非零的an$a_n$ 有關係，之前上文中將在“胖邊界”上的點成爲“支持向量”，而此時我們可以更進一步地加強，稱這些對應an≠0$a_n\ne 0$ 的點稱爲“支持向量”

再次將樸素SVM和對偶SVM放在一起對比 有：

這裏表面上在計算對偶SVM時候，隱藏了xn$x_n$ 的維度d$d$ ，但是實際上，這部分的計算蘊含在矩陣Q$Q$ 中，計算這個Q$Q$ 並不容易，下一節，將講到如何應用“核函數”技巧來化簡計算量，讓SVM能落實到應用中。