【Abee】喫掉西瓜——西瓜書學習筆記（五）

原創

2020-06-06 12:31

支持向量機（Support Vector Machine，SVM）

【內容包含第六章】

支持向量迴歸（Support Vector Regrassion,SVR）

核方法

間隔與支持向量

分類學習的主要思想是在樣本空間中找到一個劃分超平面，將不同樣本分開。

超平面可以定義爲

$w^{T}x+b=0$

其中w是法向量，決定超平面的方向，b是位移項，決定超平面到原點的距離。

樣本空間中任意點到超平面（w，b）的距離爲（根據點到平面的距離公式，這裏是超平面，應該是廣義的）

$r=\frac{\left |w^{T}x+b \right |}{\left \| w \right \|}$

令

$\left\{\begin{matrix} w^{T}x+b\geq +1,y_{i}=+1 \\ w^{T}x+b\geq +1,y_{i}=-1 \end{matrix}\right.$

離超平面最近的幾個樣本點（可能不止正反兩個）使上式成立，被稱爲支持向量（support vector），異類支持向量的距離和爲

$r=\frac{2}{\left \| w \right \|}$

即 間隔（margin）

支持向量機即使間隔最大化

$\begin{matrix} min_{w,b}\frac{1}{2}\left \|w \right \|^{2}\\ s.t. y_{i}(w^{T}x+b)\geq 1 \end{matrix}$

對偶問題(引入拉格朗日乘子 $\alpha _{i}$ )

$\begin{matrix} max_{\alpha }\sum_{i=1}^{m}\alpha _{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y _{i}y _{j}x_{i}^{T}x_{j}\\ s.t. \sum_{i=1}^{m}\alpha _{i}y _{i}=0 , a_{i}\geq 0\end{matrix}$

解出 $\alpha _{i}$ 後即可得到模型的w，b

求解的方法主要是二次規劃算法，比如SMO（Sequential Minimal Optimization），每次更新兩個參數，把其他的變量固定，不斷迭代直至收斂（每次選取的兩個變量對應的樣本之間的間隔最大，可以儘快的收斂）

核函數

並非所有問題都是線性可分的，需要把樣本從原始空間映射至高維空間，則模型可以表示爲

$f(x)=w^{T}\phi (x)+b$

$\begin{matrix} min_{w,b}\frac{1}{2}\left \|w \right \|^{2}\\ s.t. y_{i}(w^{T}\phi (x)+b)\geq 1 \end{matrix}$

相應的對偶問題

$\begin{matrix} max_{\alpha }\sum_{i=1}^{m}\alpha _{i}-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha _{i}\alpha _{j}y _{i}y _{j}\phi(x_{i})^{T}\phi(x_{j})\\ s.t. \sum_{i=1}^{m}\alpha _{i}y _{i}=0 , a_{i}\geq 0\end{matrix}$

假設存在覈函數 $\kappa (x_{i},x_{j})$ (kernel function)

$\kappa (x_{i},x_{j})=\phi(x_{i})^{T}\phi(x_{j})$

此時模型爲

$f(x)=\sum_{i=1}^{m}\alpha _{i}y_{i}\kappa (x,x_{i})+b$

只要一個對稱函數所對應的核矩陣半正定，就能作爲核函數使用，，一個半正定核矩陣總是能找到一個與之對應的映射 $\phi$ ,隱式的定義了一個 再生核希爾伯特空間（Reproducing Kernel Hilbert Space，RKHS）

常用的核函數：線性核、多項式核、高斯核、拉普拉斯核、Sigmoid核

軟間隔（soft margin）

雖然可以通過升維來實現線性可分，不過仍然是很困難的，引入軟間隔的概念，即允許SVM在一些樣本上出錯

$min_{w,b }\frac {1}{2} \left \| w \right \|^{2} +C\sum_{i=1}^{m}\iota _{\frac {0}{1}}(y_{i}(w^{T}x_{i}+b)+1)$

$\iota _{\frac {0}{1}}(z)=\left\{\begin{matrix} 1,if z<0\\ 0,otherwise \end{matrix}\right.$

由於 $\iota _{\frac {0}{1}}$ 數學性質不好，常用的替代損失函數：

hinge損失： $\iota _{hinge}(z)=max(0,1-z)$

指數損失: $\iota _{exp}(z)=exp(-z)$

對率損失： $\iota _{log}(z)=log(1+exp(-z))$

引入鬆弛變量 $\xi _{i}\geq 0$ ,軟間隔支持向量機爲

$\begin{matrix} max_{w,b,\xi _{i} }\frac{1}{2}\left \| w \right \|^{2}+C\sum_{i=1}^{m}\xi _{i} \\ s.t. y_{i}(w^{T}x^{i}+b)\geq 1-\xi _{i}\\ \xi _{i}\geq 0,i=1,2,3,\cdots ,m\end{matrix}$

正則化(regularization)

$min_{f}\Omega (f)+C\sum_{i=1}^{m}l(f(x_{i},y_{i}))$

其中 $\Omega (f)$ 是正則化項，也稱爲 結構風險（structural risk），C爲正則化常數， $L_{p}$ 爲常用的正則化項， $L_{2}$ 範數 $\left \| w \right \|_{2}$ 傾向於w的分量取值均衡， $L_{0},L_{1}$ 範數則傾向於w分量儘量稀疏。

支持向量迴歸（Support Vector Regrassion,SVR）

SVR的損失計算允許f(x)和y之間有最小 $\epsilon$ 的偏差，若樣本落入2 $\epsilon$ 的間隔帶中，被認爲是正確預測，不計損失。

$\begin{matrix} min_{f}\Omega (f)+C\sum_{i=1}^{m}(\xi _{i}+\hat \xi _{i})\\ s.t. f(x_{i})-y_{i}\leq \epsilon +\xi _{i} \\ y_{i}-f(x_{i})\leq \epsilon +\hat \xi _{i} \\ \xi _{i}\geq 0,\hat \xi _{i}\geq 0,i=1,2,\cdots ,m \end{matrix}$

此時SVR的解爲

$f(x_{i})=\sum_{i=1}^{m}(\hat \alpha _{i}-\alpha _{i})\kappa (x,x_{i})+b$

核方法

當正則化項爲單調遞增時，優化問題的解總可以寫成核函數 $\kappa (x,x_{i})$ 的線性組合。

比如可以通過引入核函數吧線性判別器擴展爲非線性判別器，比如 核線性判別分析（Kernelized Linear Discriminant Analysis，KLDA）

假設存在映射

$h(x)=w^{T}\phi (x)$

核函數

$\kappa (x,x_{i})=\phi (x)^{T}\phi (x)$

$w=\sum_{i=1}^{m}\alpha _{i}\phi (x_{i})$

學習目標爲

$min_{\alpha}J(\alpha)=\frac{\alpha^{T}M\alpha}{\alpha^{T}N\alpha}$

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.

【Abee】喫掉西瓜——西瓜書學習筆記（五）

支持向量機（Support Vector Machine，SVM）

間隔與支持向量

核函數

軟間隔（soft margin）

正則化(regularization)

支持向量迴歸（Support Vector Regrassion,SVR）

核方法

【Python】字典理解

【Python/Matlab】數據運算差異二三事

【Ubuntu】各種軟件教程存檔（MySQL、搜狗輸入法、MATLAB）

【Ubuntu】如何酷炫的在Linux系統下使用多屏幕

【Numpy】Numpy學習筆記(一)

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結