機器學習（5）-- 支持向量機SVM（二）

2.支持向量機的數學原理

這裏推薦這兩篇文章
https://blog.csdn.net/qq_35992440/article/details/80987664
https://www.cnblogs.com/liaohuiqiang/p/7805954.html

兩篇博客對向量機的原理和拉格朗日乘子法的原理介紹的很清楚，搭配看效果更佳。

下面簡要介紹其思路：
如上篇文章介紹，支持向量機其最終目的即爲找到分割數據集的超平面，並且使其距離兩側點的距離最大，找到這樣一個超平面，SVM訓練就結束了。爲此，向量機對被找到的超平面做了如下數學歸納：

對於y標籤爲+1的向量，將其帶入平面方程計算結果應該大於+1,對於標籤爲-1的向量，其計算結果應該小於-1.這樣我們就得到了三個平面，
分別爲
$w^T* X + b = -1,0,1$
我們需要求中間的平面，兩側的平面則成爲約束條件，
$\begin{cases} W^Tx_i+b \geq +1& y_i= +1 \\ W^Tx_i+b \leq -1& y_i= -1\end{cases}$
經過幾何推導，可以得到SVM需要訓練的目標：
$\max\frac{2}{||W||} , s.t. {y_i}(W^Tx_i+b) \geq +1$
對其使用拉格朗日乘子法處理，可以得到其優化目標：

通過最小化目標，得到的結果即爲獲得的超平面