SVM是一個二元分類算法，線性分類和非線性分類都支持，經過演化，也可以支持多元分類問題和迴歸問題。
1、感知機
感知機模型就是嘗試找到一條直線，能夠將二元數據隔開，在三維或者更高維中，感知機模型就是嘗試找到一個超平面，將所有的二元類別都隔離開。對於這個分離的超平面（直線），我們定義
SVM的核心思想是：盡最大努力是兩個類別有最大間隔，這樣才能使分隔具有更高的可信度，並且對於未知的新樣本也具很好的 分類預測能力，即泛化能力。
SVM的辦法是：讓離分割面最近的數據點離分割面有最大的距離。而離分隔面最近的點也叫作支持向量，即爲虛線穿過的樣本點。
優化思想：讓所有錯誤分類的點（定義爲M）到超平面的距離之和最小，即最小化以下公式：
支持向量中有一個概念叫做“分類間隔”，分類間隔的計算涉及到 點到直線的距離：
那麼對於所有的樣本點都要滿足下列條件：
只有當
（3）
上式表示，支持向量樣本點到決策面方程的距離就是1/||w||。我們本來的任務就是找到一組參數，w,
另外將公式（2）的約束條件變形，將類別標籤
則SVM的最優化問題的數學描述如下：
s.t表示服從於xx條件。
2、SVM求解
上面的優化問題是一個具有多個不等式約束條件的優化問題，其拉格朗日函數可以寫成：
這裏 ![\boldsymbol{\omega}=[\omega_1,\omega_2,\ldots,\omega_d]^T](https://pic1.xuehuaimg.com/proxy/csdn/https://www.zhihu.com/equation?tex=%5Cboldsymbol%7B%5Comega%7D%3D%5B%5Comega_1%2C%5Comega_2%2C%5Cldots%2C%5Comega_d%5D%5ET)
![\boldsymbol{\alpha} = [\alpha_1,\alpha_2,\ldots,\alpha_m]^T](https://pic1.xuehuaimg.com/proxy/csdn/https://www.zhihu.com/equation?tex=%5Cboldsymbol%7B%5Calpha%7D+%3D+%5B%5Calpha_1%2C%5Calpha_2%2C%5Cldots%2C%5Calpha_m%5D%5ET)
原始問題： ![\min_{\boldsymbol{\omega},\gamma}\left[ \max_{\boldsymbol{\alpha}:\alpha_j\geq0}L(\boldsymbol{\omega},\gamma,\boldsymbol{\alpha}) \right]](https://pic1.xuehuaimg.com/proxy/csdn/https://www.zhihu.com/equation?tex=%5Cmin_%7B%5Cboldsymbol%7B%5Comega%7D%2C%5Cgamma%7D%5Cleft%5B+%5Cmax_%7B%5Cboldsymbol%7B%5Calpha%7D%3A%5Calpha_j%5Cgeq0%7DL%28%5Cboldsymbol%7B%5Comega%7D%2C%5Cgamma%2C%5Cboldsymbol%7B%5Calpha%7D%29+%5Cright%5D+)
對偶問題：
![\max_{\boldsymbol{\alpha}:\alpha_j\geq0}\left[ \min_{\boldsymbol{\omega},\gamma}L(\boldsymbol{\omega},\gamma,\boldsymbol{\alpha}) \right]](https://pic1.xuehuaimg.com/proxy/csdn/https://www.zhihu.com/equation?tex=%5Cmax_%7B%5Cboldsymbol%7B%5Calpha%7D%3A%5Calpha_j%5Cgeq0%7D%5Cleft%5B+%5Cmin_%7B%5Cboldsymbol%7B%5Comega%7D%2C%5Cgamma%7DL%28%5Cboldsymbol%7B%5Comega%7D%2C%5Cgamma%2C%5Cboldsymbol%7B%5Calpha%7D%29+%5Cright%5D+)
後面沒看懂。。。。。。。大家可以看這個博客。。。。
https://blog.csdn.net/baidu_36557924/article/details/79517365