SVM
它有什麼優點？有什麼缺點？
爲什麼要有SVM？在什麼情況下我需要用svm？
考慮一個最簡單的線性分類器，在很多情況下，用線性是分不開的，如果我們有很多的feature，將其映射到高維空間，可以使其線性可分（實際上是核方法的思想）。在feature很多的情況下，如果我們還用傳統的方法，比如感知器，去訓練的話，因爲k維空間的VC維是k+1，當映射到高維空間，k增加的時候，這個VC維也在跟着增加，而我們知道VC維越高，泛化性能越差，所以用這種傳統的方法泛化能力差，不適用。我們需要找到一種新的方法使得VC維低。而這種新的方法是什麼呢？large margin。why？很多數學證明表示large margin有很低的VC維。所以我們要找一個使得margin最大的分類面。
VC維
--k維空間的VC維是k+1
--VC維越高，分類器越flexible，但泛化能力越差；VC維越低，泛化能力越好
--VC維只是理論上的一個概念，很多分類器的VC維實際中是很難準確計算的
--定性地，我們認爲一個分類器越flexible，VC維越高
margin
到任意數據點的最小距離，舉例圖如下（最簡單的兩類線性分類器），紅色的寬度就表示margin。
這種linear SVM簡稱爲LSVM
svm是什麼？
svm的目標就是找使得margin最大（紅色寬度最大）的那個分類面.那麼爲什麼叫svm呢？這就得說到支撐向量（support vector）了。支撐向量指的是那些與margin幾乎貼近的數據點。這個分界面僅取決於這幾個支撐向量，而與其他數據點無關。
1、svm所用的large margin，使得很小的錯誤分類
2、對於留一法交叉驗證來說，因爲svm少一個樣本並沒有太大的影響，所以svm比較穩定。
那麼如何衡量margin呢？
第一種方法：margin=點到直線的距離
w——法向量
wx——x到w的投影
min-max problem
除了margin最大，還需要滿足約束：所有樣本分類正確
將最小最大化min-max problem——game problem 博弈論
計算困難，將其轉化爲簡單的形式
數學證明：
分子變爲1，分母將k放到wi中
第二種方法：margin=兩條平行線之間的距離
歸根結底，就是想要w趨於0
暫停。。。