統計學習方法筆記（七）

統計學習方法筆記（七）：支持向量機

定義

• 處理二分類問題
  

學習目標

• 學習目標是在特徵空間中找到一個分離超平面，能將實例分到兩個不同的類（正類和負類）。分離超平面對應於方程Wx+b=0，它由法向量W和截距b決定。法向量指向的一側爲正類，另一側爲負類
  

• 線性可分支持向量機
  

函數間隔和幾何間隔

• 函數間隔
  

• 幾何間隔

• 支持向量機（SVM）的基本想法就是選取能正確劃分的超平面中，讓幾何間隔最大的唯一一個超平面，間隔最大化又稱爲硬間隔最大化

• 最大間隔分離超平面
  

• 支持向量和間隔邊界
  

線性支持向量機和軟間隔最大化

• 軟間隔引入可解決實際線性不可分的數據中的二分類問題
  

非線性支持向量機與核函數

• 對於不能用直線劃分的分類問題，就不能夠用線性支持向量機來解決這一類問題，就要引入核函數。

• 問題舉例
  

• 核函數應用的方法：
  

• 核函數定義
  

總結