支持向量機與核函數

（1）支持向量機是通過引入特徵變換來將原空間的非線性問題轉化爲新空間中的線性問題。

（2）在前面的博文中，我們得到結論，支持向量機的決策規則爲：

                                                            

  ①如果我們對樣本特徵x進行非線性變換，記新特徵爲，則在新特徵空間裏構建的支持向量機的決策函數爲：

                                                               

  ②相應的優化問題轉化爲：

                                                         

  ③定義支持向量機的等式形式爲(爲支持向量)：

                                                                    

（3）核函數：

  仔細觀察（2）中的公式會發現，無論變換的具體形式如何，變換對支持向量機的影響僅僅是把兩個樣本在原特徵空間中的內積變成了在新空間中的內積。實際上，新空間中的內積也是原特徵的函數，可記作：

                                                                             

  我們稱其爲核函數。

（4）核函數構造支持向量機：

  ①支持向量機的決策問題：

                                                                             

  ②最優化問題：

                                                                 

  ③支持向量滿足：