核函數
非線性問題
前面兩篇文章的內容都是在樣本線性可分的基礎上進行的。但是現實情況卻是，並不是所有的樣本集都是線性可分的。對於非線性可分的數據集，如果我們仍舊採用前兩篇文章的辦法來進行優化求解，顯然是不行的。例如：
此時我們就要尋找辦法將線性不可分的樣本空間轉變爲線性可分的樣本空間。即可將樣本從原始空間映射到一個更高維的特徵空間，使得樣本在這個特徵空間內線性可分。
幸運的是，如果原始空間是有限維，即屬性數有限，那麼一定存在一個高維特徵空間使樣本可分。將線性不可分（非線性）的樣本空間映射到高維空間，我們就可以利用高維特徵向量進行線性分類，即將非線性問題轉化爲線性問題。
核函數方法
由於對於線性不可分樣本空間，找到能使得樣本集線性可分的高維空間很困難，且通過映射到高維特徵空間，再進行內積運算，過程複雜，且不易計算，所以引入了核函數的概念：
即xi和xj在特徵空間的內積等於它們在原始樣本空間中通過函數k(xi,xj)計算的結果，於是上面的公式可以演化爲：
其中約束條件爲：
最終的決策函數模型爲：
如果有一種方式可以在特徵空間中直接計算內積，就像在原始輸入點的函數中一樣，就有可能將兩個步驟融合到一起建立一個非線性的學習器，這樣直接計算法的方法稱爲核函數方法。
通過核函數，我們就不必直接去計算高維甚至無窮維特徵空間中的內積了，在原始輸入空間進行計算，這大大了降低計算難度。
核函數存在條件
只要一個對稱函數所對應的核矩陣半正定，那麼它就可以作爲核函數使用。事實上，對於一個半正定核矩陣，總能找到一個與之對應的映射ϕ。換言之，任何一個核函數都隱式定義了一個稱爲“再生核希爾伯特空間”的特徵空間。（emmm不用聽懂這句話）
常見的核函數
核函數的選擇要求滿足Mercer定理（Mercer’s theorem），即核函數在樣本空間內的任意格拉姆矩陣（Gram matrix）爲半正定矩陣（semi-positive definite）。
常用的核函數有：線性核函數，多項式核函數，徑向基核函數，Sigmoid核函數和複合核函數，傅立葉級數核，B樣條核函數和張量積核函數等 。
下面列舉幾個尤其常用的核函數：
同樣，也可以通過函數組合得到核函數。
核函數解決非線性問題的實例
假設現在你是一個農場主，圈養了一批羊羣，但爲預防狼羣襲擊羊羣，你需要搭建一個籬笆來把羊羣圍起來。那麼籬笆應該建在哪裏呢？
你很可能需要依據牛羣和狼羣的位置建立一個“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個很完美的解決方案。
