1. 核方法
Kernel的基本思想是，將低維空間不可分數據映射到高緯度的空間，比如說左圖的數據是線性不可分的，
將數據映射到三維空間，就可以得到線性的分類面
總結：在低維空間線性不可分，映射到高緯空間，線性可分的概率會增大，比如說，數據在一維空間線性可分的難度比二維空間線性可分的難度大，二維空間線性可分的難度比在三維空間線性可分的難度大,以此類推。
2. 核函數
2維空間映射到3維空間的結果是：
在映射後的空間的內積爲：
3. 核函數在非線性迴歸中的應用
有訓練樣本xi，其標定yi, i=1,2…N，欲求解一個迴歸函數f(z)，希望f(xi)=yi，
線性迴歸：使用線性函數來預測，即
求解方法有許多種，以脊迴歸(Ridge Regression)爲例，最小化下列函數即可： 
這個最小化問題有閉式解：
其中，X的第i行爲xi，列向量y的第i元素爲yi
非線性迴歸：
使用非線性函數來預測，即f(z)是關於z的非線性函數，非線性函數能夠處理線性函數搞不定的分類問題，非線性函數的估計較難，爲了提高效率，引入了核方法。
對z進行一個非線性變換ψ，f(z)是變換結果的線性函數：
w 由訓練樣本的非線性變換ψ(xi)的線性組合構成：
兩者結合，得到完整形式：
記κ(xi,xj)=ψ(xi)ψ(xj)，稱爲核函數:
進一步推導：
