Kernel Method

Background

用線性分類方法求解非線性分類問題分爲兩步：

• 1.使用一個變換將原空間的數據映射到新空間。
• 2.在新空間裏用線性分類學習方法從訓練數據中學習分類模型。

核技巧就屬於這樣的方法

核技巧用於SVM，其基本想法就是通過一個非線性變換將輸入空間（歐式空間$R^n$或離散集合）對應於一個特徵空間（希爾伯特空間$H$），使得在輸入空間$R^n$中的超曲面模型對應於特徵空間H中的超平面模型（支持向量機）。 這樣，分類問題的學習任務通過在特徵空間中求解線性支持向量機就可以完成。

概覽

基本概念：

kernel的本質：在原空間中不好劃分，可以經過一個空間變換，即經過一個非線性的函數變換，（不一定是變換到高維空間），在變換後的空間中可能容易線性劃分。

核函數定義

設$\chi$是輸入空間（歐式空間$R^n$的子集或離散集合），又設 $H$爲特徵空間（希爾伯特空間），如果存在一個從$\chi$到$H$的映射
$\phi(x):\chi->H$
使得對所有的$x, z ∈\chi$ ，函數$\kappa(x, z)$滿足條件
$\kappa(x, z)=\phi(x)*\phi(z)$
則稱$\kappa(x, z)$爲核函數，$\phi(x)$爲映射函數。$\phi(x)*\phi(z)$爲其內積。

另一個比較重要的感念：kernel function
下圖最後的公式是求高緯度空間兩個點的內積，經轉換得到原低緯空間中兩點內積的函數。將這個函數定義爲kernel function。

好像只要操縱 kernel function，就能解決所有的問題。

並且知道了kernel function，好像就不需要知道feature mapping $\phi$

總結：

爲什麼要計算高維空間的內積：因爲內積決定了幾何性質。如最重要的性質是：距離和角度。
下面分析一下內積如何決定距離和角度。

距離的計算：

角度的計算：

也就是說：哪些函數可以看作kernel function，然後就可以進一步算出內積、距離和角度。

Kernel Matrix 內積矩陣 – 任意兩個點的內積。

計算 $y = sgn(<\phi(x)-c, w>)$ 的方法。

• 如果$\phi$函數已知。
  - 如果$\phi$函數未知，僅知道kernel function: $\kappa(x, y)$
  

---

Question:

Answer:

證明下面的函數是有限半正定的

常用的kernel function，都滿足有限半正定

練習

Dual Representation 雙重表徵