第2章 感知機 - 對偶形式

感知機 - 對偶形式

對偶形式的基本思想：
將w和b表示爲樣本（書中術語爲實例）$x_i$$和標記$$y_i$的線性組合形式，通過求解其係數而求得w和b

但變形之後的感知機就從參數學習算法變成了非參數學習算法。因爲它的算法模型中還要用到訓練數據集X和y

模型

$f(x) = sign(\sum_{j=1}^m a_jy_jx_j \cdot x + b) \\ sign(x) = \begin{cases} +1, && x \ge 0 \\ -1, && x \lt 0 \end{cases}$
其中，m爲樣本數，n爲樣本的特徵數

策略

感知機的損失函數是一個經驗風險函數：
$L(w, b) = - \sum_{x_i \in M}y_i (\sum_{j=1}^m a_jy_jx_j \cdot x_i + b)$
其中M是誤分類點的集合

感知機的學習策略是從假設空間中選取使損失函數最小的模型參數a, b

算法

學習模型的具體方法
感知機對偶形式使用隨機梯度下降法
$\begin{cases} a_{new} = a_{old} + \eta \\ b_{new} = b_{old} + \eta y_i \end{cases} \tag {4}$