線性模型

線性迴歸

模型：

$f\left(x\right)=\omega x+b$

損失函數：

$loss=\sum_{i=1}^N\left(y-f\left(x\right)\right)^2$

訓練方法

1.最小二乘法

對$\omega$函數求導
$\frac{\partial loss}{\partial w}=\sum_{i=1}^N2\omega x_i^2+2bx_i-2y_ix_i$
對$b$求導
$\frac{\partial loss}{\partial b}=\sum_{i=1}^N2wx_i+2b-2y_i$

令$w$和$b$的導數都爲零，即可求得$w$和$b$

2.梯度下降法

1.給所有參數隨機設定初始值
2.對每個參數求導求導（同最小二乘法求導）
3.迭代（$\theta$代表$w$和$b$）
$\theta=\theta-\eta\frac{\partial loss}{\partial\theta}$
$\eta$爲學習率（0-1）。
缺點：迭代時需要所有計算所有樣本然後更新參數。（loss 爲凸函數，一定能找到最小值，否則不一定能找到最小值，跟起始點選擇有關）
改進:隨機梯度下降，每次只帶入一部分樣本進行迭代（不保證找到全局最小）。

線性分類

模型：

$f\left(x\right)=sign(\omega x+b)$
$sign(x)=\left\{\begin{array}{l}+1,x\geq0\\-1,x\leq0\end{array}\right.$

損失函數：

$loss=\sum_{i=1}^My_i\left(\omega x_i+b\right)$
M 爲誤分類點的集合。
$y_i\left(\omega x_i+b\right)>0$的點就誤分類的點

訓練方法(梯度下降)

1.給所有參數隨機設定初始值
2.對每個參數求導求導（同最小二乘法求導）
$\frac{\partial loss}{\partial\omega}=\sum_{i=1}^My_ix_i$
$\frac{\partial loss}{\partial b}=\sum_{i=1}^My_i$
3.迭代（$\theta$代表$w$和$b$）
$\theta=\theta-\eta\frac{\partial loss}{\partial\theta}$
$\eta$爲學習率（0-1）。