Udacity機器學習入門筆記5-迴歸

1.sklearn 廣義線性模型

以下是一組用於線性迴歸的方法，這些方法中，目標值是一組特徵的線性組合。在數學公式中，$\hat{y}$是預測值
$\hat{y}(w, x)=w_{0}+w_{1} x_{1}+\ldots+w_{p} x_{p}$
其中，向量$w=\left(w_{1}, \dots, w_{p}\right)$作爲coef_,$w_0$爲截距intercept_。

1.1 普通最小二乘

LinearRegression 用影響係數$w=\left(w_{1}, \dots, w_{p}\right)$擬合一個線性模型，該模型最小化數據集中觀察到的目標和通過線性近似預測的目標之間總和殘留的平方。數學上它解決形式：
$\min _{w}\|X w-y\|_{2}^{2}$

1.2 脊迴歸（ridge regression）

Ridge迴歸通過對係數的大小判罰解決了普通最小二乘法一些問題。脊係數最小化帶有懲罰的殘差的平方和：
$\min _{w}\|X w-y\|_{2}^{2}+\alpha\|w\|_{2}^{2}$
複雜性參數$\alpha \geq 0$ 控制收縮量：較大的值 $\alpha$ ，收縮的量越大，因此係數變得更穩健於共線性

2.Udacity test

from sklearn import linear_model
reg = linear_model.LinearRegression()
reg.fit(feature_train,target_train)
print reg.score(feature_train,target_train)
print reg.score(feature_test,target_test)

參考文獻

sklearn Generalized Linear Models https://scikit-learn.org/stable/modules/linear_model.html