人智導（九）：迴歸方法的精化

原創

2020-07-06 22:01

人智導（九）：迴歸方法的精化

標準迴歸的不足

特徵（子集）選擇：從p個觀測變量中 $(X_1,X_2,\dots ,X_p)$ 選擇出與 $Y$ 較相關的子集，通過這個子集實現迴歸模型
最佳子集選擇算法：
- 對於 $k=1,2,\dots ,p$ ：
  - 構建出所有的 $C^k_p$ 個迴歸模型
  - 篩選出 $C^k_p$ 組合中均方誤差RSS最小的模型 $M_k$
- 從得到的 $M_1,M_2,\dots ,M_p$ 模型中通過交叉驗證再宣傳預測均方誤差最小的模型，所對應的即爲最佳子集。
特點：簡單而低效，需要從 $2^p$ 中搜索出一個最佳，不適合處理 $p$ 很大的情況
前向選擇迴歸算法：
- 對於 $k=0,1,2,\dots ,p-1$ ：
  - 構建所有的p-k個迴歸模型，通過逐次累加一個相應變量的方式
  - 在這p-k個模型中篩選出均方誤差RSS最小的模型 $M_{k+1}$
- 從得到的 $M_1,M_2,\dots ,M_p$ 模型中通過交叉驗證再選出預測均方誤差最小的模型，即爲目標子集
特點：僅需從 $\frac{p(p+1)}{2}$ 個模型空間中搜索出目標子集，但不能保證得到的子集是最佳的（模型RSS最小）

示例：

迴歸公式： $f(X) = \beta_0+\beta_1X_1+\beta_2X_2+\dots +\beta_pX_p$ 估算係數 $\beta_0,\beta_1,\dots ,\beta_p$ 通過最小化RSS： $RSS = \Sigma^n_{i=1}(y_i -\beta_0-\Sigma^p_{j=1}\beta_jX_{ij})^2$
正則化方法：
- 使用所有的 $p$ 個觀測變量，約束變量的係數 $\beta_0, \beta_1 ,\dots ,\beta_p$ 使RSS取值儘可能趨於零
- 迴歸係數的取值限定在一個小範圍內，將有效降低模型的方差

嶺迴歸方法：

類似於最小二乘法，但隙數的估算 $\hat{\beta}^R$ 通過最小化公式： $\Sigma^n_{i=1}(y_i-\beta_0-\Sigma^p_{j=1}\beta_jX_{ij})^2 ~+~\lambda\Sigma^p_{j=1}\beta^2_j = \\RSS~+~\lambda\Sigma^p_{j=1}\beta^2_j$
其中 $\lambda \ge 0$ 爲調試參數（超參數）：
- 當 $\lambda = 0$ ，約束不起作用，如同標準的線性迴歸
- 當 $\lambda \to \infty$ ，約束影響越大，係數 $\hat{\beta}^R$ 儘可能小

嶺迴歸係數的正則化（標準化）：

一般地，所有變量需被標準化： $\tilde{x}_{ij} = \frac{x_{ij}}{\sqrt{\frac{1}{n}\Sigma^n_{i=1}(x_{ij}-\bar{x}_j)^2}}$
嶺迴歸方法：是一種平衡“方差-偏差”技術
- 交叉驗證test MSE選擇最優的 $\lambda$
- $\lambda$ 的增加，導致方差降低而偏差上升
- 如下圖，綠線爲方差，黑線爲偏差，紅線爲嶺迴歸的test MSE

Lasso迴歸算法：

類似於最小二乘法，但係數的估算 $\hat{\beta}^L$ 通過最小化公式： $\Sigma^n_{i=1}(y_i-\beta_0-\Sigma^p_{j=1}\beta_jx_{ij})^2~+~\lambda\Sigma^p_{j=1}|\beta_j|\\=RSS~+~\lambda\Sigma^p_{j=1}|\beta_j|$
其中 $\lambda \ge 0$ 爲調試參數：
- 當 $\lambda = 0$ ，約束不起作用，如同標準的線性迴歸
- 當 $\lambda \to \infty$ ，約束影響越大，係數 $\hat{\beta}^L$ 將盡可能小

Lasso係數的正則化（標準化）：

發表評論

所有評論

還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.