一文看懂線性迴歸和非線性迴歸

一文看懂線性迴歸和非線性迴歸

            1. 非線性迴歸
            2. 線性迴歸
            3. 總結

1. 非線性迴歸

我們首先來看維基百科中對於非線性迴歸的定義：

In statistics, nonlinear regression is a form of regression analysis in which observational data are modeled by a function which is a nonlinear combination of the model parameters and depends on one or more independent variables.

這段話的意思是：非線性迴歸是採用一個函數模型對觀測數據進行建模，並且該函數是由模型參數的非線性組合構成的，並且可以通過觀測數據（自變量和因變量）對模型參數進行估計。

這裏需要注意的是：非線性估計中的非線性指的是模型函數是由模型參數的非線性組合構成，而並不是描述函數和自變量之間的關係。

舉個例子，我們採用如下的模型：

y ∼ f ( x , β ) \mathbf{y} \sim f(\mathbf{x},\mathbf{\beta}) y∼f(x,β)
其中， x = { x 1 , x 2 , ⋯   , x n } \mathbf{x}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​} 爲自變量向量， y = { y 1 , y 2 , ⋯   , y n } \mathbf{y}=\{y_1,y_2,\cdots,y_n\} y={y1​,y2​,⋯,yn​}爲觀測因變量向量， β = { β 1 , β 2 , ⋯   , β n } \mathbf{\beta}=\{\beta_1,\beta_2,\cdots,\beta_n\} β={β1​,β2​,⋯,βn​}爲模型參數向量。

假設某個模型由一個自變量，和兩個參數構成，即：
f ( x , β ) = β 1 x β 2 + x f(\mathbf{x},\mathbf{\beta})=\frac{\beta_1x}{\beta_2+x} f(x,β)=β2​+xβ1​x​
顯然，函數模型 f f f無法表示成模型參數 β 1 \beta_1 β1​和 β 2 \beta_2 β2​的線性組合，因此，這個函數是非線性的。
2. 線性迴歸

如果我們考慮如下的模型：
f ( x , β ) = β 0 + β 1 x 1 + β 2 x 2 2 + ⋯ + β n x n 2 f(\mathbf{x},\mathbf{\beta})=\beta_0+\beta_1x_1+\beta_2x_2^2+\cdots+\beta_nx_n^2 f(x,β)=β0​+β1​x1​+β2​x22​+⋯+βn​xn2​
這看似是一個非線性函數，但是實際上，函數 f f f對於模型參數 { β 0 , β 1 , ⋯   , β n } \{\beta_0,\beta_1,\cdots,\beta_n\} {β0​,β1​,⋯,βn​}而言是線性的，即是由 { β 0 , β 1 , ⋯   , β n } \{\beta_0,\beta_1,\cdots,\beta_n\} {β0​,β1​,⋯,βn​}的線性組合構成的，係數分別爲 1 , x 1 , x 2 , ⋯   , x n 1,x_1,x_2,\cdots,x_n 1,x1​,x2​,⋯,xn​。因此，這個函數是線性的。
3. 總結

線性還是非線性是要根據分析的目標來決定的，在線性迴歸和非線性迴歸中，我們需要求解的是模型參數，因而，線性與非線性描述的是函數模型與模型參數之間的關係，而非因變量與自變量之間的關係。

常見的線性迴歸：

1. 簡單線性迴歸
2. 嶺迴歸
3. Lasso迴歸
4. 彈性網絡迴歸
5. 貝葉斯嶺迴歸
6. 最小回歸角迴歸
7. 偏最小二乘法迴歸
8. 分位數迴歸

非線性迴歸：

SVR

決策樹迴歸

knn迴歸（根據其最近鄰居標籤的平均值計算的）

RandomForest迴歸 隨機森林

XGBoost迴歸

神經網絡MLP迴歸

LightGBM迴歸

GBDT迴歸

參考：https://blog.csdn.net/u013421629/article/details/103752407

 

 

 

 

原文鏈接：https://blog.csdn.net/Mr_Sudo/article/details/124790852