目錄：
一、介紹
直線迴歸研究的是一個因變量與一個自變量之間的迴歸問題。
多項式迴歸（Polynomial Regression）研究的是一個因變量與一個或多個自變量間多項式的迴歸分析方法。
多項式迴歸模型是線性迴歸模型的一種。
多項式迴歸問題可以通過變量轉換化爲多元線性迴歸問題來解決。
二、多項式迴歸
# 導包
import numpy as np
import matplotlib.pyplot as plt
# [-3,3)之間隨機100個數
x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)
# np.random.normal(0, 1, size=100) 均值爲0，方差爲1的100個數
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)
# 繪製散點圖
plt.scatter(x, y)
plt.show()
輸出結果：
使用線性迴歸，效果會如何？
# 線性迴歸
from sklearn.linear_model import LinearRegression
# 訓練數據
lin_reg = LinearRegression()
lin_reg.fit(X, y)
# 預測
y_predict = lin_reg.predict(X)
# 繪製散點圖
plt.scatter(x, y)
plt.plot(x, y_predict, color='r')
plt.show()
輸出結果：
明顯，採用擬合的效果並不好。那麼如何解決？
解決方案：添加一個特徵。
(X**2).shape # 顯示：(100, 1)
X2 = np.hstack([X, X**2])
X2.shape # 顯示：(100, 2)
# 訓練並預測
lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)
# 繪製散點圖
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')
plt.show()
輸出結果：
這樣顯然要比直線擬合的效果好了不少。
# 顯示係數
print(lin_reg2.coef_)
print(lin_reg2.intercept_)
輸出結果：
array([0.95801775, 0.52570266])
1.947743957564143
小結：
多項式迴歸在算法並沒有什麼新的地方，完全是採用線性迴歸的思路，關鍵在於爲數據添加新的特徵，而這些新的特徵是原有的特徵的多項式組合，採用這樣的方式就能解決非線性問題，這樣的思路跟PCA這種降維思想剛好相反，而多項式迴歸則是升維，添加了新的特徵之後，使得更好地擬合高維數據。
三、scikit-learn中的多項式迴歸
# 導包
import numpy as np
import matplotlib.pyplot as plt
# 模擬數據
x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)
# 多項式迴歸其實對數據進行預處理，給數據添加新的特徵，所以調用庫preprocessing
from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures(degree=2) # 添加二次冪特徵
poly.fit(X)
X2 = poly.transform(X)
X2.shape
輸出結果：
(100, 3)
第一列表示常數項，第二列表示一次項係數，第三列表示二次項係數，接下來查看一下前五列。
X2[:5, :]
輸出結果：
array([[ 1. , 2.32619679, 5.41119149],
[ 1. , -2.05863059, 4.2379599 ],
[ 1. , 0.26110181, 0.06817416],
[ 1. , -0.50132099, 0.25132274],
[ 1. , 1.48172452, 2.19550756]])
from sklearn.linear_model import LinearRegression
# 訓練並預測
lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)
# 繪製散點圖
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')
plt.show()
輸出結果：
# 顯示係數
print(lin_reg2.coef_)
print(lin_reg2.intercept_)
輸出結果：
array([0. , 1.03772276, 0.51558598])
1.8308914615008804
四、關於PolynomialFeatures
多項式迴歸關鍵在於如何構建新的特徵，在sklearn中已經封裝了，那具體如何實現的？
之前使用的都是1維數據，如果使用2維3維甚至更高維呢？
# 導包
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
X = np.arange(1, 11).reshape(-1, 2)
X
輸出結果：
array([[ 1, 2],
[ 3, 4],
[ 5, 6],
[ 7, 8],
[ 9, 10]])
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X2 = poly.transform(X)
X2.shape # 顯示：(5, 6)
X2
輸出結果：
array([[ 1., 1., 2., 1., 2., 4.],
[ 1., 3., 4., 9., 12., 16.],
[ 1., 5., 6., 25., 30., 36.],
[ 1., 7., 8., 49., 56., 64.],
[ 1., 9., 10., 81., 90., 100.]])
注：
此時，可以看出當數據維度是2維是，經過多項式預處理生成了6維數據，第一列很顯然是0次項係數，第二列和第三列也很好理解，分別是x1，x2，第四列和第六列分別是 x1^2，x2^2 ，還有一列，其實是x1*x2，這就是第5列，總共6列。由此可以猜想一下如果數據是3維的時候是什麼情況？
poly = PolynomialFeatures(degree=3)
poly.fit(X)
X3 = poly.transform(X)
X3.shape # 顯示：(5, 10)
X3
輸出結果：
array([[ 1., 1., 2., 1., 2., 4., 1., 2., 4.,
8.],
[ 1., 3., 4., 9., 12., 16., 27., 36., 48.,
64.],
[ 1., 5., 6., 25., 30., 36., 125., 150., 180.,
216.],
[ 1., 7., 8., 49., 56., 64., 343., 392., 448.,
512.],
[ 1., 9., 10., 81., 90., 100., 729., 810., 900.,
1000.]])
通過PolynomiaFeatures，將所有的可能組合，升維的方式呈指數型增長。這也會帶來一定的問題。 如何解決這種爆炸式的增長？
如果不控制一下，試想x和x[^100]相比差異就太大了。這就是傳說中的過擬合。
五、sklearn中的Pipeline
一般情況下，我們會對數據進行歸一化，然後進行多項式升維，再接着進行線性迴歸。因爲sklearn中並沒有對多項式迴歸進行封裝，不過可以使用Pipeline對這些操作進行整合。
# 導包
import numpy as np
import matplotlib.pyplot as plt
x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)
from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
# Pipeline
poly_reg = Pipeline([
("poly", PolynomialFeatures(degree=2)),
("std_scaler", StandardScaler()),
("lin_reg", LinearRegression())
]) # 列表，每個類，元祖形式 三步走 方便
# 訓練並預測
poly_reg.fit(X, y)
y_predict = poly_reg.predict(X)
# 繪製散點圖
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
plt.show()
輸出結果：
結果和之前的完全一樣！！！