在上一節中我們介紹了線性迴歸的原理，然後分別用python和sklearn實現了不同變量個數的線性迴歸的幾個例子。線性迴歸模型形式簡單，有很好的可解釋性，但是它只適用於X和y之間存在線性關係的數據集。對於非線性關係的數據集，線性迴歸不能很好的工作。因此本文介紹線性迴歸模型的擴展——「多項式迴歸」，我們可以用它來擬合非線性關係的數據集。
假設我們有一個單變量數據集，如下圖。
爲了觀察它們之間的關係，我們用 matplotlib 畫出散點圖。
從圖中看，它們有點像在一條直線上，但仔細看更像是在一個拋物線上。
首先我們假設它們滿足線性關係，使用線性迴歸模型得到的結果如下圖中黃線所示。
看起來似乎還可以，但是來看看誤差，太大了。
下面我們試試用拋物線擬合它們。
線性迴歸可以通過從係數構造多項式的特徵來擴展。爲了使推導過程更具有代表性，我們先以一個雙變量的爲例，然後再看我們上面的單變量的例子。
雙變量線性迴歸模型形如下面式子：
通過結合二階多項式的特徵，添加二次方項，將它從平面轉換爲拋物面：
用z替換x：
所以，我們的式子可以寫成：
這樣就變爲線性迴歸模型。
同理，我們的數據集是單變量的，轉換後的式子爲：
計算結果如圖。
線性迴歸得到的模型爲：
多項式迴歸得到的模型爲：
兩個模型如下圖所示。
可以看出多項式迴歸模型的效果（綠線）要明顯好於線性迴歸模型（黃線）。
更高階的同理。
