線性模型（二）之多項式擬合

1. 多項式擬合問題

  多項式擬合（polynominal curve fitting）是一種線性模型，模型和擬合參數的關係是線性的。多項式擬合的輸入是一維的，即x=x$\mathbf{\text{x}}=x$ ，這是多項式擬合和線性迴歸問題的主要區別之一。

  多項式擬合的目標是構造輸入x$x$ 的M$M$ 階多項式函數，使得該多項式能夠近似表示輸入x$x$ 和輸出y$y$ 的關係，雖然實際上x$x$ 和y$y$ 的關係並不一定是多項式，但使用足夠多的階數，總是可以逼近表示輸入x$x$ 和輸出y$y$ 的關係的。

  多項式擬合問題的輸入可以表示如下：

D={(x1,y1),(x2,y2),...,(xi,yi),...,(xN,yN)}xi∈Ryi∈R$$\begin{gathered} D=\{(x_1,y_1),(x_2,y_2),...,(x_i,y_i),...,(x_N,y_N)\} \\ {x}_i\in R \\ {y}_i\in R \end{gathered}$$

  目標輸出是得到一個多項式函數：

f(x)=w1x1+w2x2+wixi+...+wMxM+b=(∑i=1Mwixi)+b$$\begin{array}{rl}f(x)& =w_1{x}^1+w_2{x}^2+w_i{x}^i+...+w_M{x}^M+b\\ & =(\sum _{i=1}^M{w}_i{x}^i)+b\end{array}$$

其中M$M$ 表示最高階數爲M$M$ 。

  可見在線性擬合的模型中，共包括了(M+1)$(M+1)$ 個參數，而該模型雖然不是輸入x$x$ 的線性函數，但卻是(M+1)$(M+1)$ 個擬合參數的線性函數，所以稱多項式擬合爲線性模型。對於多項式擬合問題，其實就是要確定這(M+1)$(M+1)$ 個參數，這裏先假設階數M$M$ 是固定的（M$M$ 是一個超參數，可以用驗證集來確定M$M$ 最優的值，詳細的關於M$M$ 值確定的問題，後面再討論），重點就在於如何求出這(M+1)$(M+1)$ 個參數的值。

2.優化目標

  多項式擬合是利用多項式函數逼近輸入x$x$ 和輸出y$y$ 的函數關係，通過什麼指標來衡量某個多項式函數的逼近程度呢？（其實這就是誤差/損失函數）。擬合/迴歸問題常用的評價指標是均方誤差（在機器學習中的模型評估與度量博客中，我進行了介紹）。多項式擬合問題也同樣採用該評價指標，以均方誤差作爲誤差/損失函數，誤差函數越小，模型越好。

E(w,b)=1N∑i=1N[f(xi)−yi]2$$E(\mathbf{w},b)=\frac{1}{N}\sum _{i=1}^N{[f(x_i)-y_i]}^2$$

  係數1N$\frac{1}{N}$ 是一常數，對優化結果無影響，可以去除，即將均方誤差替換爲平方誤差：

E(w,b)=∑i=1N[f(xi)−yi]2$$E(\mathbf{w},b)=\sum _{i=1}^N{[f(x_i)-y_i]}^2$$

   到這裏，就成功把多項式擬合問題變成了最優化問題，優化問題可表示爲：

argminw,bE(w,b)$$\underset{\mathbf{w},b}{\arg min}E(\mathbf{w},b)$$

即需要求得參數{w1,...,wM,b}$\{w_1,...,w_M,b\}$ 的值，使得E(w,b)$E(\mathbf{w},b)$ 最小化。那麼如何對該最優化問題求解呢？

3. 優化問題求解

3.1 求偏導，聯立方程求解

   直觀的想法是，直接對所有參數求偏導，令偏導爲0，再聯立這M+1$M+1$ 個方程求解（因爲共有M+1$M+1$ 個參數，故求偏導後也是得到M+1$M+1$ 個方程）。

E(w,b)=∑i=1N[f(xi)−yi]2=∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]2$$\begin{array}{rl}E(\mathbf{w},b)& =\sum _{i=1}^N{[f(x_i)-y_i]}^2\\ & =\sum _{i=1}^N{[(w_1{x}_i^1+w_2{x}_i^2+w_i{x}_i^j+...+w_M{x}_i^M+b)-y_i]}^2\end{array}$$

利用E(w,b)$E(\mathbf{w},b)$ 對各個參數求偏導，如下：

∂E(w,b)∂wj∂E(w,b)∂b=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]xji=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]$$\begin{array}{rl}\frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }{w}_j}& =2\sum _{i=1}^N[(w_1{x}_i^1+w_2{x}_i^2+w_i{x}_i^j+...+w_M{x}_i^M+b)-y_i]x_i^j\\ \frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }b}& =2\sum _{i=1}^N[(w_1{x}_i^1+w_2{x}_i^2+w_i{x}_i^j+...+w_M{x}_i^M+b)-y_i]\end{array}$$

求導之後，將各個點(xi,yi)$(x_i,y_i)$ 的值帶入偏導公式，聯立方程求解即可。

  針對該解法，可以舉個例子詳細說明，比如有兩個點(2,3),(5,8)$(2,3),(5,8)$ ,需要利用二階多項式f(x)=w1x+w2x2+b$f(x)=w_{1}x+w_2{x}^2+b$ 擬合。求解過程如下：

1. 該二階多項式對參數求偏導得到
   

   ∂E(w,b)∂wj∂E(w,b)∂b=2∑i=12[(w1x1i+w2x2i+b)−yi]xji=[(w1x1+w2x21+b)−y1]xj1+[(w1x2+w2x22+b)−y2]xj2=2∑i=12[(w1x1i+w2x2i+b)−yi]=[(w1x1+w2x21+b)−y1]+[(w1x2+w2x22+b)−y2]$$\begin{array}{rl}\frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }{w}_j}& =2\sum _{i=1}^2[(w_1{x}_i^1+w_2{x}_i^2+b)-y_i]x_i^j\\ & =[(w_1{x}_1+w_2{x}_1^2+b)-y_1]x_1^j+[(w_1{x}_2+w_2{x}_2^2+b)-y_2]x_2^j\\ \frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }b}& =2\sum _{i=1}^2[(w_1{x}_i^1+w_2{x}_i^2+b)-y_i]\\ & =[(w_1{x}_1+w_2{x}_1^2+b)-y_1]+[(w_1{x}_2+w_2{x}_2^2+b)-y_2]\end{array}$$

2. 將點(2,3),(5,8)$(2,3),(5,8)$ 帶入方程，可以得到3個方程，
   

   2b+7w1+29w2=117b+29w1+133w2=4629b+133w1+641w2=212$$\begin{array}{r}2b+7w_1+29w_2=11\\ 7b+29w_1+133w_2=46\\ 29b+133w_1+641w_2=212\end{array}$$

3. 聯立這三個方程求解，發現有無窮多的解，只能得到3w1+21w2=5$3w_1+21w_2=5$ ，這三個方程是線性相關的，故沒有唯一解。

  該方法通過求偏導，再聯立方程求解，比較複雜，看着也很不美觀。那麼有沒有更加方便的方法呢？

3.2 最小二乘法

   其實求解該最優化問題（平方和的最小值）一般會採用最小二乘法（其實最小二乘法和求偏導再聯立方程求解的方法無本質區別，求偏導也是最小二乘法，只是這裏介紹最小二乘的矩陣形式而已）。最小二乘法（least squares），從英文名非常容易想到，該方法就是求解平方和的最小值的方法。

  可以將誤差函數以矩陣的表示(N$N$ 個點，最高M$M$ 階)爲：

∥Xw−y∥2$${\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2$$

其中，把偏置b$b$ 融合到了參數w$\mathbf{w}$ 中，

w={b,w1,w2,...,wM}$$\mathbf{w}=\{b,w_1,w_2,...,w_M\}$$

X$\mathbf{X}$ 則表示輸入矩陣，

⎡⎣⎢⎢⎢⎢11...1x1x2...xNx21x22...x2N............xM1xM2...xMN⎤⎦⎥⎥⎥⎥$$\begin{array}{c}\left[\begin{array}{ccccc}1& x_1& x_1^2& ...& x_1^M\\ 1& x_2& x_2^2& ...& x_2^M\\ ...& ...& ...& ...& ...\\ 1& x_N& x_N^2& ...& x_N^M\end{array}\right]\end{array}$$

y$\mathbf{y}$ 則表示標註向量，

y={y1,y2,...,yN}T$$\mathbf{y}=\{y_1,y_2,...,y_N{\}}^T$$

因此，最優化問題可以重新表示爲

minw∥Xw−y∥2$$\underset{\mathbf{w}}{min}{\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2$$

對其求導，

∂∥Xw−y∥2∂w=∂(Xw−y)T(Xw−y)∂w=∂(wTXT−yT)(Xw−y)∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w$$\begin{array}{rl}\frac{\mathrm{\partial }{\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2}{\mathrm{\partial }\mathbf{w}}& =\frac{\mathrm{\partial }(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}\mathbf{w}-\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }({\mathbf{w}}^T{\mathbf{X}}^T-{\mathbf{y}}^T)(\mathbf{X}\mathbf{w}-\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }({\mathbf{w}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{w}-{\mathbf{y}}^T\mathbf{X}\mathbf{w}-{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{y}}^T\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\end{array}$$

在繼續對其求導之前，需要先補充一些矩陣求導的先驗知識（常見的一些矩陣求導公式可以參見轉載的博客https://blog.csdn.net/lipengcn/article/details/52815429），如下：

∂xTa∂x=a∂ax∂x=aT∂xTA∂x=Ax+ATx$$\begin{gathered} \frac{\mathrm{\partial }{\mathbf{x}}^T\mathbf{a}}{\mathrm{\partial }\mathbf{x}}=\mathbf{a} \\ \frac{\mathrm{\partial }\mathbf{a}\mathbf{x}}{\mathrm{\partial }\mathbf{x}}={\mathbf{a}}^T \\ \frac{\mathrm{\partial }{\mathbf{x}}^T\mathbf{A}}{\mathrm{\partial }\mathbf{x}}=\mathbf{A}\mathbf{x}+{\mathbf{A}}^T\mathbf{x} \end{gathered}$$

根據上面的矩陣求導規則，繼續進行損失函數的求導

∂∥Xw−y∥2∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w=XTXw+(XTX)Tw−(yTX)T−XTy=2XTXw−2XTy$$\begin{array}{rl}\frac{\mathrm{\partial }{\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2}{\mathrm{\partial }\mathbf{w}}& =\frac{\mathrm{\partial }({\mathbf{w}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{w}-{\mathbf{y}}^T\mathbf{X}\mathbf{w}-{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{y}}^T\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\\ & ={\mathbf{X}}^T\mathbf{X}\mathbf{w}+({\mathbf{X}}^T\mathbf{X}{)}^T\mathbf{w}-({\mathbf{y}}^T\mathbf{X}{)}^T-{\mathbf{X}}^T\mathbf{y}\\ & =2{\mathbf{X}}^T\mathbf{X}\mathbf{w}-2{\mathbf{X}}^T\mathbf{y}\end{array}$$

其中XTXw=(XTX)Tw${\mathbf{X}}^T\mathbf{X}\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^T\mathbf{w}$ .令求導結果等於0，即可以求導問題的最小值。

2XTXw−2XTy=0w=(XTX)−1XTy$$\begin{array}{r}2{\mathbf{X}}^T\mathbf{X}\mathbf{w}-2{\mathbf{X}}^T\mathbf{y}=0\\ \mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}\end{array}$$

  再利用最小二乘法的矩陣形式對前面的例子進行求解，用二階多項式擬合即兩個點(2,3),(5,8)$(2,3),(5,8)$ 。

1. 表示輸入矩陣 X$\mathbf{X}$ 和標籤向量y$\mathbf{y}$
   

   X=[1125425]y=[38]T$$\begin{array}{c}\mathbf{X}=\left[\begin{array}{ccc}1& 2& 4\\ 1& 5& 25\end{array}\right]\\ \mathbf{y}={\left[\begin{array}{cc}3& 8\end{array}\right]}^T\end{array}$$

2. 計算XTX${\mathbf{X}}^T\mathbf{X}$
   

   XTX=⎡⎣⎢272972913329133641⎤⎦⎥$$\begin{array}{c}{\mathbf{X}}^T\mathbf{X}=\left[\begin{array}{ccc}2& 7& 29\\ 7& 29& 133\\ 29& 133& 641\end{array}\right]\end{array}$$

3. 矩陣求逆，再做矩陣乘法運算
   但 XTX${\mathbf{X}}^T\mathbf{X}$ 不可逆，故無唯一解。

  關於矩陣的逆是否存在，可以通過判斷矩陣的行列式是否爲0（det(A)=?0$det(\mathbf{A})\stackrel{?}{=}0$ 來判斷，也可以通過初等行變換，觀察矩陣的行向量是否線性相關，在這個例子下，矩陣不可逆，故有無窮多解。但如果新增一個點(4,7)$(4,7)$ ，則就可以解了。

  其實這和數據集的點數和選擇的階數有關，如果點數小於階數則會出現無窮解的情況，如果點數等於階數，那麼剛好有解可以完全擬合所有數據點，如果點數大於階數，則會求的近似解。

  那麼對於點數小於階數的情況，如何求解？在python的多項式擬合函數中是可以擬合的，而且效果不錯，具體算法不是很瞭解，可以想辦法參考python的ployfit()函數的實現。

4. 擬合階數的選擇

   在前面的推導中，多項式的階數被固定了，那麼實際場景下應該如何選擇合適的階數M$M$ 呢？

1. 一般會選擇階數M$M$ 小於點數N$N$
2. 把訓練數據分爲訓練集合驗證集，在訓練集上，同時用不同的M$M$ 值訓練多個模型，然後選擇在驗證集誤差最小的階數M$M$

5. 後續

  如果後續還想寫的話，可以考慮正則化問題。