线性模型（二）之多项式拟合

1. 多项式拟合问题

  多项式拟合（polynominal curve fitting）是一种线性模型，模型和拟合参数的关系是线性的。多项式拟合的输入是一维的，即x=x$\mathbf{\text{x}}=x$ ，这是多项式拟合和线性回归问题的主要区别之一。

  多项式拟合的目标是构造输入x$x$ 的M$M$ 阶多项式函数，使得该多项式能够近似表示输入x$x$ 和输出y$y$ 的关系，虽然实际上x$x$ 和y$y$ 的关系并不一定是多项式，但使用足够多的阶数，总是可以逼近表示输入x$x$ 和输出y$y$ 的关系的。

  多项式拟合问题的输入可以表示如下：

D={(x1,y1),(x2,y2),...,(xi,yi),...,(xN,yN)}xi∈Ryi∈R$$\begin{gathered} D=\{(x_1,y_1),(x_2,y_2),...,(x_i,y_i),...,(x_N,y_N)\} \\ {x}_i\in R \\ {y}_i\in R \end{gathered}$$

  目标输出是得到一个多项式函数：

f(x)=w1x1+w2x2+wixi+...+wMxM+b=(∑i=1Mwixi)+b$$\begin{array}{rl}f(x)& =w_1{x}^1+w_2{x}^2+w_i{x}^i+...+w_M{x}^M+b\\ & =(\sum _{i=1}^M{w}_i{x}^i)+b\end{array}$$

其中M$M$ 表示最高阶数为M$M$ 。

  可见在线性拟合的模型中，共包括了(M+1)$(M+1)$ 个参数，而该模型虽然不是输入x$x$ 的线性函数，但却是(M+1)$(M+1)$ 个拟合参数的线性函数，所以称多项式拟合为线性模型。对于多项式拟合问题，其实就是要确定这(M+1)$(M+1)$ 个参数，这里先假设阶数M$M$ 是固定的（M$M$ 是一个超参数，可以用验证集来确定M$M$ 最优的值，详细的关于M$M$ 值确定的问题，后面再讨论），重点就在于如何求出这(M+1)$(M+1)$ 个参数的值。

2.优化目标

  多项式拟合是利用多项式函数逼近输入x$x$ 和输出y$y$ 的函数关系，通过什么指标来衡量某个多项式函数的逼近程度呢？（其实这就是误差/损失函数）。拟合/回归问题常用的评价指标是均方误差（在机器学习中的模型评估与度量博客中，我进行了介绍）。多项式拟合问题也同样采用该评价指标，以均方误差作为误差/损失函数，误差函数越小，模型越好。

E(w,b)=1N∑i=1N[f(xi)−yi]2$$E(\mathbf{w},b)=\frac{1}{N}\sum _{i=1}^N{[f(x_i)-y_i]}^2$$

  系数1N$\frac{1}{N}$ 是一常数，对优化结果无影响，可以去除，即将均方误差替换为平方误差：

E(w,b)=∑i=1N[f(xi)−yi]2$$E(\mathbf{w},b)=\sum _{i=1}^N{[f(x_i)-y_i]}^2$$

   到这里，就成功把多项式拟合问题变成了最优化问题，优化问题可表示为：

argminw,bE(w,b)$$\underset{\mathbf{w},b}{\arg min}E(\mathbf{w},b)$$

即需要求得参数{w1,...,wM,b}$\{w_1,...,w_M,b\}$ 的值，使得E(w,b)$E(\mathbf{w},b)$ 最小化。那么如何对该最优化问题求解呢？

3. 优化问题求解

3.1 求偏导，联立方程求解

   直观的想法是，直接对所有参数求偏导，令偏导为0，再联立这M+1$M+1$ 个方程求解（因为共有M+1$M+1$ 个参数，故求偏导后也是得到M+1$M+1$ 个方程）。

E(w,b)=∑i=1N[f(xi)−yi]2=∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]2$$\begin{array}{rl}E(\mathbf{w},b)& =\sum _{i=1}^N{[f(x_i)-y_i]}^2\\ & =\sum _{i=1}^N{[(w_1{x}_i^1+w_2{x}_i^2+w_i{x}_i^j+...+w_M{x}_i^M+b)-y_i]}^2\end{array}$$

利用E(w,b)$E(\mathbf{w},b)$ 对各个参数求偏导，如下：

∂E(w,b)∂wj∂E(w,b)∂b=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]xji=2∑i=1N[(w1x1i+w2x2i+wixji+...+wMxMi+b)−yi]$$\begin{array}{rl}\frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }{w}_j}& =2\sum _{i=1}^N[(w_1{x}_i^1+w_2{x}_i^2+w_i{x}_i^j+...+w_M{x}_i^M+b)-y_i]x_i^j\\ \frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }b}& =2\sum _{i=1}^N[(w_1{x}_i^1+w_2{x}_i^2+w_i{x}_i^j+...+w_M{x}_i^M+b)-y_i]\end{array}$$

求导之后，将各个点(xi,yi)$(x_i,y_i)$ 的值带入偏导公式，联立方程求解即可。

  针对该解法，可以举个例子详细说明，比如有两个点(2,3),(5,8)$(2,3),(5,8)$ ,需要利用二阶多项式f(x)=w1x+w2x2+b$f(x)=w_{1}x+w_2{x}^2+b$ 拟合。求解过程如下：

1. 该二阶多项式对参数求偏导得到
   

   ∂E(w,b)∂wj∂E(w,b)∂b=2∑i=12[(w1x1i+w2x2i+b)−yi]xji=[(w1x1+w2x21+b)−y1]xj1+[(w1x2+w2x22+b)−y2]xj2=2∑i=12[(w1x1i+w2x2i+b)−yi]=[(w1x1+w2x21+b)−y1]+[(w1x2+w2x22+b)−y2]$$\begin{array}{rl}\frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }{w}_j}& =2\sum _{i=1}^2[(w_1{x}_i^1+w_2{x}_i^2+b)-y_i]x_i^j\\ & =[(w_1{x}_1+w_2{x}_1^2+b)-y_1]x_1^j+[(w_1{x}_2+w_2{x}_2^2+b)-y_2]x_2^j\\ \frac{\mathrm{\partial }E(\mathbf{w},b)}{\mathrm{\partial }b}& =2\sum _{i=1}^2[(w_1{x}_i^1+w_2{x}_i^2+b)-y_i]\\ & =[(w_1{x}_1+w_2{x}_1^2+b)-y_1]+[(w_1{x}_2+w_2{x}_2^2+b)-y_2]\end{array}$$

2. 将点(2,3),(5,8)$(2,3),(5,8)$ 带入方程，可以得到3个方程，
   

   2b+7w1+29w2=117b+29w1+133w2=4629b+133w1+641w2=212$$\begin{array}{r}2b+7w_1+29w_2=11\\ 7b+29w_1+133w_2=46\\ 29b+133w_1+641w_2=212\end{array}$$

3. 联立这三个方程求解，发现有无穷多的解，只能得到3w1+21w2=5$3w_1+21w_2=5$ ，这三个方程是线性相关的，故没有唯一解。

  该方法通过求偏导，再联立方程求解，比较复杂，看着也很不美观。那么有没有更加方便的方法呢？

3.2 最小二乘法

   其实求解该最优化问题（平方和的最小值）一般会采用最小二乘法（其实最小二乘法和求偏导再联立方程求解的方法无本质区别，求偏导也是最小二乘法，只是这里介绍最小二乘的矩阵形式而已）。最小二乘法（least squares），从英文名非常容易想到，该方法就是求解平方和的最小值的方法。

  可以将误差函数以矩阵的表示(N$N$ 个点，最高M$M$ 阶)为：

∥Xw−y∥2$${\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2$$

其中，把偏置b$b$ 融合到了参数w$\mathbf{w}$ 中，

w={b,w1,w2,...,wM}$$\mathbf{w}=\{b,w_1,w_2,...,w_M\}$$

X$\mathbf{X}$ 则表示输入矩阵，

⎡⎣⎢⎢⎢⎢11...1x1x2...xNx21x22...x2N............xM1xM2...xMN⎤⎦⎥⎥⎥⎥$$\begin{array}{c}\left[\begin{array}{ccccc}1& x_1& x_1^2& ...& x_1^M\\ 1& x_2& x_2^2& ...& x_2^M\\ ...& ...& ...& ...& ...\\ 1& x_N& x_N^2& ...& x_N^M\end{array}\right]\end{array}$$

y$\mathbf{y}$ 则表示标注向量，

y={y1,y2,...,yN}T$$\mathbf{y}=\{y_1,y_2,...,y_N{\}}^T$$

因此，最优化问题可以重新表示为

minw∥Xw−y∥2$$\underset{\mathbf{w}}{min}{\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2$$

对其求导，

∂∥Xw−y∥2∂w=∂(Xw−y)T(Xw−y)∂w=∂(wTXT−yT)(Xw−y)∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w$$\begin{array}{rl}\frac{\mathrm{\partial }{\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2}{\mathrm{\partial }\mathbf{w}}& =\frac{\mathrm{\partial }(\mathbf{X}\mathbf{w}-\mathbf{y}{)}^T(\mathbf{X}\mathbf{w}-\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }({\mathbf{w}}^T{\mathbf{X}}^T-{\mathbf{y}}^T)(\mathbf{X}\mathbf{w}-\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\\ & =\frac{\mathrm{\partial }({\mathbf{w}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{w}-{\mathbf{y}}^T\mathbf{X}\mathbf{w}-{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{y}}^T\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\end{array}$$

在继续对其求导之前，需要先补充一些矩阵求导的先验知识（常见的一些矩阵求导公式可以参见转载的博客https://blog.csdn.net/lipengcn/article/details/52815429），如下：

∂xTa∂x=a∂ax∂x=aT∂xTA∂x=Ax+ATx$$\begin{gathered} \frac{\mathrm{\partial }{\mathbf{x}}^T\mathbf{a}}{\mathrm{\partial }\mathbf{x}}=\mathbf{a} \\ \frac{\mathrm{\partial }\mathbf{a}\mathbf{x}}{\mathrm{\partial }\mathbf{x}}={\mathbf{a}}^T \\ \frac{\mathrm{\partial }{\mathbf{x}}^T\mathbf{A}}{\mathrm{\partial }\mathbf{x}}=\mathbf{A}\mathbf{x}+{\mathbf{A}}^T\mathbf{x} \end{gathered}$$

根据上面的矩阵求导规则，继续进行损失函数的求导

∂∥Xw−y∥2∂w=∂(wTXTXw−yTXw−wTXTy+yTy)∂w=XTXw+(XTX)Tw−(yTX)T−XTy=2XTXw−2XTy$$\begin{array}{rl}\frac{\mathrm{\partial }{\Vert \mathbf{X}\mathbf{w}\mathbf{-}\mathbf{y}\Vert }_2}{\mathrm{\partial }\mathbf{w}}& =\frac{\mathrm{\partial }({\mathbf{w}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{w}-{\mathbf{y}}^T\mathbf{X}\mathbf{w}-{\mathbf{w}}^T{\mathbf{X}}^T\mathbf{y}+{\mathbf{y}}^T\mathbf{y})}{\mathrm{\partial }\mathbf{w}}\\ & ={\mathbf{X}}^T\mathbf{X}\mathbf{w}+({\mathbf{X}}^T\mathbf{X}{)}^T\mathbf{w}-({\mathbf{y}}^T\mathbf{X}{)}^T-{\mathbf{X}}^T\mathbf{y}\\ & =2{\mathbf{X}}^T\mathbf{X}\mathbf{w}-2{\mathbf{X}}^T\mathbf{y}\end{array}$$

其中XTXw=(XTX)Tw${\mathbf{X}}^T\mathbf{X}\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^T\mathbf{w}$ .令求导结果等于0，即可以求导问题的最小值。

2XTXw−2XTy=0w=(XTX)−1XTy$$\begin{array}{r}2{\mathbf{X}}^T\mathbf{X}\mathbf{w}-2{\mathbf{X}}^T\mathbf{y}=0\\ \mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}\end{array}$$

  再利用最小二乘法的矩阵形式对前面的例子进行求解，用二阶多项式拟合即两个点(2,3),(5,8)$(2,3),(5,8)$ 。

1. 表示输入矩阵 X$\mathbf{X}$ 和标签向量y$\mathbf{y}$
   

   X=[1125425]y=[38]T$$\begin{array}{c}\mathbf{X}=\left[\begin{array}{ccc}1& 2& 4\\ 1& 5& 25\end{array}\right]\\ \mathbf{y}={\left[\begin{array}{cc}3& 8\end{array}\right]}^T\end{array}$$

2. 计算XTX${\mathbf{X}}^T\mathbf{X}$
   

   XTX=⎡⎣⎢272972913329133641⎤⎦⎥$$\begin{array}{c}{\mathbf{X}}^T\mathbf{X}=\left[\begin{array}{ccc}2& 7& 29\\ 7& 29& 133\\ 29& 133& 641\end{array}\right]\end{array}$$

3. 矩阵求逆，再做矩阵乘法运算
   但 XTX${\mathbf{X}}^T\mathbf{X}$ 不可逆，故无唯一解。

  关于矩阵的逆是否存在，可以通过判断矩阵的行列式是否为0（det(A)=?0$det(\mathbf{A})\stackrel{?}{=}0$ 来判断，也可以通过初等行变换，观察矩阵的行向量是否线性相关，在这个例子下，矩阵不可逆，故有无穷多解。但如果新增一个点(4,7)$(4,7)$ ，则就可以解了。

  其实这和数据集的点数和选择的阶数有关，如果点数小于阶数则会出现无穷解的情况，如果点数等于阶数，那么刚好有解可以完全拟合所有数据点，如果点数大于阶数，则会求的近似解。

  那么对于点数小于阶数的情况，如何求解？在python的多项式拟合函数中是可以拟合的，而且效果不错，具体算法不是很了解，可以想办法参考python的ployfit()函数的实现。

4. 拟合阶数的选择

   在前面的推导中，多项式的阶数被固定了，那么实际场景下应该如何选择合适的阶数M$M$ 呢？

1. 一般会选择阶数M$M$ 小于点数N$N$
2. 把训练数据分为训练集合验证集，在训练集上，同时用不同的M$M$ 值训练多个模型，然后选择在验证集误差最小的阶数M$M$

5. 后续

  如果后续还想写的话，可以考虑正则化问题。