微积分复习

一、泰勒展开：

泰勒公式是一个用函数在某点的信息描述其附近取值的公式。这个公式来自于微积分的泰勒定理，泰勒定义描述了一个可微函数，如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值，这个多项式称为泰勒多项式。

泰勒定理：
设n是一个正整数，如果定义在一个包含a的区间上的函数f在a点处n+1次可导，那么对于这个区间上的任意x，都有：
$f(x)=f(a)+{f'(a) \over 1!}(x-a)+{f^{(2)}(a) \over 2!}(x-a)^2+...+{f^{(n)}(a) \over n!}(x-a)^n+R_n(x)$
其中的多项式称为函数在a处的泰勒展开式，剩余的$R_n(x)$是泰勒展开式的余项，为$(x-a)^n$的高阶无穷小。

二、泰勒展开和Hassian矩阵的关系

二元函数$f(x_1,x_2)$在$X^{(0)}(x_1^{(0)},x_2^{(0)})$的泰勒展开为：

$f(x_1,x_2)=f(x_1^{(0)},x_2^{(0)})+ {\partial f \over \partial x_1}|_{X^{(0)}}\triangle x_1+{\partial f \over \partial x_2}|_{X^{(0)}}\triangle x_2+ {1 \over 2}[{\partial ^2f\over \partial x_1^2}|_{X^{(0)}}\triangle x_1^2+2{\partial ^2f\over \partial x_1 \partial x_2}|_{X^{(0)}}\triangle x_1 \triangle x_2+{\partial ^2f\over \partial x_2^2}|_{X^{(0)}}\triangle x_2^2]+...$

将上述表达式写成矩阵形式：
$f(X)=f(X^{(0)})+({\partial f\over \partial x_1},{\partial f\over \partial x_2})_{X^{(0)}}\begin {pmatrix} \triangle x_1\\ \triangle x_2\end {pmatrix}+{1 \over 2}(\triangle x_1,\triangle x_2)\begin {pmatrix} {\partial ^2f \over \partial x_1^2}& {\partial ^2f \over \partial x_1 \partial x_2}\\ {\partial ^2f \over \partial x_2 \partial x_1}& {\partial ^2f \over \partial x_2^2} \end {pmatrix} _{X^{(0)}}\begin {pmatrix} \triangle x_1\\ \triangle x_2\end {pmatrix}+...$

令：
$\triangledown f(X^{(0)})^T=\begin {pmatrix} {\partial f\over \partial x_1}\\ {\partial f\over \partial x_2} \end {pmatrix}_{X^{(0)}}, \triangle X=\begin {pmatrix} \triangle x_1\\ \triangle x_2\end {pmatrix},G(X^{(0)})=\begin {pmatrix} {\partial ^2f \over \partial x_1^2}& {\partial ^2f \over \partial x_1 \partial x_2}\\ {\partial ^2f \over \partial x_2 \partial x_1}& {\partial ^2f \over \partial x_2^2} \end {pmatrix} _{X^{(0)}}$

此时上式可表示为：
$f(X^{(0)})=f(X^{(0)})+\triangledown f(X^{(0)})^T\triangle X+{1\over 2}\triangle X^TG(X^{(0)})\triangle X+....$

这个$G(X^{(0)})$就是$f(x_1,x_2)$在$X^{(0)}$点处的Hassian矩阵。

同时注意这个$\triangledown f(X^{(0)})$是雅可比矩阵

https://baike.baidu.com/item/%E9%BB%91%E5%A1%9E%E7%9F%A9%E9%98%B5

三、拉格朗日函数：

3.1定义：

设给定二元函数$z=f(x,y)$和附加条件$\phi (x,y)=0$，为寻找$z=f(x,y)$在附加条件下的极值点，先做拉格朗日函数$F(x,y,\phi )=f(x,y)+\lambda \phi(x,y)$，其中$\lambda$是参数
首先令$F(x,y,\lambda )$对$x,y,\lambda$的一阶导数为零，即：

$F^{'}_x=f^{'}_x(x,y)+\lambda \phi ^{'}_x(x,y)=0$

$F^{'}_y=f^{'}_y(x,y)+\lambda \phi ^{'}_y(x,y)=0$

$F^{'}_{\lambda}=\phi (x,y)=0$

由上述方程解出$x,y,\lambda$，如此求得的(x,y)，就是函数$z=f(x,y)$在附加条件$\phi (x,y)=0$下的可能极值点。
如果这样的点只有一个，由实际问题可直接确定此即所求的点。

https://baike.baidu.com/item/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0%E6%B3%95/8550443

3.2 理解：

拉格朗日函数本身只是一种构造方式，这种方式本身是没有意义的，但它可以使求条件极值的步骤变得相对简单方便一些，所以大家倾向于使用构造拉格朗日函数这种方式来求极值。
以二元函数为例，假设变量$x,y$满足约束条件$f(x,y)=0$，求$g(x,y)$的极值：
对$f(x,y)=0$微分可以得到：$df={\partial f\over \partial x}dx+{\partial f\over \partial y}dy=0$ (1)
同时$g(x,y)$取极值的必要条件是$dg={\partial g\over \partial x}dx+{\partial g\over \partial y}dy=0$ (2)
联立(1)(2)，这个方程组可以看成关于$dx,dy$的齐次线性方程组。要使该方程组有非零解（$dx,dy$虽然是小量，但不是真正的零），则该方程组的行列式为零，即：
${\partial f\over \partial x}{\partial g\over \partial y}-{\partial f\over \partial y}{\partial g\over \partial x}=0$ (3)
也就是说(3)就是$g(x,y)$取极值的一个条件，将(3)与$f(x,y)$联立，就能求出极值点。
上面是按定义求极值的方法，接下来构造拉格朗日函数看能否得到(3)这个式子。
令拉格朗日函数$h(x,y)=g(x,y)+\lambda f(x,y)$。其无条件极值点满足：
${\partial h\over \partial x}={\partial g\over \partial x}+\lambda {\partial f\over \partial x}=0$ (4)
${\partial h\over \partial y}={\partial g\over \partial y}+\lambda {\partial f\over \partial y}=0$ (5)
联立(4)(5)，这个方程组可以看成关于$\mu , \lambda$（这个$\mu$只是一个临时引入的变量）的一个齐次线性方程组：
$\mu {\partial g\over \partial x}+\lambda {\partial f\over \partial x}=0$
$\mu {\partial g\over \partial y}+\lambda {\partial f\over \partial y}=0$
且已知该方程组有非零解$\mu =1$
根据齐次线性方程组有非零解的条件可知，该方程的系数矩阵的行列式为零，即：
${\partial g\over \partial x}{\partial f\over \partial y}-{\partial f\over \partial x}{\partial g\over \partial y}=0$ (6)
可以看出(3)和(6)是完全等价的，也就是说用拉格朗日函数来求条件极值，和用定义求条件极值是等价的。所以我们可以通过解(4)(5)这个方程组，来求$g(x,y)$的条件极值。

https://www.zhihu.com/question/64044033

四、广义拉格朗日函数：

给定不等式约束问题：
KaTeX parse error: Invalid delimiter: 'm' after '\middle' at position 9: \middle m̲in f(x)\\s.t.\\…
定义广义拉格朗日函数：
$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k\alpha _ic_i(x)+\sum _{j=1}^l\beta _jh_j(x)$
这里$x=(x^{(1)},x^{(2)},...,x^{(n)})^T\in R^n,\alpha _i,\beta _j$是拉格朗日乘子,$\alpha _i\ge 0$，考虑x的函数
$\theta _P(x)=max_{\alpha ,\beta ,\alpha _i\ge 0}L(x,\alpha ,\beta)$
则
$\theta _P(x)=\begin{cases} f(x),x满足原始问题约束\\ +\infty ,其他\end{cases}$
（有严格证明，这里跳过）
极小化问题$min_x\theta _p(x)=min_xmax_{\alpha ,\beta ,\alpha _i\ge 0}L(x,\alpha ,\beta)$与原始优化问题有相同的解。

广义拉格朗日函数相当于构造了一个含参函数，在满足约束条件的情况下，这个函数的值总是小于等于目标函数f(x)，而我们此时选取合适的参数$\alpha ,\beta$令该函数最大可使等号成立，即$L(x,\alpha ,\beta)=f(x)$；若不满足约束条件，则总存在$\alpha ,\beta$使得该函数趋向于$+\infty$

定义原始问题的最优值为$p^*=min_x\theta _p(x)$

4.1对偶问题

定义$\theta_D(\alpha ,\beta)=min_xL(x,\alpha ,\beta)$
我们得到极大极小问题
$max_{\alpha ,\beta}\theta _D(\alpha, \beta)=max_{\alpha ,\beta}min_{x}L(x,\alpha ,\beta)$
$s.t. \quad a_i\ge 0,\quad i=1,2,...,k$
称为原问题（极小极大问题）的对偶问题
定义对偶问题的最优解为$d^*=max_{\alpha ,\beta ,\alpha _i\ge 0}\theta (\alpha ,\beta)$

4.2 原始问题和对偶问题的关系

4.2.1 性质1

（弱对偶性）$d^* \le p^*$。p是先求最大的一块区域然后在这块区域求最小，d是先求最小的一块区域然后在这块区域求最大，最大里面的最小，总会比最小里面的最大要大

4.2.2 性质2

（强对偶充分条件）若$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式是严格可行的（即$\exists x,\forall i,有c_i(x)<0)$，则存在$x^*,\alpha ^*, \beta ^*$使得$x^*$是原始问题的解，$\alpha ^*,\beta ^*$是对偶问题的解，并且
$p^*=d^*=L(x^*,\alpha ^*,\beta ^*)$

4.2.3 性质3

（强对偶充要条件）若$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式是严格可行的，则$x^*$是原始问题的解，$\alpha ^*,\beta ^*$是对偶问题的解的充要条件就是他们满足KKT（Karush-Kuhn-Tucker）条件