1 线性规划与非线性规划的区别
线性规划问题：目标函数与约束条件均为优化变量的线性函数，不涉及变量的耦合与高次。注意线性规划的约束条件也可以是不等式约束。表达式如下：
非线性规划问题：目标函数或约束函数是优化变量的非线性函数。根据目标函数和约束函数的不同可以分为：二次规划、几何规划、最小二乘。
2 线性规划求解方法
2.1 图解法：
线性规划问题的约束条件都是线性的，多个约束条件组成的求解域组成凸集。以二维线性规划问题为例：
四个约束条件组成一个闭合域，并且该闭合域一定位凸集。如果极值点存在，则极值点必然在凸集合的顶点处。
为什么一定位凸集合？直观理解：因为约束条件均为线性，二维约束条件为直线某一侧的部分，满足多个约束条件即求解多个约束条件的交集，即两条直线相交求交集。直线角度180°，交集组成的区域在交点处的角度一定小于180°，因此多个约束条件组成的可行域一定为凸集。
为什么极值点一定在凸集合的顶点处？因为线性规划的目标函数为变量的线性函数，该函数组成的是一个平面，二维变量的目标函数为三维平面，三维变量的目标函数是四维平面，必定沿某一方向单调。因此极值点必然落于边界的顶点处（也可能是边界的一条边）。
并且对于多维变量，约束条件组成的可行域也是凸集，只不过是凸多面体，极值点在凸多面体的顶点处。二维三维如下：
因此图解法的基本过程为：找出n+1顶点（假设为n维变量），将每个顶点的变量代入函数值，逐个比较即可计算得到最优解。
2.2 单纯形法：
对于n维变量组成的凸多面体有n+1个定点，几何学上称该多面体为单纯形，并将迭代寻优的方法称为单纯形法。
单纯形法适用于满足以下情况的优化问题：
上图中，左边的不等式的右边不一定必须是1，并且不等式约束需要转化为等式约束。同时一定要有x大于等于0这个条件。原因后序讲解。
2.2.1 单纯形法计算过程：
（0）不等式约束转化为等式约束（1）确定初始可行基并求解（2）最优性检验（3）换基变换（4）迭代运算。下面通过一个例子讲解。
优化问题：
（0）不等式约束转化为等式约束
（1）确定初始可行基并求解
（2）最优性检验
目标函数
（3）换基变换
由（2）可知，沿着
（4）迭代运算
对（3）结果进行最优性检验可知，同样为非最优解，因此重新选基，逐步重复（2）-（3）进行迭代运算。
最终得到最优结果：17。
2.2.2 换基的原理
对于等式约束，最优解必然粗在于凸集合的顶点处。换基的原理就是尝试每个顶点，举例如下：
对于优化问题：
选基并计算：
最终迭代计算后可以看出，每次换基都是计算可行域的定点，迭代找到最优的顶点：
第一次选择可行基为
单纯形法为什么要求
为了选择可行基时，让非可行基=0，求解即可得到顶点。不管是为了不等式约束转等式约束引入的松弛变量，还是等式约束本身自带的那么多变量，最终需要求解的是目标函数中涉及到的变量。给可行基赋值为1，不可行基赋值为0，如上图所示，目标函数中变量对应的顶点只有0与非0。
同时加上这个条件可以限制变量的取值范围，不严谨的说，随便加上等式约束的曲线或曲面，可行域闭合，顶点一定能找见，最优解也存在。没有这个条件有可能可行域不闭合。
3 非线性规划求解方法
非线性规划求解方法即利用KKT条件，见最优化方法三。
https://mp.csdn.net/console/editor/html/105057670