优化问题

一、约束优化问题：

$min_w f(w) \\ s.t. \\ g_i(w)\le 0 (i=1,...,k)\\h_j(w)=0(j=1,...l)$

二、二次规划问题：

基本定义

二次规划问题(Quadratic Programming)是非线性规划问题(NLP)问题的特例，即当目标函数$f$为二次型约束且约束$h,g$在$x \in R^n$为线性约束时，这类NLP问题被称为QP问题，其一般形式表述为如下：
$minimize:$ $f(x) = \frac 12 x^TBx-x^Tb, x \in R^n$
$s.t.$
$A_1x=c$
$A_2x\le d$
在以上公式中，$B\in R^{n*n}$是对称矩阵，$b \in R^n, A_1\in R^{m*n},c\in R^m, A_2 \in R^{p*n}, d\in R^p$

1. 如果B是正定矩阵，则这个问题称为严格的凸二次规划问题
2. 如果B是半正定矩阵，则问题称为凸二次规划问题

对于二次规划，可行域只要不空就一定是凸集，所以当目标函数是凸函数时，二次规划的任何K-T点一定为二次规划的全局极小点。

相关概念：

KT点：
KT点就是满足Kuhn-Tucker条件的点，

三、 凸优化：

凸优化问题是特殊的约束最优化问题，其一般形式和约束最优化问题一样。
$min_w f(w) \\ s.t. \\ g_i(w)\le 0 \quad (i=1,...,k) \\h_j(w)=0 \quad (j=1,...l)$

假设f、g、h在定义域内是连续可微的，且目标函数f和不等式约束函数g是凸函数，等式约束h是仿射函数，则上述问题就是求凸函数在凸集上的极小点，这类问题就称作凸优化。

3.1 凸优化问题的优势：

1. 凸优化问题的局部最优解就是全局最优解
2. 很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题（例如拉格朗日对偶问题）
3. 凸优化问题的研究较为成熟，当一个具体问题被归为一个凸优化问题，基本可以确定该问题是可以被求解的

3.2 相关数学概念：

3.2.1. 凸集

定义：
C是凸集，如果对于任意的x，y$\in$C和任意的$\theta \in$R，满足0 $\le$ $\theta$ $\le$ 1时，$\theta$x+(1-$\theta$)y$\in$C恒成立

几何含义：
直观来说，任取一个集合中的两点连成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集。

3.2.2. 仿射函数

仿射函数即由1阶多项式构成的函数，一般形式为$\mathbb f (x)= Ax+b$，这里，$A$是一个$m *k$矩阵，$x$是一个$k$向量，$b$是一个$m$向量，实际上反映了一种从$k$维到$m$维的空间映射关系

https://blog.csdn.net/houhuipeng/article/details/92836041

3.2.3. 凸函数

定义：
定义在$\mathbb R^n$$\to \mathbb R$上的函数$\Bbb f$是凸函数，如果它的定义域$\mathbb D(\Bbb f)$是一个凸集且对任意的$\Bbb x, \Bbb y \in \mathbb D$和$0 \le \theta \le 1$, $\Bbb f (\theta x + (1-\theta )y) \le \theta \Bbb f(x) +(1-\theta) \Bbb f(y)$恒成立

对实数集上的函数，可通过求解二阶导数来判别：

• 若二阶导数在区间上非负，则成为凸函数
• 若二阶导数在区间上恒大于0，则称严格凸函数

仿射函数也是凸函数，只是不是严格凸函数

几何意义：

凸函数性质：
凸函数的局部极小点是全局极小点：
证明：
若\dot{x}是凸函数f(x)的局部极小点，假设\exists \hat{x}\in S，使得f(\dot{x})>f(\hat {x})，由凸集性质，对于$0<\theta <1$，有：
$\begin {aligned} \theta \dot{x}+(1-\theta)\hat{x}\in S \end {aligned}$
由凸函数定义，有：
$f(\theta \hat{x}+(1-\theta)\dot{x} ) \le \theta f(\hat{x})+(1-\theta)f(\dot{x})$
$\therefore f(\dot{x}+\theta (\hat{x}-\dot{x}) ) \le f(\dot{x})+\theta (f(\hat{x})-f(\dot{x}))<f(\dot{x})$
上述不等式与$\dot{x}$是局部极小值矛盾，因此可以得出凸函数的局部极小值就是全局极小值

https://blog.csdn.net/sinat_34072381/article/details/83685431

四、凸二次规划问题

凸二次规划问题是凸优化问题的一个特殊形式，当目标函数是二次型函数且约束函数g是仿射函数时，就变成一个凸二次规划问题。凸二次规划问题的一般形式为：
$min _x :{1\over 2}x^TQx+c^Tx\\ s.t. \\ Wx\le b$

• 若Q是半正定矩阵，则上面的目标函数是凸函数，相应的二次规划为凸二次规划问题；此时若约束条件定义的可行域不为空，且目标函数在此可行域有下界，则该问题有全局最小值
• 若Q为正定矩阵，则该问题有唯一的全局最小值

https://blog.csdn.net/promisejia/article/details/81241201#%E7%BA%A6%E6%9D%9F%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98