優化問題

一、約束優化問題：

$min_w f(w) \\ s.t. \\ g_i(w)\le 0 (i=1,...,k)\\h_j(w)=0(j=1,...l)$

二、二次規劃問題：

基本定義

二次規劃問題(Quadratic Programming)是非線性規劃問題(NLP)問題的特例，即當目標函數$f$爲二次型約束且約束$h,g$在$x \in R^n$爲線性約束時，這類NLP問題被稱爲QP問題，其一般形式表述爲如下：
$minimize:$ $f(x) = \frac 12 x^TBx-x^Tb, x \in R^n$
$s.t.$
$A_1x=c$
$A_2x\le d$
在以上公式中，$B\in R^{n*n}$是對稱矩陣，$b \in R^n, A_1\in R^{m*n},c\in R^m, A_2 \in R^{p*n}, d\in R^p$

1. 如果B是正定矩陣，則這個問題稱爲嚴格的凸二次規劃問題
2. 如果B是半正定矩陣，則問題稱爲凸二次規劃問題

對於二次規劃，可行域只要不空就一定是凸集，所以當目標函數是凸函數時，二次規劃的任何K-T點一定爲二次規劃的全局極小點。

相關概念：

KT點：
KT點就是滿足Kuhn-Tucker條件的點，

三、 凸優化：

凸優化問題是特殊的約束最優化問題，其一般形式和約束最優化問題一樣。
$min_w f(w) \\ s.t. \\ g_i(w)\le 0 \quad (i=1,...,k) \\h_j(w)=0 \quad (j=1,...l)$

假設f、g、h在定義域內是連續可微的，且目標函數f和不等式約束函數g是凸函數，等式約束h是仿射函數，則上述問題就是求凸函數在凸集上的極小點，這類問題就稱作凸優化。

3.1 凸優化問題的優勢：

1. 凸優化問題的局部最優解就是全局最優解
2. 很多非凸問題都可以被等價轉化爲凸優化問題或者被近似爲凸優化問題（例如拉格朗日對偶問題）
3. 凸優化問題的研究較爲成熟，當一個具體問題被歸爲一個凸優化問題，基本可以確定該問題是可以被求解的

3.2 相關數學概念：

3.2.1. 凸集

定義：
C是凸集，如果對於任意的x，y$\in$C和任意的$\theta \in$R，滿足0 $\le$ $\theta$ $\le$ 1時，$\theta$x+(1-$\theta$)y$\in$C恆成立

幾何含義：
直觀來說，任取一個集合中的兩點連成一條線段，如果這條線段完全落在該集合中，那麼這個集合就是凸集。

3.2.2. 仿射函數

仿射函數即由1階多項式構成的函數，一般形式爲$\mathbb f (x)= Ax+b$，這裏，$A$是一個$m *k$矩陣，$x$是一個$k$向量，$b$是一個$m$向量，實際上反映了一種從$k$維到$m$維的空間映射關係

https://blog.csdn.net/houhuipeng/article/details/92836041

3.2.3. 凸函數

定義：
定義在$\mathbb R^n$$\to \mathbb R$上的函數$\Bbb f$是凸函數，如果它的定義域$\mathbb D(\Bbb f)$是一個凸集且對任意的$\Bbb x, \Bbb y \in \mathbb D$和$0 \le \theta \le 1$, $\Bbb f (\theta x + (1-\theta )y) \le \theta \Bbb f(x) +(1-\theta) \Bbb f(y)$恆成立

對實數集上的函數，可通過求解二階導數來判別：

• 若二階導數在區間上非負，則成爲凸函數
• 若二階導數在區間上恆大於0，則稱嚴格凸函數

仿射函數也是凸函數，只是不是嚴格凸函數

幾何意義：

凸函數性質：
凸函數的局部極小點是全局極小點：
證明：
若\dot{x}是凸函數f(x)的局部極小點，假設\exists \hat{x}\in S，使得f(\dot{x})>f(\hat {x})，由凸集性質，對於$0<\theta <1$，有：
$\begin {aligned} \theta \dot{x}+(1-\theta)\hat{x}\in S \end {aligned}$
由凸函數定義，有：
$f(\theta \hat{x}+(1-\theta)\dot{x} ) \le \theta f(\hat{x})+(1-\theta)f(\dot{x})$
$\therefore f(\dot{x}+\theta (\hat{x}-\dot{x}) ) \le f(\dot{x})+\theta (f(\hat{x})-f(\dot{x}))<f(\dot{x})$
上述不等式與$\dot{x}$是局部極小值矛盾，因此可以得出凸函數的局部極小值就是全局極小值

https://blog.csdn.net/sinat_34072381/article/details/83685431

四、凸二次規劃問題

凸二次規劃問題是凸優化問題的一個特殊形式，當目標函數是二次型函數且約束函數g是仿射函數時，就變成一個凸二次規劃問題。凸二次規劃問題的一般形式爲：
$min _x :{1\over 2}x^TQx+c^Tx\\ s.t. \\ Wx\le b$

• 若Q是半正定矩陣，則上面的目標函數是凸函數，相應的二次規劃爲凸二次規劃問題；此時若約束條件定義的可行域不爲空，且目標函數在此可行域有下界，則該問題有全局最小值
• 若Q爲正定矩陣，則該問題有唯一的全局最小值

https://blog.csdn.net/promisejia/article/details/81241201#%E7%BA%A6%E6%9D%9F%E4%BC%98%E5%8C%96%E9%97%AE%E9%A2%98