凸優化基本概念-仿射集，凸集，凸錐

1）凸集，凸函數，凸優化
仿射集
例1：任何一個線性方程的解集一定是一個仿射集
$c=\{x|AX = b\},A \in R^{m\times n},b \in R^m,x \in R^n$

證明如下：
$\forall X_1,X_2 \in c$,$AX_1 = b,AX_2 = b$
$\theta \in R$,$\theta X_1 + (1-\theta)X2 \in c$
$A(\theta X_1 + (1-\theta)X2) = b$
$=\theta AX_1 +(1-\theta)AX_2$
$=b$

例2:
$v = \{ X-X_0|X \in c\},\forall X_0 \in c$
$= \{X-X_0|AX = b\},AX_0 = b$
$\{X-X_0|A(X-X_0) = 0\}$
令$X-X_0 = y$,則上式可以寫爲：
$\{ y|Ay = 0\}$
則$y$爲$A$的畫零空間

二 給定任意集合$c$,構造儘可能小的仿射集

仿射包：
aff $c = \{\theta X_1 + \theta X_2 + ....\theta_RX_R|\forall x_i \in R,\forall \theta_1+.....\theta_R = 1\}$

凸集（convex set）：
一個集合$c$是凸集，當任意兩點之間的線段仍然在$c$內，
$c$爲凸集$\Leftrightarrow \forall x_1,x_2 \in c,\forall \theta,\theta \in \lceil 0,1\rceil, \theta x_1 + (1-\theta)x_2 \in c$

$x_1,x_2,.........x_n$的凸組合，$\theta_1,\theta_2........\theta_R \in R,$,
$\theta_1+\theta2+\theta_3....+\theta_n = 1$
$\theta_1......\theta_R \in \lceil 0,1 \rceil$
則$\theta_1x_1+\theta_2x_2+.......\theta_kx_k$稱爲凸組合

$c$爲凸集 $\Leftrightarrow$則$c$中任意元素的凸組合一定在$c$內。
凸包：conv $C = \{ \theta_1x_1+\theta_2x_2.......+\theta_Rx_R| \forall x_1,x_2,....x_r \in c,\forall \theta_1,\theta_2,......\theta_r \in \lceil0,1\rceil,\theta_1+.......\theta_R =1\}$

錐Cone ，凸錐convex Cone
C 是錐$\Leftrightarrow \forall x \in c ,\theta \geqslant 0,\theta x \in C$
C是凸錐$\Leftrightarrow \forall x_1,x_2 \in c ,\theta_1,\theta_2 \geqslant 0,x_1\theta_1 + x_2\theta_2 \in c$

凸錐組合
$\theta_1x_1+\theta_2x_2+.....+\theta_kx_k,\theta_1,\theta_2,\theta_3.....\theta_k \geqslant 0$
凸錐包
$x_1,x_2,......x_k \in c,\{\theta_1x_1+\theta2 x_2+....\theta_kx_k|x_1,x_2....x_k \in c,\theta_1,\theta_2,.......\theta_k \geqslant 0$

總結：
仿射組合
$\forall \theta_1,........\theta_k,\theta_1+....+\theta_k = 1$
凸組合
$\forall \theta_1.......\theta_k,\theta_1+......+\theta_k = 1,\theta_1.....\theta_k \in \lceil 0,1\rceil$

凸錐組合
$\forall \theta_1,........\theta_k,\theta_1.....\theta_k \geqslant 0$

課程鏈接