凸優化學習筆記 2：超平面分離定理

個人博客地址 Glooow，歡迎光臨~~~

1. 超平面分離定理

超平面分離定理(Separating hyperplane theorem)：若 $C,D$ 爲非空凸集，且 $C\cap D=\varnothing$，則存在 $a\ne 0,b$，使得
$a^Tx\le b\quad\text{for}\quad x\in C,\quad a^Tx\ge b \quad\text{for}\quad x\in D$
也可以等價表示爲 $\inf_{x\in D}a^Tx \ge \sup_{x\in C}a^Tx$

Lemma 1：$C$ closed，convex，$y\notin C$，那麼存在唯一的 $x\in C$，使得 $\Vert y-x\Vert=\inf\{\Vert y-z\Vert|z\in C\}=d(y,C)$

Proof：omit…

Lemma 2：$C$ closed，convex，$y\notin C$，那麼存在 $a\ne 0,b$，使得
$a^Ty<b,\quad a^Tx\ge b\quad\forall x\in C$
Proof：omit…

Remark：上述定理表明存在超平面可以嚴格分開 $y$ 與 $C$。

Lemma 3：$C$ convex，$y\notin C$，那麼存在 $a\ne 0,b$，使得
$a^Ty\le b,\quad a^Tx\ge b\quad\forall x\in C$
Proof：omit…

超平面分離定理逆定理：若 $C$ 爲開集，且存在超平面分離 $C,D$，則 $C\cap D=\varnothing$

2. 支撐超平面定理

支撐超平面：對於集合 $C$ 的邊界點 $x_0$，支撐超平面爲 $\{x|a^Tx=a^Tx_0\}$，其滿足 $a\ne0$ 且 $a^Tx\le a^Tx_0,\ \forall x\in C$

支撐超平面定理：如果 $C$ 爲凸集，那麼 $C$ 的每個邊界點都存在一個支撐超平面