凸優化理解01_分類與定義

線性規劃與非線性規劃

線性規劃的特點是最優解在頂點或者邊上，否則爲非線性規劃。

凸規劃和非凸規劃

仿射集=》仿射組合（泛化）/仿射包

直線是仿射集，線段不是：任意連接任意兩點的直線也在原集合中；

線性方程$c=\{x|Ax=b\}$的解集是一個仿射集合。反之任意仿射集合可以表示爲一個線性方程組的解集。

引出子空間：
$v=\{x-x_0|x \in c\} \forall x_0 \in c \\ =\{x-x_0|Ax = b\}, Ax_0=b \\ =\{x-x_0|A(x-x_0)=0\} \\ =\{y|Ay=0\}$ 該集合是A的零空間（線性代數中的化零空間），對比$c=\{x|Ax=b\}$是一個平移的關係，會平移到集合中至少有一個點經過原點的位置，也就得到原來仿射集的子空間。

任意集合c，需要構造儘可能小的仿射集，引出仿射包的概念：集合$c$中的點的所有仿射組合組成的集合爲集合$c$的仿射包。

光滑和非光滑

光滑的函數一般來說容易解，但不像凸和非凸那麼明顯的區分難易。

連續和離散

離散的一般爲非凸的問題；但連續的不一定爲凸問題。

單目標和多目標

多目標問題加權後可以得到單目標優化問題，但不一定便於理解。