今天開始學Convex Optimization：第3章 Convex Sets and Convex functions

第3章 Convex Sets and Convex functions

凸優化問題的定義

凸集的定義：

定義：給定一個集合$C \subseteq \mathbb{R}^n$,滿足下列條件則稱爲凸集：$x,y \in C \Rightarrow tx+(1-t)y \in C$ 對於任意的 $0≤t≤1$

直觀上看，可以利用下圖幫助理解，假定我們的變量在二維空間中，x,y爲二維空間變量，黑體線代表的向量爲tx+(1−t)y，t取值範圍爲[0,1]，那麼無論t怎麼變化，向量tx+(1−t)y總會落在x和y張成的集合空間中。[3]

那麼從定義出發，我們也能知道非凸集的情況，下圖左側爲凸集，右圖爲非凸集。一句話來概括凸集就是集合內任意兩點間連線依舊在集合內。

convex hull（凸包） 定義：

給定集合內的任意k個元素$x_1,...,x_k \in \mathbb{R}^n$,任意的線性組合形式：$\theta_1 x_1+...+\theta_k x_k,\theta_i \geq 0, \sum_{i=1}^{k}\theta_i=1$，稱之爲集合的convex hull,表示爲$conv(C)$。convex hull總是凸的。可以直觀認爲凸包就是最外圍的元素所圍成的集合外殼，下圖是兩個凸包的例子：

一些凸集的examples：

錐（Cone）和凸錐（Convex Cone）的定義

範數錐(Norm cone):$\left \{(x,t):||x|| \leq t \right \}$，對於一範數和二範數成立。下圖取定不同的t做出了三維情況下的圖

（討論：這裏我感覺用字母$t$有一些歧義，和上面定義中的$t$不是一個含義。範數錐中的$t$是定義域中的一個維度變量；而上面錐定義中的$t$是表示一個常數）：

凸集的性質：

• 可分離超平面理論（Separating hyperplane theorem）：兩個不相交的凸集總存在一個超平面能將兩者分離，如果$C⋂D=∅$,那麼總存在着a,b使得有: $C \subseteq \left \{x:a^Tx \leq b \right \}$，$D \subseteq \left \{x:a^Tx \geq b \right \}$

• 支撐超平面理論(Supporting hyperplane theorem):凸集邊界上的一點必然存在一個支撐超平面穿過該點，即如果C都是非空凸集，
  $x_0 \in bound(C)$，那麼必然存在一個超平面a，使得, $C \subseteq \left \{x:a^Tx \leq a^T x_0 \right \}$。如下圖：

保凸操作：

（上面是$f^{-1}(D)$，因爲借用了[3]的截圖，就不重新打了。）

一個例子：

這一章都是一些概念，看的有點暈，哈哈。下面看一下一個證明的例子：

給定一系列的$n\times n$的對稱矩陣，有一種線性矩陣不等式如下，其中$x \in R^k$。證明：$x$組成的集合C是凸集。

證明過程思路上面寫了：只要根據前面提過的凸集定義去證明就行了。如果有$x,y \in C$，只要證明$tx+(1-t)y \in C$，
其中$0\leq t \leq 1$，就可以了。根據題目，我們可以知道：
$tv^T B v - \sum_{i=1}^{k}tx_iv^TA_i v \geq 0 \\ (1-t)v^T B v - \sum_{i=1}^{k}(1-t)y_iv^TA_i v \geq 0$

然後我們可以推出

$v^T \left(B - \sum_{i=1}^{k}(tx_i + (1-t)y_i)A_i \right) v \\ = v^T B v - \sum_{i=1}^{k}(tx_i + (1-t)y_i)v^TA_i v \\ = (t + (1-t))v^T B v - \sum_{i=1}^{k}(tx_i + (1-t)y_i)v^TA_i v \geq 0\\$

所以$v^T \left(B - \sum_{i=1}^{k}(tx_i + (1-t)y_i)A_i \right) v \geq 0$，即 $\sum_{i=1}^{k}(tx_i + (1-t)y_i)A_i \preceq B$，即證明了$tx+(1-t)y \in C$。所以$x$組成的集合C是凸集。

Convex Function

定義：給定映射$f:\mathbb{R}^n \rightarrow \mathbb{R}$並且$\text{dom} (f) \subseteq \mathbb{R}^n$爲凸集，那麼

$f(tx+(1-t)y) \leq tf(x)+(1-t)f(y)$ 對於任意$0\leq t \leq1$，且 任意$x,y\in \text{dom}(f)$。如下圖：

從上圖可以看出，$f$的函數值總是位於連接$f(x)$和$f(y)$之間的直線下方。
類比可以理解一下concave函數的定義，很容易得到負的convex函數就是concave函數。

Strictly Convex和Strongly Convex

一些凸函數的例子：

凸函數重要的一階特性(First-order characterization)

假設$f$處處可微，則$f$爲凸函數，當且僅當$\text{dom}(f)$爲凸，並且對於所有$x,y\in \text{dom}(f)$有

$f(y) \geq f(x)+\nabla f(x)^T(y-x)$

一階特性也說明了對於一個可微凸函數$f$，$\nabla f(x)= 0$ 等價於 $x$ minimizes $f$。

證明一階特性：根據凸函數的定義有（如果$y=x$，上面性質顯然成立）

$f(ty+(1-t)x) \leq tf(y)+(1-t)f(x) \\ f(t(y-x)+x) - f(x) \leq t(f(y)-f(x)) \\$

假設$y-x > 0$可以推出下面結果；如果$y-x < 0$下面的不等號相反，最後得到的結果是一致的。這裏我們按照假設$y-x > 0$來推：

$\frac{f(t(y-x)+x)-f(x)}{t(y-x)}\leq \frac{f(y)-f(x)}{y-x}$

觀察左邊：

$\lim_{t\rightarrow0} \frac{f(t(y-x)+x)-f(x)}{t(y-x)}=\nabla f(x)$

代入得到：

$\nabla f(x)(y-x) \leq f(y)-f(x)$

所以：$f(y) \geq f(x)+\nabla f(x)(y-x)$

凸函數的二階特性

二階特性：如果函數二階可微分，則$f$爲凸函數，當且僅當$\text{dom}(f)$爲凸，且對於所有$x\in \text{dom}(f)$ 都有$\nabla^2 f(x)\succeq 0$

Jensen’s Inequality

假若$f$爲凸，並且$X$由$dom(f)$所支持的隨機變量，則有$f(E[x])≤E[f(x)]$。Jensen’s inequality很重要，可以簡單記憶成，期望的函數值小於等於函數的期望，期望也可以用均值來代替。

保凸操作

其中the set $S$ is the number of functions $f(x)$, which can be infinite.

好了，本篇就到這裏，借鑑了參考資料中的很多內容。下一章繼續。

參考資料

[1] Convexity I: Sets and Functions
[2] http://www.stat.cmu.edu/~ryantibs/convexopt/scribes/convex-fns-scribed.pdf
[3] https://www.cnblogs.com/Lin-chun/p/6875184.html