凸優化問題01：概述

前言

最近在學習數據挖掘相關過程，之前已經學習了樸素貝葉斯和SVM，但沒有及時記錄下來，之後可能會補發相關的學習筆記，目前的學習系列是凸優化的學習內容，內容會比較詳細，可能涉及公式推導之類的基礎問題。

凸優化基礎知識體系

在正式講述什麼是凸優化之前，我們需要大致瞭解一些凸優化的相關概念，進而引入凸優化，以下是幾個重要相關概念的筆記：

一個簡單的定理證明

定理證明

在介紹凸優化相關概念之前，首先介紹一個簡單的定理，這個定理的內容是：
For any x₁，x₂$\in\mathbb R$, 且 x₁<x₂, 若x₀$\in\mathbb [x_1,x_2]$，則
$x_0= x_1\theta+x_2(1-\theta)$
$(其中0\leq\theta\leq1)$
這個定理是很容易證明的，具體如下：

如圖，該直線上有三個點：x₀，x₁和x₂，其中x₀位於x₁和x₂之間，引入一個參數 t:$t=\frac{x_0-x_1}{x_2-x_1}$
t的範圍即爲[0，1]
$則x_0=(x_2-x_1)t+x_1$
$整理可得 x_0=(1-t)x_1+tx_2$
從而得證。

從一維推導至多維

上述結論可以由一維推廣到多維，具體來說：
For any X，Y$\in\mathbb R^d$, 其中 X = (x₁, x₂, …, x_d), Y = (y₁, y₂, …,y_d), 若任取一個Z 位於X, Y的連線上，則
$Z= X\theta+Y(1-\theta)$
$(其中0\leq\theta\leq1)$
 

凸集（convex sets）

凸集，定義目標函數和約束函數的定義域。
英文的準確表述爲：
A set C is convex if the lines segment between any two points in C lines in C, i.e., if for any x₁, x₂$\in\mathbb C$, and any $\theta$ with 0<$\theta$<1, we have:
$\theta x_1+(1-\theta )x_2\in\mathbb C$
舉個例子來說：
(one convex, two nonconvex sets)

 

凸集（convex sets）與仿射集（Affine Set）區分

仿射集：如果通過集合 C 中任意兩個不同點之間的直線仍在集合C中，那麼稱集合C是仿射的。

凸集：如果通過集合 C 中任意兩個不同點之間的線段仍在集合C中，那麼稱集合C是凸的。

因爲仿射集的條件比凸集的條件強，所以仿射集必然是凸集。
 

凸函數（convex function）

凸函數定義

函數f(x): Rⁿ$\rightarrow$R 爲凸函數，當且僅當滿足如下條件：

1. x的定義域 D(f) 爲凸；即for any x, y$\in$ D(f), $\theta x+(1- \theta )\in D(f)$ $( 0\leq\theta\leq1)$
2. 對上述x, y, $\theta$ 滿足 f($\theta$x+(1-$\theta$)y)$\leq$ $\theta$ f(x)+ (1-$\theta$) f(y)

凸函數舉例

1. 一維上
   幾何意義表示爲函數任意兩點連線上的值大於對應自變量處的函數值，示意圖如下：
   
   由圖可以看出，f(z) = f($\theta$x+(1-$\theta$)y) < $\theta$ f(x)+ (1-$\theta$) f(y)
   一維情況下，不嚴格的說，凸函數是弦在上的函數。

2. 二維上
   
   由圖可以看出，f(x₀) = f($\theta$x₁+(1-$\theta$)x₂) < $\theta$ f(x₁)+ (1-$\theta$) f(x₂)

常見的一些凸函數

 
 

凸優化

凸優化是約束優化的特殊形式（即要求定義域和目標函數均爲凸函數）
其具體定義爲：
A convex optimization problem is one of the form
$minimize f_0(x)$
$subject \ to \ f_i(x)\leq b_i, i = 1, \ldots, m$
where the function f₀, $\ldots$,f_m: Rⁿ $\rightarrow$R are convex, i.e., satisfy
$f_i(\alpha x+\beta y) \ \leq \alpha f_i(x)+\beta f_i(y)$
for all x, y $\in$ Rⁿ and all $\alpha$, $\beta$ $\in$R with $\alpha + \beta$ = 1, $\alpha \geq 0$, $\beta \geq 0$.

 

參考資料

關於凸優化的一些簡單概念
北京大學凸優化課程PPT