凸優化

凸優化

原創

天青如水

2020-02-21 10:24

仿射集

與仿射集相關聯的子空間與v0的選取無關，爲什麼？這句話的幾何意義是什麼？
2個不同的點構成的點集，其仿射包是什麼？3個不共線的點構成的點集，其仿射包是什麼？…
兩個集合{線性空間(及線性子空間）}與{仿射集}，哪個集合更大？
例2.1證明了線性方程組的解集是仿射集，反之，任意仿射集都可以表示爲一個線性方程組的解集，請給出嚴格的證明。

從幾何上看，子空間是一定包含零點的一個集合，V0只是確定了子空間與仿射集的距離，v0只要是C中的就可以了，並不影響子空間的確定。
直線，二維平面
仿射集大,{線性空間}包含於{仿射集}，線性空間一定是仿射集，反之不一定。並且線性空間一定經過原點，仿射集不一定。
設C是非零仿射集，V是C對應的子空間， $T=V^+\ e_1,e_2,\cdots,e_m$ ,爲T的基向量。
任意y屬於V，都有 ${e_1}^Ty=0,{e_2}^Ty=0\cdots{e_m}^Ty=0$ ,設 $A=[e_1,e_2,\cdots,e_m]^T$ ,A是 $m\times n$ 矩陣。所以Ay=0。
又因爲V=C-a，所以任意x屬於C，x=y+a
$Ax=Ay+Aa=Aa=b$ ,證明成立
當C是空集時，不存在x，使得Ax=b，滿足題意。

凸集

想想凸集的本質是什麼，與仿射集有什麼不同？
書上的習題2.1、2.4建議做一下

2.4表明，任給一個集合，能夠包住它的凸集有無數個，但是其中最小的是它的凸包，而這個凸包，正好是所有包住這個集合的凸集的公共部分

總結一下：不考慮空集、單點集這些意義不大的玩意。
1、仿射集是那些平直的，沒有方向限制可無限延伸的東西，例如直線、平面、…、高維超平面。它們的本質特徵就是在其中取兩個不同的點畫直線，跑不出去
2、凸集就是向外鼓起的東西，例如球、長方體、…、高維空間中的超球，其本質特徵是在其中任取兩個點連線段，跑不出去
3、錐是從原點出發向一個方向平直無限延伸的東西，例如頂點在原點的圓錐。其本質特徵是從原點出發過其中任意一點連射線，跑不出去。從原點出發的兩條不同的射線是錐，兩個共原點的不同的圓錐也是錐
4、仿射集一定是凸集
5、凸錐就是凸的錐，也就是說既是錐也是凸集。從原點出發的兩條不同的射線是錐，但不是凸錐

一個目標函數定義在某個集合（可行解集合）上，優化問題就是從這個集合中找出使目標函數最優（例如達到最小值）的那個解。一般而言，優化問題並不容易求解，但是如果目標函數是凸函數，可行解集合是凸集，那麼就有解決問題的方法，這就是凸優化要研究的內容

超平面

思考幾個問題：

超平面的“維數”是多少？超平面方程中b有什麼含義？
單純性一定是多面體，試着給出嚴格的證明。
看一下附錄a中的範數概念，然後思考在二維和三維空間中，1範數球、2範數球、∞ 範數球的形狀；1範數錐、2範數錐、∞ 範數錐的形狀。

關於超平面的“維數”：在R^n中，超平面a’x=b是仿射集（所以也是凸集），它的維數就是與之相關的子空間的維數，所以維數是n-1。這個子空間的正交補是1維的，超平面的法向量a就是正交補空間的一個基
維數是線性空間中極大線性無關組的向量個數，或者說是基向量的個數。超平面，一般不是線性空間，所以嚴格來說沒有基，也就沒有維數。但是超平面是仿射集，所以它有對應的線性子空間，這個線性子空間的維數就定義爲超平面的維數。而這個線性子空間正是其法向量張成的一維空間的正交補空間，所以它的維數是n-1
超平面方程中b的意義：超平面方程是a’x=b，x是超平面上的任意一點，所以常數b是超平面上任何一點與法向量a的內積
那麼，原點到超平面的距離是多少呢？就是x在a上的投影長度，所以是|b|/||a||
範數球二維空間
- 範數球三維空間
範數錐二維空間
範數錐三維空間
三維情況下，2範數錐的方程是sqrt(x^2+y2)=z
1範數錐的方程是|x|+|y|=z，∞範數錐的方程是max(|x|+|y|)=z。
注意觀察範數錐在三維空間中的形狀，從上到下的投影與範數球在二維空間中的形狀一致。錐只是比球多了一個變量，隨着Z的增大，就得到了三維圖形。