凸優化
內積
定義在n維實向量集合Rn 上的標準內積爲，對任意的x,y∈Rn ，
<x,y>=xTy=∑i=1nxiyi
採用符號
xTy 代替
<x,y> 。向量
x∈Rn 的Euclid範數，或
l2 -範數，定義爲
∥x∥2=(xTx)12=(x21+⋯+x2n)12
對於任意的
x,y∈Rn ，Cauchy-Schwartz不等式是
|xTy|⩽∥x∥2∥y∥2 。兩個非零向量
x,y∈Rn 之間（無符號）的夾角定義爲
∠(x,y)=arccos(xTy∥x∥2∥y∥2)
其中，我們取
arccos(u)∈[0,π] 。
定義在m×n 實矩陣集合Rm×n 上的標準內積爲，對任意X,Y∈Rm×n
<X,Y>=tr(XTY)=∑i=1n∑j=1nXijYij
上確界和下確界
假定C⊆R 。如果對每一個x∈C 成立x≤a 則稱a是C的上界。C的上界組成的集合或者是空集（此時稱C無上界），或者等於R （僅當C=∅ ，或者是閉的無限區間[b,∞) 。我們稱b爲C的最小上界或上確界，用supC 表示。我們規定sup∅=−∞ ，當C無上界時取supC=∞ 。當supC∈C 時，我們說C的上確界是可達的。
類似地，我們可以定義下界和下確界。如果對每一個x∈C 成立a≤x 則稱a是C的下界。C∈R 的下確界（或最大下界）定義爲infC=−sup(−C) 。我們規定inf∅=∞ ，並在C無下界時，取infC=−∞ 。
基本的矩陣-向量運算成本
向量運算
爲了完成兩個向量x,y∈Rn 的內積運算xTy ，我們要先計算乘積xiyi 然後將它們相加，這需要n 次乘法和n−1 次加法，或者2n−1 次浮點運算。如上所述，我們只保留主導項，稱內機運算需要2n 次浮點運算。標量-向量乘積αx ，其中α∈R,x∈Rn ，耗費n 次浮點運算。兩個向量的加法也耗費n 次浮點運算。如果向量x 和y 時稀疏的，這些基本運算可以更快地完成（如果向量用恰當的數據結構存儲）。
矩陣-向量相乘
矩陣-向量相乘y=Ax ，其中A∈Rm×n ，成本爲2mn 次浮點運算：我們必須算y 的m 個分量，每個分量是A 的行向量和x 的乘積，即兩個Rn 向量的內積。利用A 的結構經常可以對矩陣-向量相乘運算進行加速，如果A 是稀疏矩陣，僅有（總數爲mn 中的）N 個非零元素，那麼只需要2N 次浮點運算就可以確定Ax 。
矩陣-矩陣相乘
矩陣-矩陣相乘C=AB ，其中A∈Rm×n ，B∈Rn×p ，需要2mnp 次浮點運算。因爲我們需要計算C 的mp 個元素，而每個元素是兩個長度爲n 的向量的內積。同樣，經常可以利用A 和B 的結構大幅度節省計算量。
符號
一些特殊的集合
| 符號 |
意義 |
| R |
實數 |
| Rn |
實n− 維向量（n×1 矩陣） |
| Rm×n |
實m×n 矩陣 |
| R+,R++ |
非負、正實數 |
| C |
複數 |
| Cn |
復n− 維向量 |
| Cm×n |
復m×n 矩陣 |
| Z |
整數 |
| Z+ |
非負整數 |
| Sn |
對稱n×n 矩陣 |
| Sn+,Sn++ |
對稱半正定、正定n×n 矩陣 |
向量和矩陣
| 符號 |
意義 |
| 1 |
所有分量爲1的向量 |
| ei |
第i 個標準基分量 |
| I |
單位矩陣 |
| XT |
矩陣X 的轉置 |
| XH |
矩陣X 的Hermitian（複共軛）轉置 |
| trX |
矩陣X 的跡 |
| λi(X) |
對稱矩陣X 的第i 大特徵值 |
| λmax(X),λmin(X) |
對稱矩陣X 的最大、最小特徵值 |
| σi(X) |
對稱矩陣X 的第i 大奇異值 |
| σmax(X),σmin(X) |
對稱矩陣X 的最大、最小奇異值 |
| X+ |
矩陣X 的Moore-Penrose逆或僞逆 |
| x⊥y |
向量x 和y 正交：xTy=0 |
| V⊥ |
子空間V 的正交補 |
| diag(x) |
對角元素爲x1,⋯,xn 的對角矩陣 |
| diag(X,Y,⋯) |
對角塊爲X,Y,⋯ 的分塊對角矩陣 |
| rankA |
矩陣A 的秩 |
| R(A) |
矩陣A 的值域 |
| N(A) |
矩陣A 的零空間 |
範數和距離
| 符號 |
意義 |
| ∥⋅∥ |
範數 |
| ∥⋅∥∗ |
範數∥⋅∥ 的對偶範數 |
| ∥x∥2 |
向量x 的Euclid（或l2 -）範數 |
| ∥x∥1 |
向量x 的l1 -範數 |
| ∥x∥∞ |
向量x 的l∞ -範數 |
| ∥X∥2 |
矩陣X 的譜範數（最大奇異值） |
| B(c,r) |
以c 爲中心r 爲半徑的球 |
| dist(A,B) |
集合（或點）A 和B 之間的距離 |
廣義不等式
| 符號 |
意義 |
| x⪯y |
向量x 和y 之間的分量不等式 |
| x≺y |
向量x 和y 之間的嚴格分量不等式 |
| X⪯Y |
對稱矩陣X 和Y 之間的矩陣不等式 |
| X≺Y |
對稱矩陣X 和Y 之間的嚴格矩陣不等式 |
| x⪯Ky |
由正常錐K 導出的廣義不等式 |
| x≺Ky |
由正常錐K 導出的嚴格廣義不等式 |
| x⪯K∗y |
對偶廣義不等式 |
| x≺K∗y |
對偶嚴格廣義不等式 |
拓撲與凸分析
| 符號 |
意義 |
| cardC |
集合C 的基數 |
| intC |
集合C 的內部 |
| relintC |
集合C 的相對內部 |
| clC |
集合C 的閉包 |
| bdC |
集合C 的邊界：bdC=clC∖intC |
| convC |
集合C 的凸包 |
| affC |
集合C 的仿射包 |
| K∗ |
K 的對偶錐 |
| IC |
集合C 的示性函數 |
| SC |
集合C 的支撐函數 |
| f∗ |
f 的共軛函數 |
概率
| 符號 |
意義 |
| EX |
隨機向量X 的期望值 |
| probS |
事件S 的概率 |
| varX |
標量隨機變量X 的方差 |
| N(c,∑) |
均值爲c 、協方差（矩陣）爲∑ 的高斯分佈 |
| Φ |
隨機變量N(0,1) 的累積分佈函數 |
函數和導數
| 符號 |
意義 |
| f:A→B |
f 是從集合domf⊆A 到集合B 的函數 |
| domf |
函數f 的定義域 |
| epif |
函數f 的上境圖 |
| ∇f |
函數f 的導數 |
| ∇2f |
函數f 的Hessian矩陣 |
| Df |
函數f 的導數（Jacobian）矩陣 |
