範數

1. 概念

一個矩陣 x 的 p 範數可以定義爲：

||x||p=∑i|xi|p−−−−−−−√p

• 0 範數
  表示非0元素的個數
• 1 範數
  所有元素的絕對值的和：||x||1=∑i|xi|
• 2 範數
  所有元素的平方和，然後開根號：||x||2=∑i|xi|2−−−−−−√
• 無窮範數
  最大元素的絕對值

2. l0 範數

在壓縮感知（compress sensing）理論中，要找到最稀疏的解（也就是有最少的非0元素個數的解），可以用下式表示：

min||x||0s.t.Ax=b

然而，我們不確定 x 中有幾個非 0 元素，也不確定哪幾個是非 0 元素，要想求解，每種情況都遍歷一遍，這樣的計算量是不可想象的，是一個 NP-hard 問題。

3. NP-hard 問題

什麼是 NP-hard 問題呢，NP是指非確定性多項式。所謂非確定性多項式是指，可用一定數量的運算解決的多項式時間內可以解決的問題。最典型的 NP-hard 問題就是圖論中的旅行、推銷員問題：

已知一個 n 個點的完全圖，每條邊都有一個長度，求總長度最短的，經過每個點各一次的封閉迴路。

必須檢查所有的可行方案，才能確定當前解是否最優，這就是 NP-hard 問題。

4. l1 範數

l1 範數是 l0 範數（非凸）的最優凸近似，比 l0 範數更容易優化求解，所以可以將 l0 範數的優化轉換爲 l1 範數的優化：

min||x||0s.t.Ax=b在一定條件下<=========>概率意義下等價min||x||1s.t.Ax=b

上述式子中所述的在一定條件下，就是壓縮感知理論中所說的：投影矩陣滿足 RIP 性質的條件下。

5. 範數稀疏刻化

如上圖所示，是不同範數的三維空間表示形式，0 範數表示座標軸，1範數是錐體，2範數表示一個球體，從上圖也可以看出，p < 1 時，p範數是非凸的，當 p >= 1 時，是凸的。

如上圖所示，四邊形表示 1 範數，圓環表示目標函數的等高線，目標函數很有可能與l1中的角點首先相交（在角點處相交就產生了稀疏性），而在l2中就沒有角點，也就沒有這樣的特性。所以，通過 l1 範數約束可以求得稀疏解，而通過 l2 範數不能產生稀疏解。

那麼爲什麼上圖中等高線與角點相交的概率更高呢？看下圖所示：

如果圓的中心位於上圖所示的紅色虛線包圍的4個區域，那麼等高線總會先於四邊形的四個邊相交，而如果圓心不在這四個區域，那麼必定先於角點相交。而紅色虛線包圍的區域要遠遠小於除此之外的區域，所以，從概率上說，目標函數很可能與角點首先相交。

當然，對於 lp (0 < p < 1)，與角點相交的可能性就更大，所以比 l1 具有更好的稀疏刻畫能力（但是非凸）。

稀疏刻化能力：l0>lp(0<p<1)>l1>l2