摘自：http://hi.baidu.com/jrjian/item/38ad9c8139aeccdad1f8cd04
L1範數
通常情況下，欠定線性方程是沒有唯一解的，如果加上其他的條件則可以縮小解得範圍，比如加上二範數最小化這個條件，則方程可以得到最小范數解，該解唯一，我們知道二範數是能量的度量單位，它是用來度量重構誤差的，如果我們不用二範數改用另外的附加條件，比如稀疏性，要求方程的解具有最小數目的非零項，也就是零範數，那麼方程到底有沒有唯一解，怎麼證明求得的是全局解而不是局部解，此外假設有全局的唯一解，那麼求解過程呢，是一個NP問題，既然零範數具有現實意義，那麼可不可以找它的近似解呢，這就引出了l1範數最小化問題，用1範數來代替0範數的話，他們最終求的解是不是一致，是不是1範數求的解一定是0範數解的近似值，這兩個解得誤差有多大，是不是可以被接受，當然這些問題不屬於我們這些搞圖像處理的小魚小蝦來研究，我們只需要接受結果就行，剩下的證明推導是那些搞應用數學的大牛的事情。再看一下信號處理領域的Sparse，我們應該熟悉JPEG跟JPEG2000的區別吧，JPEG的核心算法是DCT，而後者是DWT，本質上，這兩種處理方法都是將信號從一個域變換到另外一個域（把座標系進行旋轉，將信號投影到不同的基上），從而獲得信號的稀疏表示，即用最少的係數來表示信號，不過DWT比DCT更加稀疏而已。信號不同，對應最稀疏表達的基也會不同，比如，對於一維信號可能小波基是最稀疏的，而對於圖像而言，可能那些Curvelet和contourlet是最優的，對於有些信號，也有可能需要將幾種基結合起來纔是最優的。當然，我們可以通過求解零範數問題來得到信號的最稀疏表達。
人們習慣於用正交基來表示信號，直到最近幾十年，人們才發現用冗餘的基元素集合來表示信號能夠取得更好的結果，當然我們追求的肯定是用最小數量的基元素來最優的表示信號，這就出現了信號的稀疏表示。
L1範數最小化最早並不是Donoho提出的，早在80年代，Fadil Santosa 和William Symes就曾提出了L1範數的最小化，而Donoho提出Compressed sensing 並不是換湯不換藥，CS並不是解決信號在一個完備集裏面的最優表示問題的，而是提出了一種新的信號採集或者測量方式，這種新的測量方式打破了Shannon-Nyquist定理在信號處理領域一手遮天的局面，已經提出，就引起了相關領域大批學者的關注。Shannon-Nyquist採樣定理要求在信號的採集階段以高於信號帶寬的兩倍採樣率來獲取信號，信號才能得到完美的重構，而CS則對信號的帶寬不再作要求，取而代之的是稀疏性，滿足條件的信號則可在遠少於SN採樣率的情況下精確的重構信號。
從數學上來說，CS是在一定的條件下求解欠定方程，條件包括x要是稀疏的，測量矩陣要滿足RIP條件，那麼欠定方程就會以很大的概率有唯一解
當然求解信號的稀疏表達問題，被分成兩種類型：L1範數最小化，和啓發式的貪婪算法。L1範數最小化是通過用L1範數來近似0範數，取1而不取1/2,2/3或者其他值，是因爲1範數最小化是凸優化問題，可以將求解過程轉化成有一個線性規劃問題