Compressive Sensing

“People Hearing Without Listening:”

An Introduction to Compressive Sampling

Emmanuel J. Cand`es and Michael B. Wakin

Applied and Computational Mathematics

California Institute of Technology, Pasadena CA 91125

Ｉ．Introduction

文章描述了乃奎斯特採樣定理。

Compressive Sensing依賴於兩個原則：稀疏性（sparsity）和不連貫性（incoherence），前者由信號本身決定，後者由感知系統決定。

Sparsity：表明連續時間信號的“information rate”（信息比率）遠小於帶寬，離散時間信號自由度遠小於其有限的長度。CS揭示了很多自然信號是稀疏的或者是可壓縮的，在合適的基-*下可以有簡潔的表達式。

Incoherence：擴充了、延伸了時域與頻域的二元性，表達瞭如下觀點：在基 下具有稀疏表示的信號一定可以在其獲取的域展開，就像時域裏面的Dirac或者衝擊型號在頻域可以展開表示。不同的，Incoherence表明與感興趣的信號不同，採樣/感知波形在基 下具有相當稠密的表示。（這個特性表明要想信號在一個基下有稀疏表示，）

這些協議是非自適應的，僅僅要求將信號與少量的固定波形相關聯，這些波形是與基Incoherence的，使得信號具有稀疏的表示。使用數值優化進行信號全長度重建。

本文的意圖是概覽CS理論的基礎理論，產生於【1】【2】，表達理論的主要的數學觀點，調查該領域的一些重要問題。

II．信號感知問題（The Sensing Problem）

信號 ，獲取值 （1）

波形 ，標準設置。如果感知波形爲單位脈衝函數（Spike），那麼 是 在時域或者空域的一個採樣值向量。如果感知波形爲像素的指標函數（Indicator Function），那麼 是數碼相機中傳感器獲取的信號。最後，如果波形是正弦函數， 是Fourier係數矢量，這對應了ＭＲＩ中的感知形式，尚有很多其他的實例。

儘管可以發展對於連續時間／空間信號的ＣＳ理論，我們將精力關注與離散信號 。原因爲兩方面：這樣概念上簡單，而且已有的ＣＳ理論在這方面發展較多（我們在第七部分簡要回顧模擬ＣＳ問題）。由上所述，我們對未採樣情形感興趣，在這裏可用觀測數量 遠小於信號 的維數 。例如，傳感器數量有限。或者觀測極其昂貴。或者感知過程很慢以至於幾分鐘才能獲得一次觀測。

這些情形提出了重要的問題。對於 的情形準確的重建是否可能？設計 個觀測波形是否能獲取 的幾乎所有信息？如何逼近 ？公認的，這件事看上去相當使人畏縮，需要求解不定線性方程系統。令 表示 感知矩陣，行爲 ， 表示 的複數轉置，從 恢復 在原則上是個病態問題當 時；存在無數的候選信號 滿足 。

III. Incoherence and the sensing of sparse signals

A. Sparsity

很多自然信號在適合的基下展開時具有簡潔的表達式。考慮一下，比如，圖1及其小波變換。儘管原始圖像幾乎所有的像素值都不爲零，小波係數提供了一個簡潔的表示，大多數小波係數是小的，很少的大系數抓住了物體大多數的信息。

數學上講，我們有矢量 （正如圖像一中的n像素圖像），我們在正交基（比如小波基）下展開

（2）

其中 爲 的係數序列， 。 。

當信號具有稀疏表示的時候，我們可以拋棄小系數而不會帶來可以感覺的損失。形式上考慮 ，該信號由保存 的 個最大值對應的項組成。定義 ，其中 是出了最大的 個之外全設置成0的係數向量 。

我們稱最多 個非零項的對象爲S-sparse。由於 是正交基，我們有 ，並且如果 是稀疏的或者可壓縮的意味着排序後的係數幅值快速衰減，那麼 可以由 很好的逼近，因此，誤差 很小。簡單的說，我們可以無損的去處很多係數。圖1顯示了一個實例，其中視覺損失很難注意到，從百萬像素圖像到其近似去除了97.5%的係數。

B．Incoherence sampling

假設給定我們 的正交基對 。第一個基 用於感知 如（1），第二個基 用於表達 。正交基對的約束不是本質上的，僅僅在於簡化我們的處理。

定義3.1.感知系統 和表達系統 的一致性定義爲

（3）

通俗的講，一致性測度了 的任意兩項之間的最大相關性，見【5】。如果 包含相關的項，一致性就大。否則，很小。置於多大多小，觀測到 。上端點決定於內積 小於等於1.下端點決定於Parserval關係，對於每一個 ， 。Compressive sampling主要關注低一致性正交基對，我們給出如下實例。

我們的第一個實例中， 是規範或者Spile基 ， 爲Fourier基， 。由於 爲感知矩陣，這對應着經典的時域或者空域採樣理論。時頻對付從 ，這樣我們獲得了最大非一致性。進一步，Spike和正弦在1維，2維，3維等都是最大非一致性。

我們的第二個例子爲選擇小波基爲 ，和Noiselets【6】爲 。這裏，Noiselets和Harr小波之間的一致性爲 ，Noiselets與DaubechiesD4 D8小波間的一致性爲2.2，2.9。這也可以延伸到更高的維數。（Noiselets與Spikes，Fourier基同樣達到最大非一致性）。我們對Noiselets的興趣來自以下事實（1）它們與系統非一致性（2）它們來自快速算法；Noiselet變換運行時間爲o(n)時間，正如Fourier變換，Noiselets矩陣不必存成向量應用。這對於有效的數值計算是至關重要的。

最後，隨機矩陣與任何固定基 間均有較大的非一致性。均勻隨機的選擇正交基 ，這可以通過獨立均勻的在單位球面上採樣 個正交化的向量得到。然後很大概率上， 間的一致性大約爲 。延伸的，具有獨立同分布項的隨機波形 ，高斯或者 二值項，將與任意固定表述 之間具有低的一致性。

C．Undersampling and spare signal recovery

理想的，我們想測量 的所有 個係數，但是我們只能觀測這些數據的子集，獲取數據

（4）

其中 是子集。具有這樣的信息，我們決定通過 範數最小恢復信號；提出的重建 爲 ，其中 是Convex最優規劃的解（ ）

（5）

這就是說在所有 ，我們選擇1範數最小的係數序列。

使用 範數作爲係數促進方程可以追溯到幾十年前。一個早期的應用是反射地震學。然而 範數不是恢復稀疏結果的唯一方法，其他方式比如貪婪算法[9]也已經提出了。

我們的第一個結果斷言當 足夠稀疏時，經過 範數最小的恢復是準確的。

定理1[10]：固定 ，假設 在基 下的係數序列 是 稀疏的。在 域均勻隨機的選擇 個測度。然後如果

（6）

對於正常量 ，（5）的解極大概率下是準確的。

我們作三個註釋：（1）一致性的角色是完全顯然的；一致性越小，需要的樣本越小，因此我們的重點在前面部分的低一致性系統。（2）我們可以無損的利用任意 個係數。如果 等於或者接近1，那麼 的次數代替 。（3）信號 可以從我們壓縮的數據中準確恢復通過最小化Convex函數，這個函數沒有假設關於 非零座標的任何先驗信息，他們的位置，他們的幅度我們假設全部沒有先驗知識。我們運行算法，如果信號正好是足夠稀疏的，精確恢復發生。

這個定理確實表明了一個具體的獲取協議：在非一致域中非自適應的採樣，在採樣後調用線性規劃。按照這樣的協議將獲取到具有壓縮形式的信號。需要的是一個解碼器去解壓數據，這是1範數最小的角色。

事實上，這個非一致採樣理論拓展了早期關於譜稀疏信號採樣的結果[1]，這觸發了很多CS的發展者。假設我們採樣超寬帶信號但是譜稀疏形式

其中 很大但是非零項 的數量小於等於 （我們可以想必較小）。我們不知道在哪些頻率上是活躍的而且不知道其幅度。因爲活躍集合不一定是連續整數的子集，乃奎斯特/香濃採樣定理很可能沒有用（因爲無法先驗帶寬，可能導致所有的 時間採樣都是需要的。在這種特定情形下，定理1主張我們可以重建具有任意未知頻率支撐集 的信號，利用 階，見【1】。更多的是，這些採樣是不必仔細選擇的；幾乎任何具有這樣採樣集合大小的採樣都可以。圖2顯示了一個實例。對於這方面的其他類型使用完全不同的觀點，見【11】【12】。

現在是討論以上內容中概率角色的時候了。要點是爲了得到有用而且強大的結果，我們需要訴諸於概率因爲我們不能希望所有大小爲 的測量集合都有合適的結果。這就是原因。存在在 域內幾乎處處消失的稀疏信號。換句話說，我們可以找到稀疏信號 和規模幾乎爲 的大量子集滿足 。感興趣的讀者可能想檢查在【13】【11】中討論的Dirac梳子實例。一方面，給定這樣的子集，我們看到一串0，沒有算法可以重建信號。另一方面，理論保證集合的小部分精確恢復不發生的概率是可以忽略的。這樣，我們只需要忍受一個很小的失敗概率。對於實際應用，假設採樣數量足夠大那麼失敗的概率爲0.

有趣地，對於特定稀疏信號的研究表明我們至少需要 階採樣。如果更少，信息損失的概率會很高，然和重建算法無論多麼複雜都是不可能的。總結一下，當一致性爲1時，我們不需要多於 採樣，但是也不能更少。

我們採用一個非一致性採樣的例子總結這一部分，考慮圖3所示的稀疏Comedian圖像，壓縮的百萬像素圖像如圖1（右側）。我們回想這個研究的物體是稀疏的因爲它只有25000個非零小波係數。我們然後獲取圖像通過採取96000非一致測量（我們推薦讀者到[10]中看細節）並且求解（5）。這個實例表明大約4倍於稀疏係數的採樣。這就是事實上的4-1實際規則，對於精確恢復，我們至少需要大約4倍的非一致採樣。

IV．Robust Compressive Sampling

我們已經展示我們可以利用少量的測量恢復稀疏信號，但是爲了真正強大，CS需要處理近稀疏信號和具有噪聲的信號。

1） 首先，感興趣的一般物體都是近似稀疏而不是準確稀疏。這裏的問題是能不能獲得這些物體準確的重建利用高度未採樣測量；

2） 其次，在任何實際應用中，測量數據將總是至少受到少量噪聲的干擾因爲感知設備不可能是無限精度的。因此CS需要對於這樣的非理想情形具有Robust。總結爲一點，數據中的小擾動應該引起重建中的小擾動。

這部分同時調查這兩件事情。在我們開始之前，然而，考慮恢復信號的絕對問題 ， ，形式爲：

（7）

其中 爲 感知矩陣給我們關於 的信息， 爲隨機或者確定性未知誤差項。上一部分的設置利用這種形式表述，因爲 ， （爲提取 中採樣座標的 矩陣）。可以寫爲 ，其中 。因此，我們可以處理絕對模型（7）考慮着 是物體在合適基下的係數序列。

A． 受限制的等距性

在這一部分，我們引入一個關鍵的表示，這個表示被證明是研究Compressive Sampling中一般魯棒性的有效工具：所謂的RIP（受限制的等距特性）[15]。

定義4.1：對於每一個整數 定義 矩陣的等距常量 爲滿足下式的最小數字

（8）

對於所有的s稀疏向量 都具有。

我們將寬鬆地說矩陣 服從s階的RIP如果 不是非常接近1。當具有這個特性的時候，矩陣 近似保存了s稀疏信號的歐氏長度，這意味着s稀疏向量不能在矩陣 的NullSpace 中（這時有用的否則無法重建這些向量）。一個等價的RIP描述是來自矩陣 的所有s列子集事實上幾乎正交（矩陣 的列不會精確正交因爲矩陣 的列比行多）。

爲了看到RIP與CS之間的聯繫，設想我們想用矩陣 獲得S稀疏信號。首先假設 ；然後我們聲稱可以從數據 中恢復 。確實的， 是系統 的唯一的稀疏解，比如具有非零項數量最小。爲了證實這一點，考慮才隨意解 。然後 ，因此， 至少有 個非零項。然後 必須至少有 個非零項。反過來，假設 ，然後矩陣 的 列可能是線性獨立的，這樣存在一個2S稀疏向量 滿足 。我們下面可以將 分解爲 ，其中 都是S稀疏的。這意味着 ，我們已經找到了給出同樣測量的一對S稀疏向量。清楚地，我們不能重建這樣的稀疏物體。因此，我們恢復S稀疏信號，我們需要滿足 或者最起碼（8）中的 在界線下。（4）

B． 從未壓縮信號的一般恢復

如果滿足RIP特性，那麼通過求解下面的線性規劃得到的重建是準確的。

（9）

定理2：（[16]）：假設 ，那麼（9）的解 滿足

（10）

對於某個常數 ，其中 是將向量 中最大的 成分外全部設置爲0。這個定理得結論比定理1的結論強。如果向量 是S稀疏的，那麼向量 ，並且因此重建是準確的。但是這個定理處理所有的信號。如果向量 不是S稀疏的，那麼（10）聲稱重建的信號的質量會好如果我們實現知道S最大值的位置並且決定直接測量他們。換句話說，重建就像預言一樣好，具有完善的知識，將提取S最重要的信息。

另一項與之前結果不同的顯著結果是它是確定性的；它不涉及概率。如果我們幸運的擁有一個滿足定理假設條件的感知矩陣 ，我們可以應用它，我們保證可以恢復所有S稀疏向量，當然是S最大向量，不存在失敗的概率。進一步，由於相同的感知矩陣 對 空間的所有向量都有效，是通用的。

在這一點上缺失的是S（可以有效恢復的分量數量）服從假設與觀測數量 或者矩陣行數的關係。爲了得到強大的結果，我們想尋找滿足RIP具有 接近 的矩陣。我們能設計這樣的矩陣嗎？在下面一部分，我們將證明這是可能的，但是首先我們將驗證CS對數據污染的魯棒性。

C． 從噪聲數據中魯棒的恢復信號

我們給定（7）中描述的噪聲數據，使用具有鬆弛約束的 最小進行重建：

（11）

其中 限制了數據中噪聲的強度。問題（11）也可以在[21]後稱爲LASSO；見[22]。按照我們最好的理解，這是在[8]鍾首次引入的。這又是一個Convex問題，一個二階錐規劃問題，存在很多有效的算法求解。

定理3（[16]）：假設，那麼（11）的解滿足

（12）

對於某個常量

這很難再簡化。重建誤差受到兩項和的限制。第一項是沒有噪聲時發生的誤差，第二項與噪聲水平成正比。進一步，常數 小。對於 的例子， 。圖4顯示了對於噪聲干擾數據的重建。

這個最後的結果建立CS爲實用而且有效的感知機制。它是魯棒的因爲它不僅可以處理不一定稀疏的信號而且能夠處理噪聲信號。尚待完善的是設計有效的感知矩陣滿足RIP。這是下一部分討論的內容。

V．隨機感知

回到RIP的定義，我們想尋找具有任選列向量子集近似正交的感知矩陣。這些子集越大越好。這裏隨機性再次進入畫面。

考慮一下感知矩陣 ：

1） 通過在 空間的單位球上均勻隨機採樣 個列向量形成；

2） 通過採樣具有零均值，方差爲 的正態分佈獨立同分布形成；

3） 通過採樣III-B部分的隨機投影 ，規則化爲 ；

4） 通過採樣獨立同分布向從對稱貝努力分佈 或者其他子高斯分佈。

然後以壓倒性優勢的概率（overwhelming probability），所有這些矩陣服從受限制的等距特性（restricted isometry property）（例如我們定理的條件）當滿足下式時

（13）

其中是依賴於每一個情形的常數。1）2）3）使用概率論中相當標準化的結果；對於4）則更加精妙一些，參見[23][24]。所有這些實例中，採樣到滿足（13）而不滿足RIP的概率是的指數次小。有意思的，不存在測量矩陣和重建算法無論如何給出定理2的結論採用少於（13）左端的採樣[2][3]。這樣，使用上面的傳感矩陣加上最小是一種近似最優感知策略。

我們可以採用第三部分中的正交基對建立RIP。對於其中隨機抽取個座標，可以得到

（14）

使得RIP很大概率上保證，見[25][2]。如果要求失敗的概率不大於對於某個，然後（14）已知的最好的指數是5而不是4（14具有）。這證明可以穩定而且精確的從非一致域的未採樣數據中重建幾乎稀疏的信號。

最後，RIP對於感知矩陣，其中爲任意正交基，爲衝一個合適的分佈得到的隨機觀測矩陣保證。如果固定基，利用1）-4）組裝測度矩陣，那麼很大概率上，矩陣服從RIP特性如果

（15）

其中爲依賴於每一情形的常數。這些隨機觀測在某種意義下是通用的[23]；稀疏基不必已知即使設計觀測系統的時候。

VI．什麼是壓縮感知？

典型的數據獲取過程如下：蒐集到大量的數據，在壓縮階段大部分數據被丟棄，這對於存儲和傳輸目的是必須的。用本文的語言講，我們獲得一個高分辨率像素陣列，計算傳輸係數的完整集合，編碼最大的係數去處其他係數，本質上以告終。這種數據大量獲取然後壓縮的過程相當浪費（可以設想具有百萬像素的數碼相機，像素，最後編碼圖片使用幾百KB）。

CS操作則不同了，完成“如果能夠直接獲取感興趣物體的重要信息”。通過採取次隨機投影如第五部分，我們擁有足夠的信息重建信號具有精度像提供的，最好的S近似，最好的壓縮表示。換句話說，CS數據獲取協議本質上將模擬數據翻譯爲已壓縮的數字信號形式，最起碼在原理上，從少數傳感器獲取朝分辨率信號。在獲取步驟後需要的是解壓觀測的數據。意想不到的是獲取步驟是固定的，特別的，不需要求解信號結構，正如聽到而沒有聽。

CS與編碼理論中的觀點有一些表面上的相似性，正似Reed-Solomon理論與實踐[26]。在Nutshell和本文內容中，我們可以將編碼理論中的觀點改寫過來：我們可以採用其前個Fourier係數唯一的重建任意稀疏信號，

（16）

或者利用任意2S個連續頻率（恢復問題的計算成本爲求解一個 Toeplitz系統和一個點FFT）。這是否意味着我們可以利用這個技術感知可壓縮信號呢？答案是否定的，主要的兩個原因如下。首先，Reed-Solomon解碼是一個算術技術，不能處理非稀疏信號（解碼通過求解多項式求根）；第二，尋找信號的支撐的問題-即使當信號準確稀疏時-從前2S個Fourier係數是格外病態的（同樣的問題利用高度聚簇的少量數據外推一個高自由度的多項式）。這些係數的小擾動將給出完全不同的結果這樣對於有限精度數據，可信賴的支撐集估計實踐上是不可能的。儘管完全代數方法忽略了信息操作符的條件作用，擁有Well-Conditioned矩陣，對於精確估計是必須的，是CS中的核心考慮正如RIP扮演的角色。

VII．應用

可壓縮信號可以通過與其信息級成比例的非一致性測量有效採集的事實意味着大量可能的應用。

l 數據壓縮。在某些情形下，稀疏基在解碼端可能是未知的或者對於數據壓縮來說是難以實際執行的。正如我們在第五部分討論的，然而，一個隨機設計的可以被認爲是一個通用的編碼方案，因爲它不需要根據結構進行設計。（對於的知識和能力只有載解碼恢復的時候需要）。這種通用性對於像傳感器網絡[27]一類的分佈式多信號編碼。我們建議讀者查閱Nowak和Goyal的文章。

l 信道編碼。正如[15]鍾討論的，CS原理（稀疏，隨機，Convex最優化）可以轉向並且應用於設計快速糾錯碼以防止傳輸過程中出現的錯誤。

l 逆問題。在其他條件下，獲取的唯一方式是使用特定形態的觀測系統。然而，假設信號的稀疏基存在且與非一致，然後有效的感知是可能的。這樣的應用包括MR血管造影術[1]和其他類型的MR設置[28]，其中記錄了Fourier變換的子集，需要的圖像在時域或者小波域是稀疏的。Lustig更加深刻的討論了這個問題。

l 數據獲取。最後，在某些重要條件下對於模擬信號完全採集個離散時間樣本是困難得（可能對於隨後的壓縮也是困難的）。這裏，設計直接記錄離散、低碼率的非一致觀測是有益的。

最後這些子彈表明數學和計算方法可以在常規的硬件設計具有顯著限制的領域發揮重要的作用。例如，使用CCD或者CMOS的常規的成像設備限制在感知可見光光譜。然而，一個CS相機[29]使用數字微鏡陣列採集非一致測量（只需要一個感光元器件而不是百萬個）可以顯著的拓展這些特性。在別處，Baraniuk更加深刻的介紹了這個相機。

沿着同樣的線，我們的部分研究注重在於對於寬帶信號進行“模擬---信息”轉換得設備（見Healy的文章。），我們的目標是減輕對於常規模擬-數字轉換技術的壓力，現在受限制到採樣率爲GHZ。作爲一個選項，我們提出了兩種用於A/I的特定結構，在其中離散、低碼率非一致測量序列從寬帶模擬信號採集而來。在很大程度上近似，每一個測量值可以解釋爲入射模擬信號與模擬測量波形的內積。在離散CS框架下，我們的初步結果表明服從稀疏或者可壓縮模型的模擬信號（在某個模擬字典）可以通過以與其信息級別而不是Nyquist率成比例的採樣率獲取。當然，我們必須提到應用離散CS方法恢復稀疏模擬信號時面臨的挑戰。對於這些事情的徹底討論超過了本文的討論，作爲一個初步，我們可以簡單的接受這樣一個觀點：在很多情況下，對於稀疏字典的離散化/採樣有合適的恢復。

我們的兩個結構如下：

1）非均勻採樣器（NUS）：我們的第一個結構簡單的在隨機時間點上對信號進行數字化。就是說，。有效的，這些隨機或者僞隨機時間點是通過位於規則格子上的點。由於衝擊函數與正弦函數之間的非一致性，這種結構可以用於採樣稀疏頻譜在Nyquist之下的信號。這樣可以帶來很大的好處，包括降低採樣率，增加電路設置時間，降低噪聲等級。

2）隨機預綜合（RPI）。我們的第二種結構適用於更爲廣泛的稀疏域，最值得注意的是，那些在時間-頻率平面具有稀疏特性的信號。儘管不大可能用很高的率數字化模擬信號，非常有可能在高的碼率改變其極性。ＲＰＩ結構的想法（見圖５）然後是將信號與正１和負１的僞隨機序列相乘，在時間窗上對積進行積分，數字化每一個時間段內的積分。這是一個並行結構，我們可以並行運行多個乘法器－積分器對採用獨特的或者幾乎獨立的僞隨機信號序列。事實上，ＲＰＩ結構將信號與序列進行相關，其中的一個隨機ＣＳ測量過程是通用的。

對於以上任何一種結構，我們已經在數字上（某些情況下物理上）確信這樣的系統對於受到熱噪聲，時鐘誤差，干涉和放大器非線性影響的非理想電路是具有魯棒性的。

Ａ／Ｉ結構在實際獲取場景中的應用將要求ＣＳ算法和理論的繼續發展，包括模信號的合適的稀疏表示集合。我們用一個離散實例進行總結強調一些最近的有前景的方向。對於這個實例，我們選擇爲一個長度爲５１２點包含２個調製脈衝的１維信號（見圖６左邊）從這個信號，我們採集次測量，應用一個由獨立同分布的貝努力項組成的觀測矩陣。這是不合理的少量數據對應着爲採樣因子超過１７（５１２／３０）１７）。對於重建，我們考慮一個時頻Ｇａｂｏｒ基，包含了大量受到高斯窗限制的正弦波形，具有不同的位置和尺度。全面地字典近似超完成，並且不包含組成的兩個衝擊。圖６的中間顯示了最小化的結果。重建結果明顯很差，我們看到。然而，我們可以通過對於恢復程序的兩項改變來優化結果。首先我們代之以（這項改變在爲正交基時沒有影響）。其次，在得到一個估計後，我們改變範數的權值並進行重建，低的懲罰施加於我們希望比較大的係數上。圖６的右部分顯示了四次變權值循環後的結果；我們看到。我們建議讀者可以從［３０］中獲得更多的關於這些方向的信息。這裏的一點是及時數據量相當小，我們仍然獲得了信號中包含的大部分信息。這就是ＣＳ對於現在和將來的應用具有廣闊前景的原因。