壓縮傳感的系列論文和點評

轉自:http://blog.csdn.net/abcjennifer/article/details/7740441


【摘自:http://blog.sina.com.cn/wuyuzaizai

壓縮傳感不是萬能的, 
雖然它是信號和圖像處理領域最熱門的研究對象 
但是它不可能解決所有問題 
就像中科院李老師的話:

“壓縮感知根植於數學理論,它給目前國內浮躁的學術環境提了一個警鐘!因爲只有很好地鑽研它的基本理論和方法,才能將其有效地應用在所關心的問題中;否則它只能是一劑春藥,一種無法名狀的春藥!”

------------------------------------------------------------------------------------------

人們習慣於用正交基來表示信號,直到最近幾十年,人們才發現用冗餘的基元素集合來表示信號能夠取得更好的結果,當然我們追求的肯定是用最小數量的基元素來最優的表示信號,這就出現了信號的稀疏表示。

L1範數最小化最早並不是Donoho提出的,早在80年代,Fadil Santosa 和William Symes就曾提出了L1範數的最小化,而Donoho提出Compressed sensing 並不是換湯不換藥,CS並不是解決信號在一個完備集裏面的最優表示問題的,而是提出了一種新的信號採集或者測量方式,這種新的測量方式打破了Shannon-Nyquist定理在信號處理領域一手遮天的局面,已經提出,就引起了相關領域大批學者的關注。Shannon-Nyquist採樣定理要求在信號的採集階段以高於信號帶寬的兩倍採樣率來獲取信號,信號才能得到完美的重構,而CS則對信號的帶寬不再作要求,取而代之的是稀疏性,滿足條件的信號則可在遠少於SN採樣率的情況下精確的重構信號。

從數學上來說,CS是在一定的條件下求解欠定(不適定)方程,條件包括x要是稀疏的,測量矩陣要滿足RIP條件,那麼欠定(不適定)方程就會以很大的概率有唯一解。

-------------------------------------------------------------------------------------------

Robust uncertainty principles: Exact signal reconstruction from highly incomplete frequency information

1.文章告訴我們壓縮傳感在圖像領域的發展源於作者在醫學圖像領域--MR圖像重構得到的驚人結果,接着提出了壓縮傳感的數學模型,即當一信號在時域具有稀疏性的前提下,對頻域進行少量樣本的隨機抽樣,就可以對信號進行重構,作者事實上是從一個特例開始討論的,即B1是簡單的抽樣基,B2是傅里葉基,到了文章的結尾,纔對這一事實進行擴展,而且上來就是全變分模型,而不是抽象的L1範數最小化。

2.接着作者提出了兩個問題:哪一類的信號纔可以得到完美的重構,以及,重構時對採樣數目的要求到底是什麼,作者用定理1.3回答了以上問題,具有T稀疏性的信號,如果採樣數滿足。。。要求,那麼信號可以得到重構,並且可以證明,重構是唯一的而且是最優的。最優性指的是,沒有其他的算法可以用更少的採樣數目得到這樣的結果。

3.作者闡述了壓縮傳感與測不準原理的關係,並且提出了新的更強的準則。

4。壓縮傳感與相關研究的聯繫:利用L1範數最小化來恢復稀疏信號並不是壓縮傳感的新創,由來已久,其外,壓縮傳感與信號的稀疏分解具有很深的淵源,從某種意義上說,他們是相同的,當然他們具有本質上的不同:壓縮傳感是從不完整的數據中恢復信號,而稀疏分解是找到信號的最稀疏最有效的表達,最後作者從信號採樣的角度告訴我們文章的最大貢獻是提出了一種新的信號採樣方式:數目更少,隨機性。

5.文章花了大部分的篇幅來證明解的唯一性,在最後,給出了算法的穩定性,魯棒性,以及算法的擴展,信號具有T稀疏,且採樣數目滿足定理要求,算法是穩定的,魯棒性在相關的文章討論,擴展指的是信號可以在更多的基裏面具有稀疏性,不侷限於時域和頻域,且採樣矩陣也可以有更加多樣的選擇。

-------------------------------------------------------------------------------------------

1-On theory of compressive sensing via ell1 minimization Simple derivations and extensions

作者信息:Rice,Yin Zhang:http://www.caam.rice.edu/~zhang/

該文首先指出目前的CS理論有兩大部分構成:recover-ability和stability,recover-ability指的是,什麼樣的採樣矩陣和恢復算法能夠重構k稀疏信號,而stability指的是當出現信號的近似k稀疏或者出現觀測噪聲時,算法的魯棒性。本文的主要的contributions包括:1)提出了一種全新的non-RIP的分析框架;2)與RIP類算法相比,該算法能夠將任意形式的先驗信息融合到CS理論中;3)文章還驗證了隨機矩陣本質上是一致的。

2-Instance-optimality in probability with an ell1 decoder

作者信息:Department of Mathematics University of South Carolina

ronald devore:http://www.math.sc.edu/~devore/

該文……

3-Incoherent dictionaries and the statistical restricted isometry property

作者信息:Tel-Aviv University Shamgar Gurevich: http://math.berkeley.edu/~shamgar/

這個大牛的文章太深奧,純的數學

4-On verifiable sufficient conditions for sparse signal recovery via ell-1 minimization

作者信息:未找到

文章直接指出現有的RIP或者其他的包括Restricted Eigenvalue assumption 和Restricted Correlation assumption都不能立即判定一個矩陣是否能適合L1範數最小化來精確重構信號,因爲這些指標都是不可計算的都屬於NP問題,而唯一的可計算的指標:Mutual Incoherence又過於保守。該文提出了一種新的量化指標來定量描述給定的矩陣是否足夠好來適合L1範數最小化來重構信號。

5-The secrecy of compressed sensing measurements

作者信息:Draper Laboratory,Yaron rachlin:http://yaron.rachlin.googlepages.com/

該文討論了CS理論在密碼學中應用的可行性,作者主要集中在L1範數最小化算法且無噪聲的情況,結論是利用CS並不能得到完美的密碼,但是作者闡釋了一種稱爲computational notion of secrey,並說明了CS的measurment可以考慮作爲密碼。

6-Toeplitz compressed sensing matrices with applications to sparse channel estimation

作者信息:Rice University,Javis Haupt:http://www.ece.rice.edu/~jdh6/

該文前邊部分對CS做了很好的綜述,包括介紹CS的幾種情況:最簡單的CS,近似稀疏信號的CS重構,含Gaussian觀測噪聲的CS恢復算法,含有限噪聲的CS恢復算法。特別是最後兩種的區別,文章給了很好的解釋和說明,包括相應的算法的各自特點。

7-On recovery of sparse signals via ell1 minimization

作者信息:The Wharton School University of Pennsylvania 
t.tony cai:http://www-stat.wharton.upenn.edu/~tcai/

這篇文章是對candes及Donoho的方法的改進,作者將問題進行了不同的分類,包括無噪聲,有限噪聲及高斯噪聲三種情況,然後討論了兩種重構模型:DantZig Selector和L1 minimation with L2 constraints,主要的改進之一是提出了更弱的條件,使得可以重構的信號範圍進一步擴大。通常我們用RIP性質,或者MIP性質來驗證矩陣是否能用來作爲一個採樣矩陣,文章對這兩個條件進行了討論,並分析了他們之間的關係。作者只是將一個更弱的條件用到這三種情況下,不過作者主頁上還是可以看到,09年作者做了相當多的工作。

8-Deterministic designs with deterministic guarantees Toeplitz compressed sensing matrices sequence design and system identification

作者信息:Boston University Department of Electrical and Computer Engineering

venkatesh saligrama:http://iss.bu.edu/srv/

該文應該屬於CS在無線通訊領域的應用,以前的滿足RIP性質的採樣矩陣一般都是滿足特定分佈的隨機矩陣,最近才逐漸出現確定元素構成的採樣矩陣,本文作者根據該領域的特殊要求,構造了特別的採樣矩陣,並證明了其滿足RIP性質。

9-Compressive sensing by random convolution

作者信息:Georgia Tech,Justin Romberg:http://users.ece.gatech.edu/justin/Justin_Romberg.html

該文提出了一種全新的CS框架:先與隨機的波形元素進行卷積,然後在時域內進行降採樣,從而得到觀測值。作者在文章中說明了這種方法是一種通用有效的稀疏數據觀測方式,並用radar和Fourier optics兩種應用情景來說明這種觀測方式能夠讓我們得到分辨率更高的結果,但是這個框架的通用性還是值得進一步的探究。個人認爲作者對信號的稀疏性解釋的非常詳細,並且分別將稀疏度與帶寬對應,採樣需求數目與採樣頻率對應。作者對以前的隨機採樣矩陣進行了分類:每個元素服從於某種分佈;隨機從某正交基中抽取m行作爲採樣矩陣,並從通用性和計算量上對兩種矩陣進行了對比。作者還提出了三個考量採樣系統的指標:通用性,計算量,以及物理可實現性。

10-Compressed sensing over the Grassmann manifold A unified analytical framework

作者信息:Caltch,Weiyu Xu:http://mathbaby.spaces.live.com/

該文指出,滿足RIP的採樣矩陣能夠恢復出稀疏信號,只是一個充分條件,作者基於高維幾何,提出了更加緊的充要條件,而算法的目標也很明確:近似稀疏信號(作者給出了很特別的定義:基於L1範數);

11-Combining geometry and combinatorics A unified approach to sparse signal recovery

作者信息:MIT,Radu Berinde:http://people.csail.mit.edu/radu/

該文對採樣矩陣和恢復算法進行了分類:基於組合的方法和基於幾何的方法,並且相應的算法有相應的採樣矩陣與其相對應,組合的方法通常對應於稀疏的二值矩陣,而幾何的方法主要是指常用的l1範數最小化等,對應的矩陣爲稠密的隨機高斯隨機貝努力矩陣。文章從整體的觀點出發,認爲兩種方法在某種意義下是相同的,並提出了新的採樣矩陣和恢復算法。

12-High-dimensional subset recovery in noise Sparsified measurements without loss of statistical efficiency

作者信息:UC Berkeley,Dapo Omidiran: http://www.eecs.berkeley.edu/~dapo/

該文同上篇文章一樣,也是研究了基於稀疏採樣矩陣的Losso算法,同時考慮採樣矩陣的稀疏和觀測樣本的噪聲,並證明了當採樣矩陣的稀疏度趨於0的情況下所需要的採樣數目與稠密的採樣矩陣需要的相同。

13-Efficient compressed sensing using high quality expander graphs

作者信息:Princeton,sina Jafarpour:http://sina2jp.googlepages.com/sinajafarpour%27shomepage

該文起源於Coding Theory,用於error correcting,其中比較經典的error correcting codes是LDPC(Low Density Parity Codes),隨後被xu weiyu(加州理工)用於CS領域,這篇文章是對Xu的理論的改進。

常用的RIP性質被用來檢驗一個隨機矩陣是否能夠用來作爲採樣矩陣,從而使得L1範數最小化算法能夠對稀疏信號進行完美的重構,滿足RIP性質的矩陣可以作爲採樣矩陣(充分條件),而Radu(見本頁第一篇文章)提出了一種新的RIP,called RIP-1,標準的RIP(也稱:RIP-2)保持了兩稀疏信號的歐氏距離即Norm2,而RIP-1,則保持了稀疏信號的Manhattan距離,即Norm1,作者在文中說明了,只要矩陣滿足RIP-1,也能保證將稀疏信號完美重構。

14-On some deterministic dictionaries supporting sparsity

作者信息:(特拉維夫,以色列港市)Shamgar Gurevich:http://math.berkeley.edu/~shamgar/

作者係數學出身,這篇文章從語言到內容涉及到太多的數學內容,可略過。

15-A remark on compressed sensing 中提到:關於採樣矩陣需要滿足的條件,首先是由D.Donoho在文Compressive Sensing中提出的CS1-CS3條件,接着E.Candes,J.Romberg,T.Tao也獨立的證明了矩陣需要滿足的條件,進一步的研究,由A.Cohen,W.Dahmen,R.Devore(Compressed Sensing and k-term approximation)中完成,而這篇文章主要的工作就是證明了在漸進的情況下,即當m,n趨於無窮大的情況下,以上三個條件是一致的。

16-Toeplitz structured compressed sensing matrices:

又是一篇關於採樣矩陣的文章,這篇文章提出了一種新的構造採樣矩陣的方法,Toeplitz Matrix,並且證明了改矩陣滿足Cades提出的RIP性質,列出了與通常的隨機採樣矩陣相比的優缺點,以及該採樣矩陣在系統辨識中的應用。

17-Efficient compressive sensing with determinstic guarantees using expander graphs

這篇文章很好,一個原因是它將07年之前的關於壓縮CS的文章進行了很好的總結,綜述內容很豐富,此外是該文提出了一種新的框架,一種基於bipartite expander graphs的方法,利用圖論來解決CS的問題,最終回答了作者提出的兩個CS存在的問題:1.對於O(n),及k=O(n)的情況,目前的CS理論是否能夠精確重構,2.如果能的話,信號滿足稀疏性的前提下,這樣的矩陣及重構算法是否存在?

18-Computation and relaxation of conditions for equivalence between ell1 and ell0 minimization

這篇文章證明了在什麼情況下,l0和l1的解是相同的,而且對信號的稀疏性有什麼要求。

19-Fast compressive sampling with structurally random matrices

該文首先分析了已有的採樣矩陣所具有的四個重要特徵,並指出目前的採樣矩陣一般只具備其中部分特徵,之後具體分析的現在流行的兩類採樣矩陣的優缺點,包括第一類:隨機高斯,隨機貝努力,及亞高斯陣,第二類:部分傅里葉陣以及部分正交陣。在分析的基礎上提出了一個hybrid採樣矩陣,證明了該採樣矩陣能夠同時具有上述四個特點。

20-Sparse recovery using sparse random matrices

作者來自MIT,http://people.csail.mit.edu/radu/,主要研究方向也就是CS,文章的綜述不錯,總結的很詳細,實驗也很不錯,文章主要是對稀疏的採樣矩陣與通常的隨機採樣矩陣的對比,及其優勢,並通過豐富的實驗對幾種常用的採樣矩陣進行了比較。

21-A negative result concerning explicit matrices with the restricted isometry property

正如題目所示:文章指出通常的0,1採樣矩陣需要額外的條件才能滿足最優性,並且給出了更加緊的滿足RIP條件的結果。

22-Toeplitz block matrices in compressed sensing

同樣是討論採樣矩陣文章。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章