轉載自：http://blog.csdn.net/jbb0523/article/details/45693359
題目：正交匹配追蹤(OMP)其它改進算法
下面介紹10篇文獻中的OMP改進算法，首先給出這10篇參考文獻：
[1]楊成，馮巍，馮輝，楊濤，胡波.一種壓縮採樣中的稀疏度自適應子空間追蹤算法[J]. 電子學報，2010，38(8)：1914-1917.
[2]高睿，趙瑞珍，胡紹海.基於壓縮感知的變步長自適應匹配追蹤重建算法[J]. 光學學報，2010，30(6)：1639-1644.
[3]劉亞新，趙瑞珍，胡紹海，姜春暉.用於壓縮感知信號重建的正則化自適應匹配追蹤算法[J]. 電子與信息學報，2012，32(11)：2716-2717.
[4]劉哲，張鶴妮，張永亮，郝珉慧.基於弱選擇正則化正交匹配追蹤的圖像重構算法[J]. 光子學報，2012，41(10)：1217-1221.
[5]吳迪，王奎民，趙玉新，王巍，陳立娟.分段正則化正交匹配追蹤算法[J]. 光學精密工程，2014，22(5)：1395-1402.
[6]徐澤芳，劉順蘭.一種自適應正則化子空間追蹤算法[J]. 計算機工程與應用，2015，51(3)：208-211.
[7]王芳星，劉順蘭.一種改進的正則化自適應匹配追蹤算法[J]. 機州電子科技大學學報(自然科學版)，2015，35(1)：79-83.
[8]GuilingSUN, Yuhan ZHOU, Zhihong WANG, Wei DANG, Zhouzhou LI. Sparsity AdaptiveCompressive Sampling Matching Pursuit Algorithm Based Compressive Sensing[J].Journal of Computational Systems8: 7(2012): 2883-2890.
[9]XueBi, Xiangdong Chen, Yu Zhang. Variable Step size Stagewise Adaptive MatchingPursuit Algorithm for Image Compressed Sensing[C]. 2013 IEEE InternationalConference on Signal Processing, Communication and Computing(ICSPCC)[A],2013:1-4.
[10]HuangWeiqiang, Zhao Jianlin, Lv Zhiqiang, Ding Xuejie. Sparsity and Step-sizeAdaptive Regularized Matching Pursuit Algorithm for Compressed Sensing[C]. 2014IEEE 7th Joint International Information Technology and ArtificialIntelligence Conference(ITAIC)[A], 2014: 536-540.
===========================分割線==============================
[1]楊成，馮巍，馮輝，楊濤，胡波.一種壓縮採樣中的稀疏度自適應子空間追蹤算法[J]. 電子學報，2010，38(8)：1914-1917.
正如文中所說，稀疏度自適應子空間追蹤(Sparsity Adaptive Subspace Pursuit, SASP) “使用一種新的稀疏度估計方法得到稀疏度的初始估計值，然後通過迭代進行估計的更新。在每次迭代中採用弱匹配原則選取新原子，再通過子空間追蹤改善結果並重建信號”。有關稀疏度估計在文中2.1節進行了數學證明，這個給作者點贊。在估計出信號的稀疏度之後，以SP爲主體，然後在第(11)步中又融入了SAMP的思想，但不同於SAMP的是步長並不是直接選定的，而是在第(12)中通過弱選擇（類似於SWOMP）的方法增加的。
[2]高睿，趙瑞珍，胡紹海.基於壓縮感知的變步長自適應匹配追蹤重建算法[J]. 光學學報，2010，30(6)：1639-1644.
其中停止迭代條件1和停止迭代條件2分別如下：
有關停止迭代條件中兩個閾值的取值，在文中有如下交代：
正如文中所說：結合 SAMP方法自適應的思想和StOMP方法分階段的思想，針對SAMP固定步長所帶來的精度不夠以及過度估計問題，提出了一種新的變步長自適應匹配追蹤（Variable step size Adaptive Matching Pursuit,VssAMP）算法。
VssAMP相比於SAMP的不同之處在於：VssAMP算法中將SAMP的停止迭代條件分爲了兩個階段，即依次判別停止迭代條件1和停止迭代條件2是否成立；如果同時滿足停止迭代條件1和停止迭代條件2即停止迭代；如果停止迭代條件1不滿足則剩餘步驟與SAMP相同（即文中所說的“通過大步長快速接近了重建目標信號”階段）；如果停止迭代條件1滿足而停止迭代條件2不滿足則將步長減小一半後繼續迭代（即文中所說的“通過小步長逐步逼近”階段）。
關於停止迭代條件2的“或”後面的條件我有一點疑問：隨着迭代的進行，稀疏度越來接近信號的真實稀疏度，信號x的估計不應該本就是越迭代越大麼，k-1次迭代時的估計原本不就應該小於第k次迭代時的估計麼？難道進入“通過小步長逐步逼近”階段後信號x的估計會越迭代來越小直到某次迭代變大則意味着可以停止迭代了？
學習研究該算法還可以拜讀作者的碩士學位論文“高睿.基於壓縮傳感的匹配追蹤重建算法研究[D]. 北京交通大學碩士學位論文，2009.”。
[3]劉亞新，趙瑞珍，胡紹海，姜春暉.用於壓縮感知信號重建的正則化自適應匹配追蹤算法[J]. 電子與信息學報，2012，32(11)：2716-2717.
其中ε1與ε2分別爲控制迭代次數與階段轉換的閾值，爲達到較好的重建精度以及嚴格控制階段轉換的目的，根據所處理信號的具體信息適當地選擇閾值的大小（但文中仿真部分並未給這兩個值的取值方法，個人並未對此進行仿真，感覺應該是取類似10-6的比較小的值），式(3)(4)(5)(6)如下：
正如文中所說，正則化自適應匹配追蹤（Regularized Adaptive Matching Pursuit，RAMP）算法是一種結合了ROMP算法正則化思想以及SAMP算法自適應思想的新的重建算法，保證了全局優化的同時提高了算法的運算速度。它與SAMP的不同之處在於：SAMP直接從u中選擇了size個最大值，而RAMP是先選擇size個最大值，再按正則化標準篩選一遍；而stage轉換標準中SAMP是rnew≥r，這裏是rnew與r差的2範數小於ε2，文中並未提及如何ε2取值，但如前述應該是一個較小的值，SAMP中其實大部分情況應該取rnew=r（即不會再有新的列被選中，參見SAMP此處的相關分析），所以二者基本是一致的。
[4]劉哲，張鶴妮，張永亮，郝珉慧.基於弱選擇正則化正交匹配追蹤的圖像重構算法[J]. 光子學報，2012，41(10)：1217-1221.
算法中的式(3)爲：
弱選擇正則化正交匹配追蹤是一種結合了文中的參考文獻[10]弱選擇策略(即SWOMP的弱選擇)及ROMP的改進算法，與ROMP的區別主要在於候選集J，ROMP是取迭代餘量和觀測矩陣的內積值中的最大的K個，而此處是按式(3)選擇原子，因此本算法不需要已知信號的稀疏度K，其餘部分基本一樣。
[5]吳迪，王奎民，趙玉新，王巍，陳立娟.分段正則化正交匹配追蹤算法[J]. 光學精密工程，2014，22(5)：1395-1402.
正如文中所說“結合以上兩種算法（即ROMP與StOMP），本文提出分段正則化正交匹配追蹤算法，以保證貪婪迭代類算法在信號稀疏度未知的情況下重構信號的可靠性和有效性”，本算法的另一個創新點在於“加入了閾值的可靠性驗證階段。具體爲：根據當前殘差量設定閾值，選取相關係數大於閾值的原子，若滿足條件的原子個數大於零，表明所設閾值合理，對選出的原子進行正則化；若依據以上條件無法選出原子，則表明閾值設定的不合理，此時自動將最大相關係數對應的原子選出，由於只有一個原子，所以無需正則化，直接將此原子加入支撐集。閾值的可靠性驗證保證了支撐集持續更新，使算法能可靠、有效地完成信號重構。”本算法相比於StOMP的區別在於：StOMP根據閾值選出候選集後直接使用，而本算法根據閾值選擇後還要進行正則化；StOMP若無新原子被選中則跳出循環，而本算法加入了閾值的可靠性驗證階段。
[6]徐澤芳，劉順蘭.一種自適應正則化子空間追蹤算法[J]. 計算機工程與應用，2015，51(3)：208-211.
算法中的式(5)、式(6)及rnew分別爲：
正如文中所說，自適應正則化子空間追蹤(Adaptive Regularized Subspace Pursuit，ARSP)算法是在“ROMP，SAMP和SP算法的基礎上，將SAMP算法的自適應思想、ROMP 算法的正則化思想和SP 算法相結合”提出的一種新的改進算法。算法第(6)步前半部分及以前與SP算法類似，第(6)步後半部分融入了SAMP，然後在選擇原子時先得到候選集再進行正則化。
[7]王芳星，劉順蘭.一種改進的正則化自適應匹配追蹤算法[J]. 機州電子科技大學學報(自然科學版)，2015，35(1)：79-83.
算法中的式(3)\式(4)、式(5)分別爲：
正如文中所說，改進的正則化自適應匹配追蹤 (ModifiedRegularization Adaptive Matching Pursuit, MRAMP)算法是“將信號的稀疏度估計、SAMP算法的自適應、SP算法的回退篩選和ROMP算法的正則原子選擇相結合”提出的一種新的改進算法。算法首先通過第(2)(3)步，估計出信號稀疏度初始估計值 K0，並將其作爲初始支撐集長度，然後以SP算法爲主體，並在最後的(10)(11)步融入SAMP，在原子選擇時加入正則化過程。第(11)步與SAMP不同的是這裏的步長一直在減半。信號的稀疏度估計來源爲這裏我所介紹的十種算法中的第1種“[1]楊成，馮巍，馮輝，楊濤，胡波. 一種壓縮採樣中的稀疏度自適應子空間追蹤算法[J].電子學報，2010，38(8)：1914-1917.”。
我對算法中的第(3)步有一點疑問：通過第(2)(3)步，估計出信號稀疏度初始估計值 K0，但在第(3)步中有一句“step1=step1”，這句話有意義麼？step1在第(1)步中初始化爲step後，在第(2)步沒有任何更新，那麼第(3)步的“step1=step1”意義何在？
[8]GuilingSUN, Yuhan ZHOU, Zhihong WANG, Wei DANG, Zhouzhou LI. Sparsity AdaptiveCompressive Sampling Matching Pursuit Algorithm Based Compressive Sensing[J].Journal of Computational Systems8: 7(2012): 2883-2890.
正如文中所說，sparsity adaptive compressive sampling matching pursuit(CSAMP)是在“takingadvantages of SAMP sparsity adaptive, introducing backtracking method to lowercomplexity and adopting compressive sampling to improve noise robustness”的一種新的改進算法，它具有“fast, high precision, high stability and sparsity adaptive”的優點。算法主體上與SAMP類似，不同的是第(2)步CSAMP取2L個，而SAMP取L個，文中對此做法給出理由：“Assumethe moment the size of SS isL,adopt compressive sampling which ensures Candidate Sets has less than 3Latoms, and SS has 2L atoms in each iteration, so reject lessthan L atoms to make optimizationimprovement which realizes high precision reconstruction under the signal withnoise situation.”，也就是說採用了CoSaMP的思想(CoSaMP選2K個，而SP選K個)；然後就是第(5)步的停止迭代條件，一般來說我們都是以殘差r的2範數爲標準，這裏用的是相鄰兩次迭代最小二乘解的差的2範數爲標準，文中對此改進給出了依據：
還有一點要說明的是，第(1)步初始化時Λ=Φ,Ω=Φ，這裏的Φ代表空集的意思，與文中前面的Φ並不是一個意思。
[9]Xue Bi, Xiangdong Chen, Yu Zhang. Variable Step size Stagewise Adaptive MatchingPursuit Algorithm for Image Compressed Sensing[C]. 2013 IEEE International Conference on Signal Processing, Communication and Computing(ICSPCC)[A],2013:1-4.
Variable Step size StagewiseAdaptive Matching Pursuit(VSStAMP)主體上與SAMP類似，變步長的實現在於第(2)步，在第(2)步判斷候選集中包含原子的個數，並以u*M爲界限，當原子個數小於界限時採用大步長2*s，而當原子個數小於界限時採用小步長s。因此u的取值比較關鍵，文中仿真部分u取爲1/8，而文中對此也有分析：
[10]Huang Weiqiang, Zhao Jianlin, Lv Zhiqiang, Ding Xuejie. Sparsity and Step-sizeAdaptive Regularized Matching Pursuit Algorithm for Compressed Sensing[C]. 2014IEEE 7th Joint International Information Technology and ArtificialIntelligence Conference(ITAIC)[A], 2014: 536-540.
文中對Sparsity and Step-size Adaptive Regularized Matching Pursuit (SSARMP)算法的提出背景有如下闡述：
算法首先採用文中第(III)(A)部分所述的Numerical Sparsity Estimation(NSE)方法估計信號的稀疏度，然後將NSE估計出的結果應用於SAMP，爲了提高恢復概率，又加入了變步長和正則化。從程序流程中可以看出，程序主體上類似SAMP，初始化選擇原子的個數爲採用NSE方法估計出來的稀疏度，即Initialization階段的I=K0，不同於SAMP的是選擇完後進行了正則化，然後在後麪條件判斷時又不同於SAMP，分爲變步長條件和停止迭代條件，有關這兩個條件在文中做了如下闡述：
這裏步長的變化採用的方法是在滿足變步長條件時給步長s乘以一個大於0小於1的數α，有關α的取值在文中最後(IV)(E)部分專門對此做了仿真，仿真表明α趨於0時重構概率會變大但迭代次數也會變大，當α趨於1時重構概率會變小但同時迭代次也會減少。
結語：
本想把查到的有關OMP的改近算法都詳細的仿真一遍，但發現實在是太多了，沒有時間一個一個的去仿真。所以這裏介紹了自己查到的國內有關OMP的10種改近算法。透過這10種算法，應該可以找出寫論文的一點兒規律吧：我們基於OMP算法，有對原子正則化的ROMP、有使用回溯思想的CoSaMP和SP、有采用門限選擇選子的StOMP及弱選擇標準的SWOMP、還有稀疏度自適應的SAMP，以及我們國內改近算法中引入的稀疏度估計方法、變步長判斷標準等等，所以盡情的把這些方法進行排列組合再加入自己的一些新想法得出新的改進算法吧……
還有一篇改進算法後查到的，所以這裏沒寫，大家可以自己看看：An improved sparsity adaptive matching pursuit algorithm for compressive sensing based on regularized backtracking 。
另外，如果哪位童鞋有興趣可以把這些改近算法仿真對比一下……