轉自：http://blog.csdn.net/jbb0523/article/details/45100659
題目：正交匹配追蹤(OMP)在稀疏分解與壓縮感知重構中的異同
如果研究了稀疏分解再來研究壓縮感知可能會有一個疑惑：在稀疏分解中有一個OMP算法，在壓縮感知的重構算法中也有一個OMP算法，它們有什麼區別和聯繫呢？
其實它們都是一樣子的！
從數學模型來入手分析這個問題：
1）稀疏分解要解決的問題是在冗餘字典A中選出k列，用這k列的線性組合近似表達待稀疏分解信號y，可以用表示爲y=Aθ，求θ。
2）壓縮感知重構要解決的問題是事先存在一個θ和矩陣A，然後得到y=Aθ（壓縮觀測），現在是在已知y和A的情況下要重構θ。
看到了沒？實際上它們要解決的問題都是對已知y和A的情況下求y=Aθ中的θ。
上面各式中，A爲M×N矩陣（M>>N，稀疏分解中爲冗餘字典，壓縮感知中爲傳感矩陣A=ΦΨ，即測量矩陣Φ乘以稀疏矩陣Ψ），y爲M×1的列向量（稀疏分解中爲待稀疏分解信號，壓縮感知中爲觀測向量），θ爲N×1的列向量（稀疏分解中爲待求分解係數，壓縮感知中爲信號x的在變換域Ψ的係數，x=Ψθ）。
所不同的是，在稀疏分解中θ是事先不存在的，我們要去求一個θ用Aθ近似表示y，求出的θ並不能說對與錯；在壓縮感知中，θ是事先存在的，只是現在不知道，我們要通過某種方法如OMP去把θ求出來，求出的θ應該等於原先的θ的，然後可求原信號x=Ψθ。
將以上關係清晰表述如下：
其中：
稀疏分解是選擇冗餘字典A中儘量少的列向量（原子），使其線性組合等於或近似等於y，例如共選擇了A中的k列：at1, at2, at3,…, atk ，對應的線性組合係數爲θt1,θt2, θt3,…,θtk，記At = [ at1, at2, at3,…, atk]，θt= [θt1, θt2,θt3,…,θtk]T，T表示轉置。則
注意：下標t1,t2,…,tk並不是從小到大排列，而是代表了OMP算法所選擇原子的次序。
現在有一個關鍵問題是θt1,θt2, θt3,…,θtk的值分別是多少？這是我們最終所求的解……
我們的問題實際上是從y=Atθt中已知y和At求θt（y爲M×1的列向量，At爲M×k的矩陣，θt爲k×1的列向量），則最小二乘解爲
這個時候的殘差爲
這裏的問題實際上是正交投影的概念，可以參見《壓縮感知中的數學知識：投影矩陣（projectionmatrix）》。
對於壓縮感知重構過程也是一樣，只是求得的θt的最小二乘解應該爲原信號x的稀疏分解係數，那麼問題就來了：你怎麼知道通過OMP等重構算法求出的θ就是原來的x=Ψθ中的那個θ呢？爲什麼通過OMP迭代後一定會選出矩陣A的那幾列呢？會不會選擇A的另外幾列，它們的線性組合也滿足y=Aθ？這個問題我們下篇《爲什麼正交匹配追蹤(OMP)一定能恢復信號？》再說。
其實MP也好，改進後的OMP也罷，最初提出都是面向稀疏分解的，當時還沒有壓縮感知的概念，只是後來壓縮感知提出後將其引入到了壓縮感知重構中，因爲前面也說了，其實他們的本質是一樣子的，都是已知y和A的情況下求y=Aθ中的θ。
MP和OMP最初提出的文獻一般分別引用以下兩篇：
【1】S Mallat, Z Zhang.Matching pursuit with time-frequency dictionaries[J]. IEEE Transactions onSignal Processing, 1993, 41(12): 3397-3415.
【2】Y.C.Pati, R.Rezaiifar,and P.S.Krishnaprasad. Orthogonal Matching Pursuit-Recursive FunctionApproximation with Applications to wavelet decomposition, Proc. 27thAnnu. Asilomar Conf. Signals, Systems, and Computers, Pacific Grove, CA, Nov.1993,vol.1,pp40-44.
將OMP明確用於重構的文獻一般引用：
【3】Joel A. Tropp and Anna C. Gilbert. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit[J]. IEEETransactions on Information Theory, VOL. 53, NO. 12, DECEMBER 2007.
正是由於稀疏分解與壓縮感知這種密切關係，所以很多研究壓縮感知的人實際上都是做稀疏分解出身的，有些稀疏表示課題則是順帶刷幾篇壓縮感知的論文，作爲課題組研究方向的一個延伸。