題目：迭代硬閾值(IHT)的補充說明
本篇是對壓縮感知重構算法之迭代硬閾值(IHT)的一個補充。
學完IHT後，近期陸續學習了硬閾值(hard Thresholding)函數和Majorization-Minimization(MM)優化框架，對IHT有了一些新的和深入的理解，補充一下。
1、真正的迭代硬閾值(IHT)算法
這裏直接說的是真正的迭代硬閾值(IHT)算法，難道在原來提到的算法不是IHT麼？
在文獻【[1]Blumensath T,Davies M E.IterativeThresholding for Sparse Approximations[J]. Journal of Fourier Analysis& Applications,2008, 14(5):629-654.】中的第2部分直接談到了真正的IterativeHard-Thresholding算法，至於爲什麼稱它是“真正的”IHT，待後面推導完成後就清楚了。
優化問題式(2.1)的目標函數是式(1.5)：
這並不是一個很容易優化的問題，因此引入了一個替代目標函數(surrogate objectivefunction)，即式(2.5)：
注意，這裏是在Majorization-Minimization優化框架下的，比較式(2.5)和式(1.5)兩個目標函數可以發現：(1)在條件||Φ||2<1下，式(2.5)≥式(1.5)；(2)對於式(2.5)來說，當z=y時，式(2.5)=式(1.5)。且不管目標函數式(2.5)是否容易優化，式(2.5)已經滿足了兩個MM優化框架下替代目標函數的條件[2]：
那麼式(2.5)是否容易優化呢？我們進行一下簡單的推導：
其中
其中
對於標準的硬閾值(Hard Thresholding)函數來說，這個優化問題的解是
注意：這裏的B是一個向量，應該是逐個元素分別執行硬閾值函數；其中標準的硬閾值(Hard Thresholding)函數是：
將符號換爲此處的優化問題
則解爲
注意：這裏的y*是一個向量，應該是逐個元素分別執行硬閾值函數；其中
這正是式(2.2)和式(2.3)！然後我們根所Majorization-Minimization的流程進行迭代即可，注意z代表yn，即當前迭代值，而優化解hard(y*,sqrt(λ))代表yn+1，用於下次迭代。
由於這個算法的整個過程相當於迭代執行硬閾值(Hard Thresholding)函數，所以把它稱爲迭代硬閾值(Iterative Hard Thresholding)算法。
2、我們眼中的迭代硬閾值(IHT)算法
這個算法在文獻【[3]Blumensath T, Davies M E. Iterative hard thresholding for compressed sensing[J]. Applied & Computational HarmonicAnalysis, 2008, 27(3):265-274.】中簡稱爲IHTs，個人感覺區別於真正的IHT算法，的確應該把這個M-sparseAlgorithm簡稱爲IHTs，其中s應該是指的sparse(稀疏)。
區別於式(2.1)，式(3.1)的目標函數沒有0範數項，因此在推導到最後目標函數只剩下
部分，而沒有0範數項，而這個目標函數的最優解很顯然就是y*，不用再經過硬閾值處理，但要注意的是式(3.1)有約束條件||y||0≤M，爲了使目標函數在此約束下最小，即要使前面的K最小：
很顯然就是留下y*中最大的M項即可，因此就有了式(3.2)和式(3.3)。剩下的依然是按照Majorization-Minimization的流程進行迭代即可。
因此，爲了規範，以後均把文獻【1】Section2介紹的算法簡稱爲IHT，而把文獻【1】Section3介紹的算法簡單爲IHTs。
3、結束語
文獻【1】作者在1.3節paper overview中提到了自己的主要創新之處，作者明確的說到自己在論文第二部分推導了IHT算法，而在第三部分提出了IHT算法一個新的variation，可以解決M稀疏問題：
一個如此容易實現的IHT算法，背後居然藏着這麼多數學知識。從推導過程可以看出，IHTs方法僅做了一點改進，但卻被廣泛流傳引用，我想背後的原因除了這一點改進外，更多的是作者的數學證明吧，個人感覺這也是國內文獻與國外文獻最大的區別之處：我們中文期刊上的論文那怕是權威的學報，往往作者只是提出一個想法，然後進行仿真證明自己的算法優於以前的算法，然後就結束了，而國外這些算法，你會發現他們的改進甚至還不如我們國內的學者，但加上他們對自己改進的算法的數學證明之後就立馬顯得比國內論文高大上很多了……
4、參考文獻
【1】(Available at:http://link.springer.com/article/10.1007%2Fs00041-008-9035-z)
【2】谷鵠翔.IteratedSoft-ThresholdingAlgorithm[Report,slides]. http://www.sigvc.org/bbs/thread-41-1-2.html
【3】(Available at:http://www.sciencedirect.com/science/article/pii/S1063520309000384)