迭代硬阈值(IHT)算法解决CS优化目标函数

原文链接：https://blog.csdn.net/jbb0523/article/details/52134704

题目：迭代硬阈值(IHT)的补充说明

        本篇是对压缩感知重构算法之迭代硬阈值(IHT)的一个补充。

        学完IHT后，近期陆续学习了硬阈值(hard Thresholding)函数和Majorization-Minimization(MM)优化框架，对IHT有了一些新的和深入的理解，补充一下。

1、真正的迭代硬阈值(IHT)算法

        这里直接说的是真正的迭代硬阈值(IHT)算法，难道在原来提到的算法不是IHT么？

        在文献【[1]Blumensath T,Davies M E.IterativeThresholding for Sparse Approximations[J]. Journal of Fourier Analysis& Applications,2008, 14(5):629-654.】中的第2部分直接谈到了真正的IterativeHard-Thresholding算法，至于为什么称它是“真正的”IHT，待后面推导完成后就清楚了。

        优化问题式(2.1)的目标函数是式(1.5)：

        这并不是一个很容易优化的问题，因此引入了一个替代目标函数(surrogate objectivefunction)，即式(2.5)：

        注意，这里是在Majorization-Minimization优化框架下的，比较式(2.5)和式(1.5)两个目标函数可以发现：(1)在条件||Φ||₂<1下，式(2.5)≥式(1.5)；(2)对于式(2.5)来说，当z=y时，式(2.5)=式(1.5)。且不管目标函数式(2.5)是否容易优化，式(2.5)已经满足了两个MM优化框架下替代目标函数的条件^[2]：

        那么式(2.5)是否容易优化呢？我们进行一下简单的推导：

其中，是与y无关的项；所以优化式(2.5)时，可以等价于优化

其中。看到这个问题熟悉么？对，这正是硬阈值(Hard Thresholding)函数要解决的以下优化问题

        对于标准的硬阈值(Hard Thresholding)函数来说，这个优化问题的解是

注意：这里的B是一个向量，应该是逐个元素分别执行硬阈值函数；其中标准的硬阈值(Hard Thresholding)函数是：

将符号换为此处的优化问题

则解为

注意：这里的y*是一个向量，应该是逐个元素分别执行硬阈值函数；其中

        这正是式(2.2)和式(2.3)！然后我们根所Majorization-Minimization的流程进行迭代即可，注意z代表yⁿ，即当前迭代值，而优化解hard(y*,sqrt(λ))代表yⁿ⁺¹，用于下次迭代。

        由于这个算法的整个过程相当于迭代执行硬阈值(Hard Thresholding)函数，所以把它称为迭代硬阈值(Iterative Hard Thresholding)算法。

2、我们眼中的迭代硬阈值(IHT)算法

        这个算法在文献【[3]Blumensath T, Davies M E. Iterative hard thresholding for compressed sensing[J]. Applied & Computational HarmonicAnalysis, 2008, 27(3):265-274.】中简称为IHTs，个人感觉区别于真正的IHT算法，的确应该把这个M-sparseAlgorithm简称为IHTs，其中s应该是指的sparse(稀疏)。

        区别于式(2.1)，式(3.1)的目标函数没有0范数项，因此在推导到最后目标函数只剩下

部分，而没有0范数项，而这个目标函数的最优解很显然就是y*，不用再经过硬阈值处理，但要注意的是式(3.1)有约束条件||y||₀≤M，为了使目标函数在此约束下最小，即要使前面的K最小：

        很显然就是留下y*中最大的M项即可，因此就有了式(3.2)和式(3.3)。剩下的依然是按照Majorization-Minimization的流程进行迭代即可。

        因此，为了规范，以后均把文献【1】Section2介绍的算法简称为IHT，而把文献【1】Section3介绍的算法简单为IHTs。

3、结束语

        文献【1】作者在1.3节paper overview中提到了自己的主要创新之处，作者明确的说到自己在论文第二部分推导了IHT算法，而在第三部分提出了IHT算法一个新的variation，可以解决M稀疏问题：

        一个如此容易实现的IHT算法，背后居然藏着这么多数学知识。从推导过程可以看出，IHTs方法仅做了一点改进，但却被广泛流传引用，我想背后的原因除了这一点改进外，更多的是作者的数学证明吧，个人感觉这也是国内文献与国外文献最大的区别之处：我们中文期刊上的论文那怕是权威的学报，往往作者只是提出一个想法，然后进行仿真证明自己的算法优于以前的算法，然后就结束了，而国外这些算法，你会发现他们的改进甚至还不如我们国内的学者，但加上他们对自己改进的算法的数学证明之后就立马显得比国内论文高大上很多了……

4、参考文献

【1】(Available at:http://link.springer.com/article/10.1007%2Fs00041-008-9035-z)

【2】谷鹄翔.IteratedSoft-ThresholdingAlgorithm[Report,slides]. http://www.sigvc.org/bbs/thread-41-1-2.html

【3】(Available at:http://www.sciencedirect.com/science/article/pii/S1063520309000384)