題目：IST：Iterative Shrinkage/Thresholding和Iterative Soft Thresholding
本篇是對壓縮感知重構算法之迭代軟閾值(IST)的延續，可能需要以下基礎：軟閾值(Soft
Thresholding)函數和硬閾值(Hard Thresholding)函數。
前面我們在討論迭代軟閾值算法時提到，一般文獻中出現的IST或ISTA簡稱中的“S”並非指的是“soft”，而是“shrinkage”，即“Iterative Shrinkage/ThresholdingAlgorithm”，那麼Iterative Soft Thresholding和Iterative Shrinkage/Thresholding究竟有什麼區別呢？是不是同一個算法的不同稱呼呢？由於找不出一篇具體的、權威的IST算法起源文獻，本篇就通過多篇文獻中與IST有關的蛛絲馬跡嘗試去探索一下這個問題的真相……
首先給出本文對此問題的結論：
Iterative Soft Thresholding是Iterative Shrinkage/Thresholding的一種特殊情況，即每次迭代(iteration)時正好是求軟閾值(soft thresholding)函數時的特殊情況。
另外，你要認爲它們是一樣的也可以，這就是一個狹義和廣義的問題。
接一來，我們來看一看文獻中有關IST的內容：
【1】Daubechies I, Defrise M, Mol C D.An iterative thresholding algorithm for linear inverse problems with asparsity constraint[J]. Communications on Pure & Applied Mathematics,2004, 57(11):1413–1457.
本篇文獻經常被引爲IST的提出文獻之一，但該文獻中並沒有明確出現IST的簡稱。
首先看文中的一處描述：這裏Iterative、Shrinkage、Thresholding三個單詞都出現了，雖然沒有連在一起：
然後在Theorem3.1中出現了“shrinkage operator”，這是一個很關鍵的詞，因爲我們在上篇中曾談到之所以將算法稱爲Iterative Soft Thresholding是因爲每一次迭代執行Soft Thresholding函數：
這個“shrinkage operator”的定義爲式(17)，如下：
式(17)的定義又引用到了式(14)和式(16)：
注意：式(14)中的(Fw,p)-1表示求反函數。當p=1時，可得式(16)：
文中提到的式(10)定義如下：
注意：式(16)即爲我們熟悉的Soft Thresholding函數。
因此，我們得出一個結論，“Soft Thresholding”是“shrinkage operator”當p=1時的一種特殊情況。
排除同名的可能性，本文獻的第一作者Ingrid Daubechies即爲著名的db系列小波基(Daubechies小波)提出者，也是《小波十講》的作者。
【2】Elad M.Why Simple ShrinkageIs Still Relevant for Redundant Representations?[J]. IEEE Transactions onInformation Theory, 2006, 52(12):5559-5569.
我們接着來看“Shrinkage”：
這裏提到的式(7)和式(6)分別是：
而這裏提到的Fig.2如圖所示：
圖名裏提到的LUT是指lookup table (LUT) function。注意：圖中的左上圖爲Soft Thresholding函數，而右上圖爲Hard Thresholding函數。
因此，我們得出一個結論：Soft Thresholding和Hard Thresholding是“Shrinkage”的一種特殊情況，分別是當式(6)中的ρ(z)=|z|(1範數)和ρ(z)=|z|0(0範數)。
【3】Elad M.A wide-angle view atiterated shrinkage algorithms[J]. Proceedings of SPIE - The InternationalSociety for Optical Engineering, 2007, 6701(6701):26--29.
我們接着來看“Shrinkage”：
注意這裏提到的經典的Donoho-Johnston shrinkage method是由參考文獻[18]提出，這裏的參考文獻[13][18]是如下兩篇文獻：
還記得這兩篇文獻麼？Soft Thresholding和Hard Thresholding是由[18]提出的。
接下來，有一段非常明確的有關“Shrinkage”的描述
注意後面加了波浪下劃線的話：得到的“Shrinkage”函數是一條將輸入x0映射爲輸出xopt的曲線，這個函數將原點附近範圍的值映射爲0，出了這個範圍的值被“shrinked”，因此有了這個operator的名字。
值得注意的是，當p=1，求解方程(12)將得到soft thresholding函數。
【4】Bioucas-DiasJ M, Figueiredo M A T.A new TwIST: two-stepiterative shrinkage/thresholding algorithms for image restoration[J]. IEEETransactions on Image processing, 2007, 16(12): 2992-3004.
這篇文獻對IST的闡述更爲清晰。首先看這篇文獻要解決的問題(1)：
然後看一段綜述，這裏明確提到Iterative Shrinkage/Thresholding(IST)：
注意這裏多次提到IST多次被“independently”提出。文中接下來又提到了“shrinkage”函數：
文中提到的denoising operator式(3)如下所示：
也就是說這裏討論的shrinkage function即爲denoising operator式(3)的解。當p=1時，denoising operator(3)由式(8)給出：
可以看出，式(8)就是soft thresholding函數，也就是說soft thresholding函數是shrinkage function當p=1時的一種特殊形式。
文中明確給出了IST算法：
而原始的IST算法是當β=1時的特殊情況。從式(13)可以看出，Iterative Soft Thresholding 是Iterative Shrinkage/Thresholding的一種特殊情況。
【5】Bredies K,Lorenz D.Iterative soft-thresholdingconverges linearly[R]. Zentrum für Technomathematik, 2007.(Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.245.1143&rep=rep1&type=pdf)
直接討論Iterative Soft Thresholding的文獻較少，本文獻即直接討論了Iterative Soft Thresholding的收斂情況。文中提到Iterative Soft Thresholding是爲了解決式(1.1)：
這個式(1.1)並不太熟悉，原因在於正則項|uk|（即1範數）前面的係數爲隨k的變化是變化的，其實這個並不影響什麼，將式(1.1)按soft thresholding推導過程中面對的優化問題拆開，即可知這個影響的只是每次求軟閾值時門限不一樣而已。
從文中以下描述可以看出，本篇文獻即爲Iterative Soft Thresholding算法：
另外，文中提到了Iterative Soft Thresholding算法的其它名字如thresholded Landweber。
【6】Beck A, Teboulle M.A FastIterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems[J].Siam Journal on Imaging Sciences, 2009, 2(1):183-202.
本篇文獻實際上是把Iterative Soft Thresholding和Iterative Shrinkage/Thresholding認爲是同一種算法：
另外，文中也提到了Iterative Shrinkage/Thresholding的一些其它名字：
【7】Wright S J,Nowak R D, Figueiredo M A T.Sparsereconstruction by separable approximation[J]. IEEE Transactions on SignalProcessing, 2009, 57(7): 2479-2493.
本篇文獻中提到了更多Iterative Shrinkage/Thresholding的一些別名，雖然這些別名並不常見：
【8】Nowak R D, Wright S J.Gradientprojection for sparse reconstruction: Application to compressed sensing andother inverse problems[J]. IEEE Journal of selected topics in signalprocessing, 2007, 1(4): 586-597.
將本篇文獻放在這裏並不是爲了探討shrinkage的含義。本文獻是爲了求解優化問題：
熟悉BPDN的知道，這就是基追蹤降噪問題。文中有一段有關IST的描述：
其中文中的IST全稱爲：
文中的CS全稱爲：
注意最後一句，文獻說IST對於解決壓縮感知問題可能並不是很有效，原因是“it may be loose in the CS case,where matrix usually has many fewer rows than columns.”。對於這一點我有些疑問，原因是經過debias後，我們的IST能夠進行壓縮感知重構。