l1範數最小化快速算法

原創

2018-08-25 23:17

1：解決的問題模型如下：

或者約束條件可以適當的鬆弛，即爲如下模型：

當然約束條件取l2 範數，b 數據獲取的比較準確，結果逼近的效果更好，防止過擬合。如果取l1 範數，則是獲取的b 數據，受到污染比較嚴重。並且b 本身就是稀疏的。這也是人的經驗對於模型的成功也是很重要的。
2：幾類優化算法
(1)梯度投影算法Gradient Projection Methods
原問題可以變爲如下問題：

下面介紹兩種方法對其進行處理。
i)上式又等價於：

所以就有如下記號和約定：

更新zk 時沿着負梯度的方向下降最快。但是隻是局部最小值。

其中ak 是步長，可以用線搜索的方法來確定最優步長。
下介紹第二種方法 truncated Newton interior-point method.
ii)上式又等價於：

利用內點法的把約束條件給罰到目標函數上去。
在這裏我們對約束條件利用logarithmic barrier函數進行改寫。

在這裏，我們可以看到當xi 越接近ui或者−ui 的時候，函數值會變得越大。當xi 無限趨近於ui或者−ui 時，則函數值無限趨於無窮大。所以只有當xi 趨近於0時候，函數值才趨近於一個常數。
所以上式可以等價於如下模型：

然後利用牛頓算法進行求解計算。

(2)迭代閾值收縮算法 Iterative Shrinkage-Thresholding Methods
對於一般的模型：

其中：

對f(x) 二次近似。則問題轉變成如下：

可以適用迭代閾值算法。關於l_{1}範數最優化的迭代閾值算法的證明可以參見我的另一篇博客

(3)近端梯度算法 Proximal gradient method
其處理的模型如下：

其中f(x) 是連續可微的，微分函數滿足利普希茨條件成立：

其中L 相當於代替f(x) 的二階偏導。
那麼可以進行如下算法來解決問題：

說明：
第一步的更新：按照f(x) 沿着負梯度的方向下降最快
第二步的更新：有數值解，進行軟閾值操作。
(4)交替方向法 Alternating Direction Methods
其實利用的是拉格朗日算法，來進行更新出來。解決的模型如下：

其拉格朗日函數如下：

問題變爲分別最小化x,e,y 。
說明：
更新e 時，固定x,y ，直接求導，e 有數值解。
更新x 時，固定e,y 經過化簡，可以運用軟閾值進行操作計算。
更新y 時，固定x,e ，直接求導，y 有數值解。