最小二乘法的對偶形式（CVX）

最小二乘法的表示形式很多，其對偶形式也很多。這裏學習了CVX官網的例子，求解最小二乘法的幾種形式，這裏進行簡單的分析，看看是怎麼得到的。

數據生成部分

randn('state',0);
n = 4;
m = 2*n;
A = randn(m,n);
b = randn(m,1);
p = 2;
q = p/(p-1);

第一種形式

cvx_begin quiet
    variable x(n)
    minimize ( norm ( A*x - b , p) )
cvx_end

第二種形式

cvx_begin quiet
    variables x(n) y(m)
    minimize ( norm ( y , p ) )
    A*x - b == y;
cvx_end

第三種形式

cvx_begin quiet
    variable nu(m)
    maximize ( b'*nu )
    norm( nu , q ) <= 1;
    A'*nu == 0;
cvx_end

這個形式怎麼推導出來的並清楚，不過意思容易解釋
如下圖所示，$b=\hat{b}+b_e$,$b_e$與X的列空間正交，求取$min \ ||Ax-b||_2=min\ |||Ax-\hat{b}|+||b_e||$的過程等同於使$||max \ b_e|| \ s.t. \ b_e \perp Col(A)$,也就是求b中與X列空間正交的部分。
$maximize \ b^Tv\\ s.t. \ ||v||<=1,X^Tv=0$
顯然，這個解是$v^*=b_e/||b_e||,||v^*||=1$

第四種形式

和第二種差不多
$minimize \ 1/2 ||y||^2\\ s.t. \ Ax - b = y$

cvx_begin quiet
    variables x(n) y(m)
    minimize ( 0.5 * square_pos ( norm ( y , p ) ) )
    A*x - b == y;
cvx_end

第五種形式

cvx_begin quiet
    variable nu(m)
    maximize ( -0.5 * square_pos ( norm ( nu , q ) ) + b'*nu )
    A'*nu == 0;
cvx_end

首先給出最小二乘法的優化形式
$min \ \frac{1}{2}b_e^Tb_e\\s.t. \ b - Ax-b_e=0$
拉格朗日方程式：
$\mathcal{L(b_e,x,v)}=\frac{1}{2}b_e^Tb_e +v^T(b-Ax-b_e)\\ \frac{\partial \mathcal{L}}{\partial b_e}=b_e-v\\ \frac{\partial \mathcal{L}}{\partial x}=-A^Tv\\ \frac{\partial \mathcal{L}}{\partial v}=b-Ax-b_e\\$
令偏導數爲0得到
$b_e=v\\-A^Tv=0\\b-Ax-b_e=0$
帶入拉格朗日公式得到
$g(v)=\underset{x}{inf}\left ( f(x) +v^Th\right )=-\frac{1}{2}v^Tv+b^Tv$
這裏，$f(x)=||Ax-b||$，假設其最優解爲$f(x^*)$。g(v)爲凹函數，是$\mathcal{L(b_e,x,v)}$的下界.
因此，對偶形式如下：
$max \ g(v)=-\frac{1}{2}v^Tv+b^Tv\\s.t. \ A^Tv=0$

在所有可行解$x \in \mathcal{D}$裏面，有$\mathcal{L(b_e,x,v)}=f(x) +v^Th= f(x) \ge f(x^*)\ge g(b_e,v)$

第三種形式和第五種形式很像，如果給個$||v||=1$的約束，兩者就是一樣的形式了

參考

http://web.cvxr.com/cvx/examples/cvxbook/Ch05_duality/html/norm_approx.html