个人稀疏编码笔记

Sparse Coding

参考于：《Sparse and Redundant Representations From Theory to Applications in Signal and Image Processing》
考虑如下的线性系统：

b=Ax

其中，A∈Rn×m,b∈Rn,x∈Rm,n>m ,
因为{方程组}的行数（方程个数）n 多于未知参数的个数 m , 因此上述方程组是欠定的，其解为 无解or无穷多解，为了保证上述方程有解，此后我们假定 A 是满秩矩阵。
我们追求的结果是找到 b 的稀疏表示方法，也即设法找到A,x 使得在该映射变换下，x 是 b 的稀疏表达方式，准则是利用 x 中尽可能少的不为零的数，来等效表示b 。接下来，我们考虑各种范数指标。
sparsity: x 中不为零元素的个数

二范数指标

我们选取指标：

J(x)=||x||22+λT(Ax−b)

其中，向量2-范数定义为：||x||2=∑|xi|2−−−−−−√ , 则||x||22=∑|xi|2 ， 其意义也就是各元素的平方和，虽然这个二范数准则和我们的稀疏性准则并不完全一致，但是我们还是先来看一下吧。
很明显对于这种 凸函数 来说，寻找极值点可以通过满足偏导等于0 实现，书中有证明，对于下面的形式 (p-范数的p次幂) ，都是凸函数。

||x||ppis convex,forp≥1

对于向量范数的概念：

范数 (norm) 表示向量的长度。
0−范数：||x||0= number of non-zero elments
1−范数：||x||1=|x1|+|x2|+...+|xm|
2−范数：||x||2=(|x1|2+|x2|2+...+|xm|2)1/2
p−范数：||x||p=(|x1|p+|x2|p+...+|xm|p)1/p
∞−范数：||x||∞=max{|x1|,|x2|,...,|xm|}

其中，1-范数 (ℓ1 ) 标准下，向量长度=元素绝对值之和，2-范数 (ℓ2 ) 指的是欧式长度或说欧氏距离，∞ -范数 (ℓ∞ ) 等于元素绝对值最大值。
从0-范数 (ℓ0 ) 的定义来看，应该更符合我们对于稀疏性的要求。

接着回到我们的二范数指标中去，易证其极值处的解应该是：

x=A†b

其中A†=(ATA)−1 , 是伪逆 (pseudo-inverse)