個人稀疏編碼筆記

Sparse Coding

參考於：《Sparse and Redundant Representations From Theory to Applications in Signal and Image Processing》
考慮如下的線性系統：

b=Ax

其中，A∈Rn×m,b∈Rn,x∈Rm,n>m ,
因爲{方程組}的行數（方程個數）n 多於未知參數的個數 m , 因此上述方程組是欠定的，其解爲 無解or無窮多解，爲了保證上述方程有解，此後我們假定 A 是滿秩矩陣。
我們追求的結果是找到 b 的稀疏表示方法，也即設法找到A,x 使得在該映射變換下，x 是 b 的稀疏表達方式，準則是利用 x 中儘可能少的不爲零的數，來等效表示b 。接下來，我們考慮各種範數指標。
sparsity: x 中不爲零元素的個數

二範數指標

我們選取指標：

J(x)=||x||22+λT(Ax−b)

其中，向量2-範數定義爲：||x||2=∑|xi|2−−−−−−√ , 則||x||22=∑|xi|2 ， 其意義也就是各元素的平方和，雖然這個二範數準則和我們的稀疏性準則並不完全一致，但是我們還是先來看一下吧。
很明顯對於這種 凸函數 來說，尋找極值點可以通過滿足偏導等於0 實現，書中有證明，對於下面的形式 (p-範數的p次冪) ，都是凸函數。

||x||ppis convex,forp≥1

對於向量範數的概念：

範數 (norm) 表示向量的長度。
0−範數：||x||0= number of non-zero elments
1−範數：||x||1=|x1|+|x2|+...+|xm|
2−範數：||x||2=(|x1|2+|x2|2+...+|xm|2)1/2
p−範數：||x||p=(|x1|p+|x2|p+...+|xm|p)1/p
∞−範數：||x||∞=max{|x1|,|x2|,...,|xm|}

其中，1-範數 (ℓ1 ) 標準下，向量長度=元素絕對值之和，2-範數 (ℓ2 ) 指的是歐式長度或說歐氏距離，∞ -範數 (ℓ∞ ) 等於元素絕對值最大值。
從0-範數 (ℓ0 ) 的定義來看，應該更符合我們對於稀疏性的要求。

接着回到我們的二範數指標中去，易證其極值處的解應該是：

x=A†b

其中A†=(ATA)−1 , 是僞逆 (pseudo-inverse)