1、稀疏編碼概述
稀疏編碼的概念來自於神經生物學。生物學家提出，哺乳動物在長期的進化中，生成了能夠快速，準確，低代價地表示自然圖像的視覺神經方面的能力，我們直觀地可以想象，我們的眼睛每看到的一副畫面都是上億像素的，而每一幅圖像我們都只用很少的代價重建與存儲。我們把它叫做稀疏編碼。
2、L0範數與L1範數
L0範數是指向量中非0的元素的個數。如果我們用L0範數來規則化一個參數矩陣W的話，就是希望W的大部分元素都是0.換句話說就是讓參數W是稀疏的。
L1範數是指向量中各個元素絕對值之和，也有個美稱叫“”“稀疏規則算子”。
既然L0可以實現稀疏，爲什麼不用L0，而要用L1呢？主要有兩點：1、因爲L0範數很難優化求解（NP難題）；2、L1範數是L0範數的最優凸近似，而且它比L0範數要容易優化求解，所以大家才把目光和萬千寵愛轉於L1範數。
小結：L1範數和L0範數可以實現稀疏，L1因具有比L0更好的優化求解特性而被廣泛應用。
1）特徵選擇
原始的模式識別是直接對原始圖像進行特徵提取，而所提取出來的特徵和最終的輸出很多情況下其實是有冗餘成分的，就是說我們只需要關鍵特徵識別就可以，沒有必要用那麼多特徵，更多情況下，那些冗餘信息會干擾我們最後的識別結果。
稀疏編碼算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數據，大家對稀疏規則化趨之若鶩的一個關鍵原因在於它能實現特徵的自動選擇，一般來說，x的大部分元素（也就是特徵）都是和最終的輸出y沒有關係或者不提供任何信息的，在最小化目標函數的時候考慮x這些額外的特徵，雖然可以獲得更小的訓練誤差，但在預測新的樣本時，這些沒用的信息反而會被考慮，從而干擾了對正確y的預測。稀疏規則化算子的引入就是爲了完成特徵選擇的光榮使命，它會學習地去掉這些沒有信息的特徵，也就是把這些特徵對應的權重置爲0.