工程數據特徵的稀疏性
從一個簡單的例子說起，相信大多數人學過線性代數或者矩陣論之類的課程吧，再線性代數中，最初始的時候就會學到關於如何判斷一大堆向量線性的相關或者不相關性，進而確定一組線性無關組。這裏比如說空間中一個向量X是一個三維座標點吧，用(x,y,z)表示。假設現在有一堆點X1(1,0,0);X2(0,1,0);X3(0,0,1);X4(4,3,5);X5(2,1,4)……等等吧，那麼我們是不是可以找到這一大堆向量的最大線性無關組其實就可以用X1,X2,X3來表示，其他的任何向量Xi都可以用這三個向量來線性表示，當然用X1,X2,X3來表示任何一個向量來表示是最簡單情況，你一個向量同樣可以用X1,X2,X3,X4,X5來表示，不過這個多兩個待確定係數而已。好了現在假設我們已知有X1X10這十個向量，那麼同空間中有一個向量我們就可以用X1X10這十個向量線性表示，就有10個待確定係數。但是我們事先是知道一個向量只需要用X1,X2,X3來表示即可了，那麼我們可以讓上面需要確定的10個參數中的後7個參數約束爲0即可，那麼其實這個過程就是一種稀疏表示思想。可以看出稀疏表示就是找到空間中的一組基，用這組基可以擴展到空間中的任何向量。稀疏表示的好處在於降低表示複雜度，更直白的原因其實就是減少係數參數，通過稀疏表示，可以充分發揮數據所含有的信息，去掉冗餘的數據信息，達到最大化利用數據，這一點是非常重要的。被稀疏表示的特徵即是稀疏特徵。
詳細以下：
https://blog.csdn.net/on2way/article/details/50389968