壓縮感知重構算法之逐步正交匹配追蹤（StOMP）

壓縮感知重構算法之分段正交匹配追蹤(StOMP)

轉載自彬彬有禮的的專欄

        題目：壓縮感知重構算法之分段正交匹配追蹤(StOMP)

        分段正交匹配追蹤(StagewiseOMP)或者翻譯爲逐步正交匹配追蹤，它是OMP另一種改進算法，每次迭代可以選擇多個原子。此算法的輸入參數中沒有信號稀疏度K，因此相比於ROMP及CoSaMP有獨到的優勢。

0、符號說明如下：

        壓縮觀測y=Φx，其中y爲觀測所得向量M×1，x爲原信號N×1（M<<N）。x一般不是稀疏的，但在某個變換域Ψ是稀疏的，即x=Ψθ，其中θ爲K稀疏的，即θ只有K個非零項。此時y=ΦΨθ，令A=ΦΨ，則y=Aθ。

        (1) y爲觀測所得向量，大小爲M×1

        (2)x爲原信號，大小爲N×1

        (3)θ爲K稀疏的，是信號在x在某變換域的稀疏表示

        (4) Φ稱爲觀測矩陣、測量矩陣、測量基，大小爲M×N

        (5) Ψ稱爲變換矩陣、變換基、稀疏矩陣、稀疏基、正交基字典矩陣，大小爲N×N

        (6)A稱爲測度矩陣、傳感矩陣、CS信息算子，大小爲M×N

上式中，一般有K<<M<<N，後面三個矩陣各個文獻的叫法不一，以後我將Φ稱爲測量矩陣、將Ψ稱爲稀疏矩陣、將A稱爲傳感矩陣。

        注意：這裏的稀疏表示模型爲x=Ψθ，所以傳感矩陣A=ΦΨ；而有些文獻中稀疏模型爲θ=Ψx，而一般Ψ爲Hermite矩陣(實矩陣時稱爲正交矩陣)，所以Ψ^-1=Ψ^H (實矩陣時爲Ψ^-1=Ψ^T)，即x=Ψ^Hθ，所以傳感矩陣A=ΦΨ^H，例如沙威的OMP例程中就是如此。

1、StOMP重構算法流程：

2、分段正交匹配追蹤(StOMP)Matlab代碼(CS_StOMP.m)

        代碼參考了文獻[4]中的SolveStOMP.m，也可參考文獻[5]中的StOMP.m。其實文獻[4]是斯坦福的SparseLab中的一個函數而已，鏈接爲http://sparselab.stanford.edu/，最新版本爲2.1，SolveStOMP.m在目錄SparseLab21-Core\SparseLab2.1-Core\Solvers裏面。

function [ theta ] = CS_StOMP( y,A,S,ts )
%CS_StOMP Summary of this function goes here
%Version: 1.0 written by jbb0523 @2015-04-29
%   Detailed explanation goes here
%   y = Phi * x
%   x = Psi * theta
%   y = Phi*Psi * theta
%   令 A = Phi*Psi, 則y=A*theta
%   S is the maximum number of StOMP iterations to perform
%   ts is the threshold parameter
%   現在已知y和A，求theta
%   Reference:Donoho D L，Tsaig Y，Drori I，Starck J L．Sparse solution of
%   underdetermined linear equations by stagewise orthogonal matching
%   pursuit[J]．IEEE Transactions on Information Theory，2012，58(2)：1094—1121
    if nargin < 4
        ts = 2.5;%ts範圍[2,3],默認值爲2.5
    end
    if nargin < 3
        S = 10;%S默認值爲10
    end
    [y_rows,y_columns] = size(y);
    if y_rows<y_columns
        y = y';%y should be a column vector
    end
    [M,N] = size(A);%傳感矩陣A爲M*N矩陣
    theta = zeros(N,1);%用來存儲恢復的theta(列向量)
    Pos_theta = [];%用來迭代過程中存儲A被選擇的列序號
    r_n = y;%初始化殘差(residual)爲y
    for ss=1:S%最多迭代S次
        product = A'*r_n;%傳感矩陣A各列與殘差的內積
        sigma = norm(r_n)/sqrt(M);%參見參考文獻第3頁Remarks(3)
        Js = find(abs(product)>ts*sigma);%選出大於閾值的列
        Is = union(Pos_theta,Js);%Pos_theta與Js並集
        if length(Pos_theta) == length(Is)
            if ss==1
                theta_ls = 0;%防止第1次就跳出導致theta_ls無定義
            end
            break;%如果沒有新的列被選中則跳出循環
        end
        %At的行數要大於列數，此爲最小二乘的基礎(列線性無關)
        if length(Is)<=M
            Pos_theta = Is;%更新列序號集合
            At = A(:,Pos_theta);%將A的這幾列組成矩陣At
        else%At的列數大於行數，列必爲線性相關的,At'*At將不可逆
            if ss==1
                theta_ls = 0;%防止第1次就跳出導致theta_ls無定義
            end
            break;%跳出for循環
        end
        %y=At*theta，以下求theta的最小二乘解(Least Square)
        theta_ls = (At'*At)^(-1)*At'*y;%最小二乘解
        %At*theta_ls是y在At列空間上的正交投影
        r_n = y - At*theta_ls;%更新殘差
        if norm(r_n)<1e-6%Repeat the steps until r=0
            break;%跳出for循環
        end
    end
    theta(Pos_theta)=theta_ls;%恢復出的theta
end

function [ theta ] = CS_StOMP( y,A,S,ts )
%CS_StOMP Summary of this function goes here
%Version: 1.0 written by jbb0523 @2015-04-29
%   Detailed explanation goes here
%   y = Phi * x
%   x = Psi * theta
%	y = Phi*Psi * theta
%   令 A = Phi*Psi, 則y=A*theta
%   S is the maximum number of StOMP iterations to perform
%   ts is the threshold parameter
%   現在已知y和A，求theta
%   Reference:Donoho D L，Tsaig Y，Drori I，Starck J L．Sparse solution of
%   underdetermined linear equations by stagewise orthogonal matching 
%   pursuit[J]．IEEE Transactions on Information Theory，2012，58(2)：1094—1121
    if nargin < 4
        ts = 2.5;%ts範圍[2,3],默認值爲2.5
    end
    if nargin < 3
        S = 10;%S默認值爲10
    end
    [y_rows,y_columns] = size(y);
    if y_rows<y_columns
        y = y';%y should be a column vector
    end
    [M,N] = size(A);%傳感矩陣A爲M*N矩陣
    theta = zeros(N,1);%用來存儲恢復的theta(列向量)
    Pos_theta = [];%用來迭代過程中存儲A被選擇的列序號
    r_n = y;%初始化殘差(residual)爲y
    for ss=1:S%最多迭代S次
        product = A'*r_n;%傳感矩陣A各列與殘差的內積
        sigma = norm(r_n)/sqrt(M);%參見參考文獻第3頁Remarks(3)
        Js = find(abs(product)>ts*sigma);%選出大於閾值的列
        Is = union(Pos_theta,Js);%Pos_theta與Js並集
        if length(Pos_theta) == length(Is)
            if ss==1
                theta_ls = 0;%防止第1次就跳出導致theta_ls無定義
            end
            break;%如果沒有新的列被選中則跳出循環
        end
        %At的行數要大於列數，此爲最小二乘的基礎(列線性無關)
        if length(Is)<=M
            Pos_theta = Is;%更新列序號集合
            At = A(:,Pos_theta);%將A的這幾列組成矩陣At
        else%At的列數大於行數，列必爲線性相關的,At'*At將不可逆
            if ss==1
                theta_ls = 0;%防止第1次就跳出導致theta_ls無定義
            end
            break;%跳出for循環
        end
        %y=At*theta，以下求theta的最小二乘解(Least Square)
        theta_ls = (At'*At)^(-1)*At'*y;%最小二乘解
        %At*theta_ls是y在At列空間上的正交投影
        r_n = y - At*theta_ls;%更新殘差
        if norm(r_n)<1e-6%Repeat the steps until r=0
            break;%跳出for循環
        end
    end
    theta(Pos_theta)=theta_ls;%恢復出的theta
end

3、StOMP單次重構測試代碼

        以下測試代碼基本與OMP單次重構測試代碼一樣，除了調用CS_StOMP之外，一定要注意這裏的測量矩陣Phi =randn(M,N)/sqrt(M)，一定一定！！！

%壓縮感知重構算法測試
clear all;close all;clc;
M = 64;%觀測值個數
N = 256;%信號x的長度
K = 12;%信號x的稀疏度
Index_K = randperm(N);
x = zeros(N,1);
x(Index_K(1:K)) = 5*randn(K,1);%x爲K稀疏的，且位置是隨機的
Psi = eye(N);%x本身是稀疏的，定義稀疏矩陣爲單位陣x=Psi*theta
Phi = randn(M,N)/sqrt(M);%測量矩陣爲高斯矩陣
A = Phi * Psi;%傳感矩陣
y = Phi * x;%得到觀測向量y
%% 恢復重構信號x
tic
theta = CS_StOMP(y,A);
x_r = Psi * theta;% x=Psi * theta
toc
%% 繪圖
figure;
plot(x_r,'k.-');%繪出x的恢復信號
hold on;
plot(x,'r');%繪出原信號x
hold off;
legend('Recovery','Original')
fprintf('\n恢復殘差：');
norm(x_r-x)%恢復殘差

%壓縮感知重構算法測試
clear all;close all;clc;
M = 64;%觀測值個數
N = 256;%信號x的長度
K = 12;%信號x的稀疏度
Index_K = randperm(N);
x = zeros(N,1);
x(Index_K(1:K)) = 5*randn(K,1);%x爲K稀疏的，且位置是隨機的
Psi = eye(N);%x本身是稀疏的，定義稀疏矩陣爲單位陣x=Psi*theta
Phi = randn(M,N)/sqrt(M);%測量矩陣爲高斯矩陣
A = Phi * Psi;%傳感矩陣
y = Phi * x;%得到觀測向量y
%% 恢復重構信號x
tic
theta = CS_StOMP(y,A);
x_r = Psi * theta;% x=Psi * theta
toc
%% 繪圖
figure;
plot(x_r,'k.-');%繪出x的恢復信號
hold on;
plot(x,'r');%繪出原信號x
hold off;
legend('Recovery','Original')
fprintf('\n恢復殘差：');
norm(x_r-x)%恢復殘差

        運行結果如下：（信號爲隨機生成，所以每次結果均不一樣）

        1）圖：

        2）Command  windows

        Elapsedtime is 0.067904 seconds.

        恢復殘差：

        ans=

          6.1267e-015

4、門限參數t_s、測量數M與重構成功概率關係曲線繪製例程代碼

        因爲文獻[1]中對門限參數ts給出的是一個取值範圍，所以有必要仿真ts取不同值時的重構效果，因此以下的代碼雖然是基於OMP相應的測試代碼修改的，但相對來說改動較大。

clear all;close all;clc;
%% 參數配置初始化
CNT = 1000;%對於每組(K,M,N)，重複迭代次數
N = 256;%信號x的長度
Psi = eye(N);%x本身是稀疏的，定義稀疏矩陣爲單位陣x=Psi*theta
ts_set = 2:0.2:3;
K_set = [4,12,20,28,36];%信號x的稀疏度集合
Percentage = zeros(N,length(K_set),length(ts_set));%存儲恢復成功概率
%% 主循環，遍歷每組(ts,K,M,N)
tic
for tt = 1:length(ts_set)
    ts = ts_set(tt);
    for kk = 1:length(K_set)
        K = K_set(kk);%本次稀疏度
        %M沒必要全部遍歷，每隔5測試一個就可以了
        M_set=2*K:5:N;
        PercentageK = zeros(1,length(M_set));%存儲此稀疏度K下不同M的恢復成功概率
        for mm = 1:length(M_set)
           M = M_set(mm);%本次觀測值個數
           fprintf('ts=%f,K=%d,M=%d\n',ts,K,M);
           P = 0;
           for cnt = 1:CNT %每個觀測值個數均運行CNT次
                Index_K = randperm(N);
                x = zeros(N,1);
                x(Index_K(1:K)) = 5*randn(K,1);%x爲K稀疏的，且位置是隨機的
                Phi = randn(M,N)/sqrt(M);%測量矩陣爲高斯矩陣
                A = Phi * Psi;%傳感矩陣
                y = Phi * x;%得到觀測向量y
                theta = CS_StOMP(y,A,10,ts);%恢復重構信號theta
                x_r = Psi * theta;% x=Psi * theta
                if norm(x_r-x)<1e-6%如果殘差小於1e-6則認爲恢復成功
                    P = P + 1;
                end
           end
           PercentageK(mm) = P/CNT*100;%計算恢復概率
        end
        Percentage(1:length(M_set),kk,tt) = PercentageK;
    end
end
toc
save StOMPMtoPercentage1000 %運行一次不容易，把變量全部存儲下來
%% 繪圖
for tt = 1:length(ts_set)
    S = ['-ks';'-ko';'-kd';'-kv';'-k*'];
    figure;
    for kk = 1:length(K_set)
        K = K_set(kk);
        M_set=2*K:5:N;
        L_Mset = length(M_set);
        plot(M_set,Percentage(1:L_Mset,kk,tt),S(kk,:));%繪出x的恢復信號
        hold on;
    end
    hold off;
    xlim([0 256]);
    legend('K=4','K=12','K=20','K=28','K=36');
    xlabel('Number of measurements(M)');
    ylabel('Percentage recovered');
    title(['Percentage of input signals recovered correctly(N=256,ts=',...
        num2str(ts_set(tt)),')(Gaussian)']);
end
for kk = 1:length(K_set)
    K = K_set(kk);
    M_set=2*K:5:N;
    L_Mset = length(M_set);
    S = ['-ks';'-ko';'-kd';'-kv';'-k*';'-k+'];
    figure;
    for tt = 1:length(ts_set)
        plot(M_set,Percentage(1:L_Mset,kk,tt),S(tt,:));%繪出x的恢復信號
        hold on;
    end
    hold off;
    xlim([0 256]);
    legend('ts=2.0','ts=2.2','ts=2.4','ts=2.6','ts=2.8','ts=3.0');
    xlabel('Number of measurements(M)');
    ylabel('Percentage recovered');
    title(['Percentage of input signals recovered correctly(N=256,K=',...
        num2str(K),')(Gaussian)']);
end

clear all;close all;clc;
%% 參數配置初始化
CNT = 1000;%對於每組(K,M,N)，重複迭代次數
N = 256;%信號x的長度
Psi = eye(N);%x本身是稀疏的，定義稀疏矩陣爲單位陣x=Psi*theta
ts_set = 2:0.2:3;
K_set = [4,12,20,28,36];%信號x的稀疏度集合
Percentage = zeros(N,length(K_set),length(ts_set));%存儲恢復成功概率
%% 主循環，遍歷每組(ts,K,M,N)
tic
for tt = 1:length(ts_set)
    ts = ts_set(tt);
    for kk = 1:length(K_set)
        K = K_set(kk);%本次稀疏度
        %M沒必要全部遍歷，每隔5測試一個就可以了
        M_set=2*K:5:N;
        PercentageK = zeros(1,length(M_set));%存儲此稀疏度K下不同M的恢復成功概率
        for mm = 1:length(M_set)
           M = M_set(mm);%本次觀測值個數
           fprintf('ts=%f,K=%d,M=%d\n',ts,K,M);
           P = 0;
           for cnt = 1:CNT %每個觀測值個數均運行CNT次
                Index_K = randperm(N);
                x = zeros(N,1);
                x(Index_K(1:K)) = 5*randn(K,1);%x爲K稀疏的，且位置是隨機的                
                Phi = randn(M,N)/sqrt(M);%測量矩陣爲高斯矩陣
                A = Phi * Psi;%傳感矩陣
                y = Phi * x;%得到觀測向量y
                theta = CS_StOMP(y,A,10,ts);%恢復重構信號theta
                x_r = Psi * theta;% x=Psi * theta
                if norm(x_r-x)<1e-6%如果殘差小於1e-6則認爲恢復成功
                    P = P + 1;
                end
           end
           PercentageK(mm) = P/CNT*100;%計算恢復概率
        end
        Percentage(1:length(M_set),kk,tt) = PercentageK;
    end
end
toc
save StOMPMtoPercentage1000 %運行一次不容易，把變量全部存儲下來
%% 繪圖
for tt = 1:length(ts_set)
    S = ['-ks';'-ko';'-kd';'-kv';'-k*'];
    figure;
    for kk = 1:length(K_set)
        K = K_set(kk);
        M_set=2*K:5:N;
        L_Mset = length(M_set);
        plot(M_set,Percentage(1:L_Mset,kk,tt),S(kk,:));%繪出x的恢復信號
        hold on;
    end
    hold off;
    xlim([0 256]);
    legend('K=4','K=12','K=20','K=28','K=36');
    xlabel('Number of measurements(M)');
    ylabel('Percentage recovered');
    title(['Percentage of input signals recovered correctly(N=256,ts=',...
        num2str(ts_set(tt)),')(Gaussian)']);
end
for kk = 1:length(K_set)
    K = K_set(kk);
    M_set=2*K:5:N;
    L_Mset = length(M_set);
    S = ['-ks';'-ko';'-kd';'-kv';'-k*';'-k+'];
    figure;
    for tt = 1:length(ts_set)
        plot(M_set,Percentage(1:L_Mset,kk,tt),S(tt,:));%繪出x的恢復信號
        hold on;
    end
    hold off;
    xlim([0 256]);
    legend('ts=2.0','ts=2.2','ts=2.4','ts=2.6','ts=2.8','ts=3.0');
    xlabel('Number of measurements(M)');
    ylabel('Percentage recovered');
    title(['Percentage of input signals recovered correctly(N=256,K=',...
        num2str(K),')(Gaussian)']);    
end

        本程序在聯想ThinkPadE430C筆記本（4GBDDR3內存，i5-3210）上運行共耗時4707.513276秒，程序中將所有數據均通過“save StOMPMtoPercentage1000”存儲了下來，以後可以再對數據進行分析，只需“load StOMPMtoPercentage1000”即可。

        程序運行結束會出現6+5=11幅圖，前6幅圖分別是ts分別爲2.0、2.2、2.4、2.6、2.8和3.0時的測量數M與重構成功概率關係曲線（類似於OMP此部分，這裏只是對每一個不同的ts畫出一幅圖），後5幅圖是分別將稀疏度K爲4、12、20、28、32時將六種ts取值的測量數M與重構成功概率關係曲線繪製在一起以比較ts對重構結果的影響。

        對於前6幅圖這裏只給出ts=2.4時的曲線圖：

        對於後5幅圖這裏全部給出，爲了清楚地看出ts的影響，這裏把圖的橫軸拉伸：

        通過對比可以看出，總體上講ts=2.4或ts=2.6時效果較好，較大和較小重構效果都會降低，這裏由於沒有ts=2.5的情況，但我們推測ts=2.5應該是一個比較好的值，因此一般默認取爲2.5即可。

5、結語

        有關StOMP的流程圖可參見文獻[1]的Fig.1：

        有關StOMP門限的選取在文獻[1]中也有提及：

關於這個門限的來源文獻[1]有也有一個推導，注意推導過程中的N(0,1/n)：

        作者在文獻[1]中提出StOMP，這篇文章的發表時間是2012年，但看一下這篇文章的左下角會發現一個問題：

注意，文章在2006-04-05就投稿了，直到2011-08-17修回並被接受，然後2012年才發表。也就是說審稿就審了五年多，按說文章第一作者是大牛，雖說IEEE Transactions on InformationTheory是一個頂級期刊，但對Donoho D L來說也應該不算是什麼難事，不知道爲什麼會出現這種現象。當然，英文文獻裏有個有趣的現象是還未發表就開始被引用，所以你經常會發現參考文獻裏會有“to be published”或“submittedfor publication”，如果到國內就是參考文獻裏出現“已錄用”或“已投稿”，不知道審稿人看到會是什麼心情。不過老外的牛文章似乎都是先在會議上發表再投期刊，如文獻[1]首面左下角註明了“Thematerial in this paper was presented in part at the Allerton Conference onCommuncation, Control, and Computing, Sept. 2007, Monticello, IL, USA.”，而前面講過的CoSaMP的提出文章就更誇張了，版本四五個。

        儘管StOMP輸入參數中不需要信號的稀疏度，但門限設置與測量矩陣有密切的關係，文獻[1]中的門限也只適用於隨機高斯矩陣而己，因此限制了此算法的應用。

參考文獻：

[1]Donoho D L，Tsaig Y，DroriI，Starck J L．Sparsesolution of underdetermined linear equations by stagewise orthogonal matchingpursuit[J]．IEEE Transactions on InformationTheory，2012，58(2)：1094—1121.

[2]楊真真，楊震，孫林慧.信號壓縮重構的正交匹配追蹤類算法綜述[J]. 信號處理，2013，29(4)：486-496.

[3]吳贇.壓縮感知測量矩陣的研究[D]. 西安電子科技大學碩士學位論文，2012.

[4]danliu.compared. http://www.pudn.com/downloads196/sourcecode/graph/detail923222.html

[5]付自傑.cs_matlab. http://www.pudn.com/downloads641/sourcecode/math/detail2595379.html

  相關文章推薦

• • 壓縮感知重構算法之壓縮採樣匹配追蹤(CoSaMP)
• • 深度學習部署系統構建--劉文志
• • 壓縮感知重構算法之子空間追蹤(SP)
• • 搜狗機器翻譯技術分享--陳偉
• • Java STOMP Client reconnect--WebSocketStompClient端實現自動重連
• • Hadoop生態系統零基礎入門
• • 初識壓縮感知Compressive Sensing
• • 最懂程序員的學習方式 TensorFlow入門

• • 壓縮感知進階——有關稀疏矩陣
• • Retrofit 從入門封裝到源碼解析
• • 白話壓縮感知（含Matlab代碼）
• • 程序員如何轉型AI工程師--蔣濤
• • 壓縮跟蹤Compressive Tracking
• • 壓縮感知代碼matlab
• • 壓縮感知正交匹配追蹤重構算法
• • 壓縮感知的正交匹配追蹤（OMP）算法