壓縮感知基礎入門知識

壓縮感知

壓縮感知是2006年纔開始興起的研究方向，它主要是藉助自然信號的規律性，從而可大大減少觀測次數。這在很多領域都有很好的應用前景。對於自然信號的規律性，用數學語言可以做很多種描述，比較流行的一種就是自然信號在一組基底表示下是稀疏的。

壓縮感知說的是對於方程組$Ax=b$，$A$是$m\times N$，這裏$m<N$的矩陣，什麼條件下，能保證$x$
是唯一可解的。爲什麼叫壓縮感知呢？舉個簡單的例子。一幅$256\times 256$的圖像，可以把它拉成一條$N=256^2$長度的列向量$x$，通過$A$的"壓縮"，可以變成一個$m$長的列向量$b$進行存儲，就節省了存儲空間。另一方面，我們有了$b$，我們希望將$x$唯一地"感知"和恢復出來。因爲這是一個欠定的方程組，解不唯一，所以我們必須要加一些約束條件，使得能從$b$向量，唯一地恢復處$x$，這就是壓縮感知要乾的事情。

不做冗長的贅述和無用的借鑑參考和複製黏貼，下面我寫一些精華的內容。純自證手打，內容不多，但都是心血。

1

定理：
假設$A\in \mathbb{R^{m\times N}}$，那麼爲任$x_0\in \mathbb{R^N}$，且$\left\|x_{0}\right\|_0\leq s$，那麼
$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{0}: Ax=A x_{0}\right\}=x_{0}$
當且僅當$A$中任$2s$列線性獨立。
證明：
$\Leftarrow$ 假設$A$中任$2s$列線性獨立，用反證。

假設存在$z_0 \in \mathbb{R}^{N}$，$\left \|z_{0} \right\|_0 \leq s (z_0 \neq x_0)$，$Az_0=Ax_0$$\rightarrow$$A(z_0-x_0)=0$。

$\|z_{0}\|_0\leq s$，$\|x_{0}\|_0\leq s$，則
$\|z_0 - x_{0}\|_0\leq 2s$。

$A(z_0-x_0)=0$ $\rightarrow$ 存在$k$列線性相關且$k\leq 2s$，矛盾。

$\Rightarrow$
假設$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{0}: Ax=A x_{0}\right\}=x_{0},\forall x_0,\|x_0\|_0\leq s$

用反證。

假設$A = (a_1,a_2,\cdots,a_n)\in \mathbb{R}^N$，其中$\{a_1,a_2,\cdots,a_{2s}\}$線性相關。
$x_1a_1+\cdots+x_{2s}a_{2s}=0$

那麼存在
$x_0=(\cdots,0,\cdots,x_1,x_2,\cdots,x_s,\cdots,0,\cdots)\in \mathbb{R}^N$
$\tilde{x}_0=(\cdots,0,\cdots,x_{s+1},x_{s+2},\cdots,x_{2s},\cdots,0,\cdots)\in \mathbb{R}^N$

$A\tilde x_0=Ax_0$，矛盾。

2

定義：
$\mathrm {spark}(A) = n$：$A$中任$n$列線性獨立，存在$n+1$列線性相關。$\mathrm {spark}(A) \leq \mathrm{rank}(A)$。

3

考慮 $\begin{aligned} \mathrm{min} & \|x_1\|_1 \\ \mathrm{s.t.} & Ax=Ax_0\end{aligned}$ 在什麼樣的條件下，
$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0}$
對任意的$\left \|x_{0} \right\|_0 \leq s$。

4

定義：

稱矩陣$A$滿足k-階零空間性質，若$\forall \eta \in \mathcal N(A)\backslash {0},\forall T\subseteq\{1,2,\cdots,N\},|T|\leq k$，有$\|\eta_T\|_0<\|\eta_{T^c}\|_0$。這裏的$\mathcal{N}(A)$表示$A$的零空間。$\eta_T$表示$\eta$在$T$這些位置上取值，別的地方補零，長度不變。$T^c$表示$T$在$\{1,2,\cdots,N\}$中的補集。

5

定理：
對任$x0\in \mathbb{R}^N$，$\|x_0\|\leq k$，
$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0}$
當且僅當A滿足k-階零空間性質。
證明：
$\Leftarrow$ 假設$A$滿足k-階零空間性質，用反證。

假設
$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x^{\sharp}\neq x_0$

那麼 $\eta = x^\sharp -x_0 \in \mathcal N(A)$

令$T=\text{supp} (x_0)$，只要證 $\|\eta_T\|_1\geq \|\eta_{T^c}\|_1$

由假設，有$\|x^\sharp\|_1\leq\|x_0\|_1$，進而
$\|x_T^\sharp\|_1+\|x_{T^c}^\sharp\|_1=\|x_T^\sharp\|_1\leq\|x_0\|_1$

可得，
$\|\eta_{T^c}\|_1=\|x^\sharp_{T^c}\|_1\leq \|x_0\|_1-\|x_T^\sharp\|_1\leq\|(x_0-x^\sharp)_T\|_1=\|\eta_T\|_1$

矛盾。

$\Rightarrow$
假設$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0},\forall x_0,\|x_0\|_0\leq k$

用反證。

假設$\exists \eta \neq 0$，$\exists T,|T|\leq k$，$\|\eta_T\|_1\geq \|\eta_{T^c}\|_1$，那麼
$A\eta = A(\eta_T+\eta_{T^c})=0$ $\Downarrow$
$A(\eta_T) = A(-\eta_{T^c})$

由假設，因$\|n_T\|_0\leq k$，有
$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A \eta_{T}\right\}=\eta_{T}$

故而$\eta_{T^c}=\eta_T$，可知$\eta=0$，矛盾。

6

定義：
矩陣$A\in \mathbb{R}^{m\times N}$滿足k-階RIP條件，如果
$(1-\delta_k)\|x\|^2_2\leq\|Ax\|^2_2\leq(1+\delta_k)\|x\|_2^2$
對任意$x\in \mathbb{R}^N,\|x\|_0\leq k$，成立。這裏$\delta_k \in (0,1)$。

7

定理：

如果矩陣$A\in \mathbb{R}^{m\times N}$滿足2k階RIP條件，$\delta_{2k}<\sqrt 2-1$，那麼對任意$x\in \mathbb{R}^N,\|x\|_0\leq k$，有
$\underset{x \in \mathbb{R}^{n}}{\arg \min }\left\{\|x\|_{1}: Ax=A x_{0}\right\}=x_{0}$

參考文獻
000 R. DeVore, Deterministic constructions of compressed sensing
matrices, Journal of Complexity 2007, 23: 918-925. Z. Xu, Deterministic
sampling of sparse trigonometric polynomials, Journal of Complexity
2011, 27: 133-140. J. Bourgain, S. J. Dilworth, K. Ford, S. Konyagin and
D. Kutzarova, Explicit constructions of RIP matrices and related
problems. Duke Math. J, 2011, 159: 145- 185. Guangwu Xu, Zhiqiang Xu,
Compressed Sensing Matrices from Fourier Matri- ces, arXiv:1301.0373. W.
Yin, S. Osher, D. Goldfarb, and J. Darbon, Bregman iterative algorithms
for l1-minimization with applications to compressed sensing, SIAM
Journal on Imaging Sciences, 2008, 1: 143-168. Z. Xu, A remark about
orthogonal matching pursuit algorithm, arXiv:1005.3093. Lorne Applebauma
, Stephen D. Howard, Stephen Searle, Robert Calderbank, Chirp sensing
codes: Deterministic compressed sensing measurements for fast recover,
Appl. Comput. Harmon. Anal. 26 (2009) 283-290. Z. Xu, Deterministic
sampling of sparse trigonometric polynomials, Journal of Complexity
2011, 27: 133-140. E. Candes, Y. Eldar, T. Strohmer and v. Voroninski,
Phase retrieval via matrix completion, arXiv: 1109.0573. E. Candes, T.
Strohmer and V. Voroninski. PhaseLift: exact and stable signal recovery
from magnitude measurements via convex programming, arXiv: 1109.4499.
Yang Wang, Zhiqiang Xu, Phase Retrieval for Sparse Signals,
arXiv:1310.0873. Yaniv Plan, Roman Vershynin, One-bit compressed sensing
by linear program- ming, arXiv:1109.4299. Wenhui Liu, Da Gong, Zhiqiang
Xu, One-Bit Compressed Sensing by Greedy Algorithms, arXiv:1312.3418.