論文閱讀：An Efficient Statistical Method for Image Noise Level Estimation

Introduction

噪聲水平估計對於非盲去噪方法是至關重要的，噪聲水平估計質量直接影響去噪的質量。這篇文章是2015年ICCV 的一篇文章，針對於加性高斯白噪聲，其利用非局部相似塊具有低秩性的特性，利用協方差矩陣冗餘維度的特徵值估計噪聲水平，並取得了不錯的效果。這篇文章的主要貢獻在於
1. 分析了噪聲水平和圖像patch的協方差矩陣的特徵值之間的關係；
2. 提出了一種無參方法在多項式時間內從特徵值估計噪聲水平的方法，並給與了理論證明；

Analysis

這篇文章的方法是針對於加性，獨立，同質性的高斯噪聲。所謂“同質性”指的是噪聲方差對於圖像中所有像素都是一個常數，不會隨着位置和顏色強度改變。由於一般認爲圖像的噪聲都是零均值噪聲，所謂的噪聲水平估計就是通過單張噪聲圖像估計高斯噪聲的方差（或標準差）。
該文章的方法是基於以下觀察：從無噪聲圖像中提取的patch常常處於一個低維子空間中，而不是均勻分佈於所有空間中。所以噪聲的方差就可以從冗餘的空間維度上進行估計，那麼噪聲估計問題就變成了如何選擇冗餘維度的問題。

Method

把一張圖像分解爲一系列的patchXs={xt}st=1∈Rr×s$X_s=\{x_t{\}}_{t=1}^s\in {\mathbb{R}}^{r\times s}$ 。如果圖像大小爲M×N×c$M\times N\times c$ ，則Xs$X_s$ 包含s=(M−d+1)(N−d+1)$s=(M-d+1)(N-d+1)$ 個大小爲d×d×c$d\times d\times c$ 的patch。然後將所有這些patch都變成向量，其維度爲r=cd2$r=c{d}^2$ 。對於集Xs$X_s$ 中任意一個向量xt$x_t$ ，其可以分解爲：

xt=x^t+et$$x_t={\hat{x}}_t+e_t$$

其中，x^t${\hat{x}}_t$ 是對應的無噪聲圖像patch，et$e_t$ 表示加性高斯白噪聲，et∼Nr(0,σ2I)$e_t\sim N_r(0,{\sigma }^{2}I)$ 。

特徵值

從下圖中可以看出，無噪聲圖像patch的特徵值多數爲0（即說明其位於低維子空間），而噪聲圖像patch的特徵值多數位於真實噪聲方差50附近，但不是精確爲50。

所以如何精確的獲得噪聲方差是需要解決的問題。
計算xt$x_t$ 的協方差矩陣可得

Σx=1s∑t=1s(xt−μ)(xt−μ)T$${\mathrm{\Sigma }}_x=\frac{1}{s}\sum _{t=1}^s(x_t-\mu )(x_t-\mu {)}^T$$

其中，μ=1s∑st=1xt$\mu =\frac{1}{s}\sum _{t=1}^s{x}_t$ 爲其平均值。
對其做特徵值分解可得

Σx=RΛRT=R⎡⎣⎢⎢⎢⎢⎢λ10⋮00λ2⋮0⋯⋯⋱⋯00⋮λr⎤⎦⎥⎥⎥⎥⎥RT$${\mathrm{\Sigma }}_x=R\mathrm{\Lambda }{R}^T=R\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\lambda }_r\end{array}\right]R^T$$

則xt$x_t$ 可以表示爲（此處yt$y_t$ 與原文表達意思不同）

xt=Ryt$$x_t=R{y}_t$$

假設乾淨的patch位於m$m$ 維線性空間中，m≪r$m\ll r$ ，則

x^t=Ay^t$${\hat{x}}_t=A{\hat{y}}_t$$

其中，R=[A,U]$R=[A,U]$ ，A∈Rr×m$A\in {\mathbb{R}}^{r\times m}$ 表示m$m$ 維的子空間。
綜上可知，

xt=Ryt=R[y^t,0]+et=[A,U][y^t,0]+et$$x_t=R{y}_t=R\left[\begin{array}{c}{\hat{y}}_t,\\ \mathbf{0}\end{array}\right]+e_t=\left[A,U\right]\left[\begin{array}{c}{\hat{y}}_t,\\ \mathbf{0}\end{array}\right]+e_t$$

公式兩邊乘以RT$R^T$

RTxt=[y^t,0]+RTet=[y^t+ATet,UTet]$$R^T{x}_t=\left[\begin{array}{c}{\hat{y}}_t,\\ \mathbf{0}\end{array}\right]+R^T{e}_t=\left[\begin{array}{c}{\hat{y}}_t+A^T{e}_t,\\ U^T{e}_t\end{array}\right]$$

通過RT$R^T$ 將噪聲部分et$e_t$ 從xt$x_t$ 中分離出來，且根據高斯函數性質，nt=UTet$n_t=U^T{e}_t$ 是服從高斯分佈Nr−m(0,σ2I)$N_{r-m}(0,{\sigma }^{2}I)$ 的隨機變量。
RTxt$R^T{x}_t$ 的協方差爲

1s∑t=1s(RTxt)(RTxt)T=RTΣxR=Λ$$\frac{1}{s}\sum _{t=1}^s(R^T{x}_t)(R^T{x}_t{)}^T=R^T{\mathrm{\Sigma }}_{x}R=\mathrm{\Lambda }$$

爲了估計噪聲方差，將特徵值S={λi}ri=1$S=\{{\lambda }_i{\}}_{i=1}^r$ 分成兩個部分，其中，S1={λ1}mi=1$S_1=\{{\lambda }_1{\}}_{i=1}^m$ 表示主維度的特徵值，S2={λ1}ri=m+1$S_2=\{{\lambda }_1{\}}_{i=m+1}^r$ 表示冗餘維度的特徵值。用冗餘維度的特徵值估計噪聲方差。
由於冗餘維度向量nt=UTet$n_t=U^T{e}_t$ 服從高斯分佈Nr−m(0,σ2I)$N_{r-m}(0,{\sigma }^{2}I)$ ，對於向量nt$n_t$ 中的每一個元素nt[i]$n_t[i]$ 也是服從高斯分佈N(0,\sigma^2)的隨機變量，由於

λi=1s∑t=1snt[i]2,i∈m+1,m+2,..,r$${\lambda }_i=\frac{1}{s}\sum _{t=1}^s{n}_t[i{]}^2,i\in m+1,m+2,..,r$$

則特徵值λi∈S2${\lambda }_i\in S_2$ 也是均值爲噪聲方差σ2${\sigma }^2$ 的隨機變量。
這裏放上文章中的引理：

維度選擇

下圖表示噪聲圖像特徵值的直方圖，可以看出除了少數比較大的異常值（主維度的特徵值）以外，其餘的特徵值是服從高斯分佈的，且根據上面的引理，其均值（期望）就是噪聲方差。

所以現在的任務就是估計主維度的數量，去除其特徵值，即判斷特徵值是否屬於S2$S_2$ 。
放上文章另一個定理

其說明，當集合S$S$ 中的冗餘維度足夠多時，可以通過判斷S$S$ 的平均值與其中值是否相等，來判斷S$S$ 是否存在異常值。我是從另一個角度理解的，由於冗餘維度的特徵值服從高斯分佈，高斯分佈的均值等於其中值，而異常值的存在破壞了這種等價關係，隨着異常值的剔除，其中值和均值逐漸接近。
在文章中，patch大小設爲8×8$8\times 8$ ，則X={xt}st=1$X=\{x_t{\}}_{t=1}^s$ 維度爲192，則主維度的數量不能超過67（具體證明可參見原文）。

算法

根據以上分析，則可以得到噪聲水平估計算法，總體來說，就是通過剔除S$S$ 中的異常值，得到冗餘維度的特徵值，然後冗餘維度的特徵值的期望（均值）就是噪聲的方差。