Non-Local Recurrent Network for Image Restoration
文章鏈接： NLRNDing Liu, Bihan Wen, Y uchen Fan, Chen Change Loy, and Thomas S Huang. Non-local recurrent network for image restoration. In NIPS, 2018. 2, 4, 5, 7
摘要：很多傳統方法已經證實了非局部相似性作爲先驗信息對圖像恢復的有效性，但通過深度神經網絡充分利用這種內在屬性仍然存在一定的困難。本文提出了一種非局部的遞歸網絡首次將得局部操作和遞歸網絡相融合，本文的主要共享有以下幾點： 1.比起目前單獨獲取自相似性的手段不同，本文的非局部模塊可以自由的嵌入到現有的網絡結構中，進行端到端的訓練。2.充分利用了RNN機構的參數效率，讓深度特徵能夠沿着相鄰的循環狀態進行傳播。3.本文證明了在計算給定退化圖像的深度特徵相關性時，最重要的是保持一個有限的鄰域
1.Introduction
圖像復原可以分爲不同的子問題如圖像去噪和圖像超分辨，圖像恢復的關鍵是基於圖像先驗的正則化設計，過去的研究中局部和非局部圖像先驗被廣泛的使用，以圖像去噪爲例，早期大多使用高斯濾波和基於全變差的方法等局部圖像先驗，之後，自然圖像自相似性引起了廣泛關注，發展出基於非局部的方法如非局部均值，協同濾波，聯合稀疏和低秩建模等方法，這些非局部方法在提取非局部塊之間的關係提高圖像恢復質量方面表現出優秀的結果。
儘管非局部自相似性被廣泛研究，但很少有深度學習的方法研究提取此屬性，卷積神經網絡的方法雖然達到了令人印象深刻的結果但仍然沒有明確使用圖像的自相似屬性，爲了改良此弱點，一些研究在圖像塊輸入卷積網絡之前對塊進行了匹配，然而快匹配的步驟是孤立的，不能與網絡進行聯合訓練。
本文首次將CNN中的 非局部操作用於圖像恢復，提出了非局部遞歸網絡NLRN，首先設計了非局部模塊提取退化圖像特徵關係作爲自相似性測量，此模塊能夠靈活的嵌入到現有的神經網絡中。且在不影響恢復質量的情況下，爲提高參數效率本文采用了遞歸神經網絡結構。其次，本文研究了深度特徵空間中的非局部操作，發現限制局部關係的計算提高了退化圖像的魯棒性。受限的鄰域有助於空間中距離相近的相關特徵的計算，過濾噪聲特徵。最後，本方法能讓非局部操作的信息在相鄰的遞歸狀態之間進行傳遞，這種內部特徵相關性的流動有助於更魯棒的相關性估計。通過聯合非局部操作和典型的卷積，本文的NLRN能夠有效的提取和使用圖像的局部和非局部屬性來進行圖像恢復。
本文的工作與Non-local neural Nerwork有很大的區別，對特徵的每個位置來說，本文只在其鄰域採集其特徵相關性，並不會在整個圖像進行非局部操作，而且在實驗中，證明了依賴於局部區域的深度特徵在計算非局部先驗時更可能是有效的。另外對於退化測量結果來看，更大的鄰域甚至整個圖像可能導致不精確的相關性估計，最後本文的方法充分利用了RNN結構中相關性信息可以在相鄰狀態之間傳遞的優點，增加了對不同層次退化特徵相關性估計的魯棒性。
Related Work
略。。。。。
3.Non-local Operations for Image Restoration
3.1 A General Framework
非局部操作以多通道的輸入 X ∈ R N × m X\in R^{N\times m} X∈RN×m作爲圖像特徵，生成輸出特徵 Z ∈ R N × k Z\in R^{N\times k} Z∈RN×k,這裏的N和m表示圖像像素的個數和數據的通道數，將其用公式表示爲：
Z = d i a g ( δ ( X ) − 1 ) Φ ( X ) G ( X ) Z=diag( { \delta (X)}^{-1})\Phi(X)G(X) Z=diag(δ(X)−1)Φ(X)G(X), Φ ( X ) ∈ R N × N （ 1 ） \Phi(X)\in R^{N\times N} （1） Φ(X)∈RN×N（1）
是非局部關係矩陣， G ( X ) ∈ R N × k G(X)\in R^{N\times k} G(X)∈RN×k是多通道非局部變換，每個行向量 X i X_{i} Xi表示i位置的局部特徵， Φ ( X ) i j \Phi(X)^{j}_{i} Φ(X)ij表示 X i 和 X j X_{i}和X_{j} Xi和Xj之間的關係，每個 G ( X ) j G(X)_{j} G(X)j的行向量表示 X j X_{j} Xj的嵌入變形，對角矩陣 d i a g Φ ( X ) ∈ R N × N diag{\Phi(X)}\in R^{N\times N} diagΦ(X)∈RN×N用歸一化因子 Φ i ( X ) \Phi_{i}(X) Φi(X)對第i個像素進行歸一化。
3.2 Classic Methods
Blocking matching(BM)塊匹配是傳統方法中利用非局部圖像結構的常用方法，一個q*q空間鄰域被設置爲每個i位置的中心，且 X i X_{i} Xi減少至以i爲中心的圖像塊，BM從鄰域中選 K i K_{i} Ki個最相似的圖像塊，以此來聯合恢復 X i X_{i} Xi,在本文的非局部框架下，這些操作可以表示爲：
Z i = 1 δ i ( X ) ∑ j ∈ C i Φ ( X ) i j G ( X ) j , ∀ i Z_{i}=\frac{1}{\delta_{i}(X)}\sum_{j\in C_{i}}\Phi(X)_{i}^{j}G(X)_{j},\forall i Zi=δi(X)1∑j∈CiΦ(X)ijG(X)j,∀i (2)
這裏 δ i ( X ) = ∑ j ∈ C i Φ ( X ) j i \delta_{i}(X)=\sum_{j\in C_{i}}\Phi(X)_{j}^{i} δi(X)=∑j∈CiΦ(X)ji和 C i C_{i} Ci表示第 K i K_{i} Ki個塊的索引，因此每個行 Φ ( X ) i \Phi(X)_{i} Φ(X)i只有非零項，在不同模型的非局部方法中嵌入項G(X)和非零相變量是不同的，
3.3 Non-Local Module
基於公式1的框架，本文提出了另一種匹配方法，用高斯核和歐式距離作爲距離度量，線性嵌入定義如下:
Φ ( X ) i j = ø ( X i , X j ) = e x p { θ ( X i ) ψ ( X j ) T } , ∀ i , j \Phi(X)^{j}_{i}=\text{\o}(X_{i},X_{j})=exp \left \{ \theta(X_{i})\psi(X_{j})^{T} \right \},\forall i,j Φ(X)ij=ø(Xi,Xj)=exp{ θ(Xi)ψ(Xj)T},∀i,j
θ ( X i ) = X i W θ , ψ ( X i ) = X i W ψ , G ( X ) i = X i W g , ∀ i \theta(X_{i})=X_{i}W_{\theta},\psi(X_{i})=X_{i}W_{\psi},G(X)_{i}=X_{i}W_{g},\forall i θ(Xi)=XiWθ,ψ(Xi)=XiWψ,G(X)i=XiWg,∀i
嵌入變換 W θ , W ø , W g W_{\theta},W_{\text{\o}},W_{g} Wθ,Wø,Wg都是學習到的，且形狀分別爲ml，ml，mm，因此非局部操作可以表示爲：
Z i = 1 δ i ( X ) ∑ j ∈ S i e x p { X i W θ W ψ T X j T } X i W g , ∀ i Z_{i}=\frac{1}{\delta_{i}(X)}\sum_{j\in S_{i}}exp\left\{X_{i}W_{\theta}W_{\psi}^{T}X_{j}^{T} \right\}X_{i}W_{g},\forall i Zi=δi(X)1∑j∈Siexp{ XiWθWψTXjT}XiWg,∀i
上式的 δ i ( X ) = ∑ j ∈ S i ø ( X i , X j ) \delta_{i}(X)=\sum_{j\in S_{i}}\text{\o}(X_{i},X_{j}) δi(X)=∑j∈Siø(Xi,Xj)表示 X i 和 鄰 域 S i 中 的 X j X_{i}和鄰域S_{i}中的X_{j} Xi和鄰域Si中的Xj之間的關係，
本文提出的非局部操作通過可微分操作實現，因此可以和神經網絡聯合學習，本文通過跳躍鏈接將非局部操作包裝成模塊，如下圖所示：
跳躍鏈接能使本模塊插入到任何預訓練模塊當中，且通過將 W g W_{g} Wg初始化爲0來保持其初始的參數，此模塊只引入了參數 θ , ψ , g \theta,\psi,g θ,ψ,g作爲1
1的卷積，其每個位置的輸出只取決與q*q大小的鄰域，可以跟任意大小的輸入相結合。
Relation to Other Methods：
最近的研究將非局部塊匹配操作和神經網絡結合用於圖像恢復，但傳統的方法直接對退化的輸入圖像塊進行操作，對於嚴重退化的圖像是不準確的，而本文提出的非局部操作能夠應用於對退化更加魯棒的學習得到的深度特徵，更重要的是，本文提出的模塊能夠與神經網絡一起進行端到端的訓練，而傳統方法只能作爲獨立結果。
本文的方法與Non-local neural Network不同，其在整幅圖像上計算特徵相關性，相當於本文方法中的鄰域擴大到整幅圖像，經驗表明增加鄰域尺寸並不能提高圖像恢復的結果，因此必須選擇一個合適大小的鄰域，且其方法只能針對一個固定尺寸的輸入，而本文的方法能夠適應不同尺寸。
4.Non-Local Recurrent Network
本文的RNN框架由一組狀態組成，輸入，輸出，循環以及轉檯之間的轉換函數，輸入、輸出、循環分別可表示爲：x，y，s，每隔t步，RNN接收到一個輸入 x t x^{t} xt，循環和輸出如下：
S t = f i n p u t ( x t ) + f r e c u r r e n t ( S t − 1 ) ， y t = f o u t p u t ( S t ) S^{t}=f_{input}(x^{t})+f_{recurrent}(S^{t-1})，y^{t}=f_{output}(S^{t}) St=finput(xt)+frecurrent(St−1)，yt=foutput(St)每次更新 f i n p u t , f o u t p u t , f r e c u r r e n t f_{input},f_{output},f_{recurrent} finput,foutput,frecurrent
在本文的NLRN結構中：
1. S 0 S^{0} S0輸入圖像的映射
2. x t = 0 ， ∀ t ∈ 1 , . . . . . . , T , a n d f i n p u t ( 0 ) = 0 x^{t}=0，\forall t\in{1,......,T},and f_{input}(0)=0 xt=0，∀t∈1,......,T,andfinput(0)=0
3.輸出狀態 y t y^{t} yt只在最後的T時刻表示輸出
非局部操作中的權重和卷積相同在循環狀態共享，因此能夠保持較高的參數效率
如下圖所示：
在非局部模塊中，來自之前狀態i位置的特徵相關性 s c o r r t − 1 s^{t-1}_{corr} scorrt−1，**在標準化之前被添加到了當前的特徵相關性中，這使得相鄰狀態之間的相關性估計更加可靠，**細節如下圖所示
