轉自：https://blog.csdn.net/qq_31339017/article/details/76177366
基於稀疏表示的圖像超分辨率
摘要：本文提出了一種基於稀疏信號表示來實現單幅圖像超分辨率重建的新方法。研究圖像的統計數據表明，圖像塊可以表示爲選擇適當超完備字典的稀疏線性組合形式，通過這種觀測報告的啓發，我們尋求一種對低分辨率輸入圖像塊的稀疏表示，然後用此稀疏表示的係數來生成高分辨率輸出。壓縮感知理論（Compressive
Sensing，CS）指出，一幅圖像能夠在非常苛刻的條件下由它的一組稀疏表示係數在超完備字典上得到精確重建。通過對低分辨率圖像塊字典和高分辨率圖像塊字典的聯合訓練，我們可以強化低分辨率和高分辨率圖像塊與之對應真實字典稀疏表示的相似性，從而低分辨率圖像塊的稀疏表示和高分辨率超完備字典一起作用可以重建出高分辨率圖像塊，然後由高分辨率圖像塊連接得到最終完整的高分辨率圖像。學習字典對是塊對更緊湊的表示，它只需對大量圖像塊對進行採樣，相比傳統方法，該方法的計算成本得到顯著地降低。稀疏表示的有效性在圖像超分辨率重建和人臉幻構（face
hallucination）的特殊情況下均得到了證明。在這兩種情況下，我們的算法生成的高分辨率圖像具有極大的競爭性，甚至在生成圖像的質量上比其他類似的圖像超分辨率（SR）方法更有優勢。此外，我們這種方法的局部稀疏模型對噪聲具有自適應魯棒性，因此，該算法可以在一個更統一的框架下對有噪聲輸入的圖像進行圖像超分辨率處理。
關鍵詞：人臉幻構，圖像超分辨率，非負矩陣分解，稀疏編碼，稀疏表示
一、前言
超分辨率圖像重建是當前非常活躍的一個研究領域，它克服一些低成本成像傳感器（例如，手機或監控攝像機）固有分辨率的限制，並且使高分辨率顯示器（例如，高清液晶顯示器）得到更好的利用。這樣的分辨率增強技術也可能在醫療影像和衛星成像中被證明是必不可少的，因其從低質量圖像中診斷或分析是非常困難的。傳統方法生成超分辨率圖像通常需要輸入同一場景的多幅低分辨率圖像，所以這些方法也需要對亞像素精度進行對準。圖像超分辨率重建的過程可以看作是低分辨率圖像融合恢復出原始高分辨率圖像的逆問題，這一問題是以合理假設或先驗知識將高分辨率圖像映射成低分辨率圖像的觀測模型爲基礎的。SR重建的基本約束，就是對恢復的圖像應用相同的生成模型後，本應該重新生成所觀測的低分辨率圖像，然而，超分辨率圖像重建本身是一個病態問題(ill-posed problem)，因其低分辨率圖像數量不足，病態的登記和未知的模糊算子，以及重構約束的解不唯一，爲了更進一步穩定這個病態問題反演的各種正則化方法也不斷被提出。
然而，當所需的放大因子變大或可用的輸入圖像數量很少時，這些基於重建的SR算法性能將急劇降低。在這些情況下，結果可能是過於光滑，丟失重要的高頻細節信息。另一類是基於插值的圖像超分辨率方法，雖然簡單的插值方法如雙線性或雙三次插值會產生帶有振鈴和鋸齒僞影的過平滑圖像，但是利用自然圖像先驗知識進行插值通常會產生更好的結果。Dai等人提出用背景/前景描述算子來表示局部圖像塊和重建兩個圖像塊之間的尖銳不連續。Sun等人探索出了針對局部圖像結構的梯度輪廓的研究方法並應用於圖像超分辨率重建，這種方法在放大圖像邊緣信息的保留方面比較有效。然而，它們對於模擬實際圖像的視覺複雜性卻是有限的,對自然圖像的精細紋理或漸變，這些方法往往會產生類似水彩畫的假象。
圖像超分辨率重建技術的第三類方法是基於機器學習的方法，這種方法主要利用低分辨率和高分辨率圖像塊的先驗知識來進行SR重建。【9】提出了針對普通格式圖像的基於實例學習的方法，該方法主要是通過置信傳播的馬爾科夫隨機場（MRF）來預測低分辨率到高分辨率圖像的重建過程；【10】使用初始簡圖增強模糊邊緣、脊、角點，然而，這和先前方法一樣需要巨大的數據庫要求和成千上萬的高分辨率和低分辨率圖像塊對，自言而然它的計算複雜度也就很高了；【11】採納了流行學習局部線性嵌入的方法，推定高分辨率和低分辨率圖像塊空間存在相似的流行向量，該算法是將低分辨率圖像塊的局部幾何空間映射投影到高分辨率圖像塊幾何空間，從而生成一個線性鄰域組合，利用這種方法，更多的圖像塊模式可以用一些更小的訓練集來表示，然而，由於過擬合或欠擬合，K鄰域重建方法經常會造成模糊效應。上文中提出了一種基於稀疏編碼的自適應選擇最相關重建鄰域，有效避免了過擬合和欠擬合，但缺點是對大量採樣圖像塊數據庫的稀疏編碼是比較耗時的。
儘管已經有了很多通用的圖像超分辨率重建方法，但是針對特定的領域（比如人臉圖像）需要採取特定的SR處理方法。人臉幻構的問題是由Baker和Kanade首次提出來的，然而，基於梯度金字塔的預測並沒有直接對人臉先驗知識進行建模，像素的單獨預測也造成了間斷點和假象。Liu等人提出了融合PCA主成分分析和局部圖像塊建模的“兩步走”統計方法，雖然這種方法可以得到比較好的結果，但是整體PCA主成分分析模型得到的平均臉和概率局部圖像塊模型是很複雜和計算量很大的。WeiLiu等人提出了一種基於TensorPatches和剩餘補償的新方法，雖然該算法可以得到更多的臉部細節，但是它也會相應地產生更多的假象。
本文重點研究低分辨率圖像的超分辨率重建問題，類似於上述基於學習的方法，我們也將依靠輸入的圖像塊信息，不同的是，我們是首先對圖像塊對進行壓縮表示，而不是直接處理低分辨率和高分辨率圖像塊對，這樣顯著地提高了算法速度。我們的方法主要是受到近期關於稀疏信號表示研究的啓發，研究表明高分辨率信號可以由它們低維投影的線性關係重新恢復出來，儘管圖像超分辨重建是一個不可能精確恢復的病態問題，但是依靠圖像塊的稀疏表示，這個逆問題的魯棒性和有效性可以得到很大的改善。
1.基本思路
二、基於稀疏度的圖像超分辨率重建
1.重建約束條件
（2）
2.稀疏先驗知識
2.1基於稀疏表示的普通圖像SR重建
2.1.1稀疏表示的局部模型
2.1.2全局重建的約束增強
2.1.3全局優化
2.2基於稀疏表示的人臉圖像SR重建
人臉圖像分辨率增強在監控方面需求較大，由於監控攝像頭和感興趣的目標物體（或人）一般距離較遠，與上述普通圖像的SR重建不同，人臉圖像的結構更加規則，所以更容易處理。對於人臉SR，基本思想：首先利用人臉先驗知識將輸入低分辨率圖像放大到合適的中等分辨率圖像，然後利用局部稀疏先驗模型來恢復細節。確切的說，過程應該分兩步：
（1） 全局建模：利用重建約束恢復出中等分辨率人臉圖像，但是這只能在人臉子空間中處理；
（2） 局部建模：利用局部稀疏模型恢復細節。
2.2.1非負矩陣分解（NMF）
人臉SR中最常用的子空間建模方法就是主成分分析（PCA）,它主要是選取低維子空間，然而PCA是基於全局的方法，和中值一樣會產生平滑臉，並且由於主成分表示會出現負係數，所以PCA重建過程往往也是很難描述的。
儘管人臉是包含無數方差的物體，但是它也是由幾個相對獨立的部分組成的，比如眼睛，眉毛，鼻子，嘴巴，臉頰和下巴。非負矩陣分解NMF把所給人臉圖像信號表示成局部特徵的一種相加組合，爲了找到合適的基於部分的子空間，非負矩陣分解NMF轉換成如下的優化問題：
2.2.2“兩步”人臉SR重建
基於最大後驗概率（MAP）
算法2（基於稀疏表示的人臉幻構）
三、學習字典對
3.1．單一字典訓練
（17）
這是一個帶有二次約束的二次規劃問題，存在很多優化方案；
3.2. 聯合字典訓練
給定採樣訓練圖像塊對，其中是高分辨率圖像塊的樣本集，是低分辨率圖像塊的樣本集，我們的目的是爲了實現對高分辨率和低分辨率圖像塊學習字典的稀疏表示，對高分辨率圖像塊的稀疏表示和低分辨率圖像塊的稀疏表示方法是一樣的，同時由於圖像SR重建本身是就是一個病態（ill-posed）問題，所以這在實際處理也是比較困難的，高分辨率和低分辨率圖像塊空間各自的稀疏編碼問題分別是：
假如把這些組合起來，用相同的編碼來表示高分辨率和低分辨率圖像塊，表達式可以轉換爲：
3.3 低分辨率圖像塊的特徵表示
考慮到一階和二階導數的簡單高效，本文主要使用一階和二階導數作爲低分辨率圖像塊的特徵，以下是用來提取導數的四個一維濾波器：
（26）
這四個濾波器處理每個圖像塊可以產生四個特徵向量，通過連接組合作爲低分辨率圖像塊的最終表示，我們的實現方法中，這四個濾波器並不是直接作用於採樣的低分辨率圖像塊，而是作用於訓練的圖像，所以對每一幅低分辨率訓練圖像，可以得到四個漸變映射，然後從這些漸變映射每個位置提取四個圖像塊並將其連接成爲特徵向量。因此，每個低分辨率圖像塊的特徵表示也將其領域信息編碼進去，這將更好地預測最終SR重建圖像的鄰邊信息。
實際中，我們發現從低分辨率圖像的上採樣圖像中提取特徵效果要好於原始圖像。
四、實驗結果
4.1 單幅圖像的SR重建
4.1.1 普通圖像的SR重建
4.1.2 臉部圖像的SR重建
4.2 字典大小的影響
4.3 對噪聲的魯棒性
4.4 全局約束的影響
五、總結
本文提出了一種新穎的基於稀疏表示的單幅圖像超分辨率重建算法，基本思想是通過對高分辨率超完備字典和低分辨率超完備字典進行聯合訓練以保證它們稀疏表示係數的一致性，這種方法使得局部和全局的相鄰圖像塊之間的兼容性均得到了加強，實驗結果表明這種基於圖像塊先驗知識的稀疏表示對普通圖像和人臉圖像都有很好的效果。然而，對於圖像超分辨重建，接下來的重點研究問題是對自然圖像塊確定最優的字典大小，並將其與壓縮感知的理論更加緊密地聯繫起來，利用其找到合適的圖像塊大小和訓練字典對的合適方法。
附：由於博客上傳圖片容量大小的限制，論文的部分實驗結果圖片本未放上來。