Deep Stacked Hierarchical Multi-patch Network for Image Deblurring閱讀筆記

摘要

多尺度去模糊網絡的缺點：

• 由粗到細的網絡機制中去卷積/上採樣操作消耗運行時間。
• 在更精細的尺度中簡單的增加網絡深度並不能提高去模糊的質量

作者做出的改進

• 爲了解決上述問題，作者提出一個分層的 multi-patch 網絡，改網絡受空間金字塔匹配的啓發，由靜到粗的處理模糊圖像。

爲了解決性能飽和問題，作者提出了multi-patch 網絡 的stacked版本

Network

作者提出的 Deep Multi-Patch Hierarchical 網絡如圖所示：

網絡受由粗到細的特徵金字塔結構影響，使用場景識別技術整合多個圖像塊提高性能。與在多尺度和尺度循環網絡模型中進行大量的數據處理相反，我們的方法使用了residual-like的架構，因此需要小尺寸的濾波器，從而可以進行快速處理。如圖3所示：

與多尺度網絡和遞歸循環網絡不通，本文去掉了跳躍連接和循環連接。另外，不同於多尺度使用去卷積和上採樣操作，我們使用特徵圖級連的方式。

Encoder-decoder Architecture

DMPHN網絡的每一級都由一個編碼器和一個解碼器組成，其架構如圖4所示。我們的編碼器由15個卷積層，6個殘差連接和6個ReLU組成。 解碼器和編碼器的層是相同的，只是兩個卷積層被反捲積層替換以生成圖像。

本文只使用3.6 MB大小的內存存儲參數，而 多尺度網絡使用了303.6Mb。

Network Architecture

作者使用 1-2-4-8 的結構模式。其中1-2-4-8 代表由粗到細網絡所使用的圖像塊。例如：在第二層垂直分割，在第三層分成2 x 2 個圖像塊， 第四層分成2 x 4個圖像塊。

我們網絡的每個層都由一對編碼器/解碼器組成。 通過將模糊圖像輸入B1分成多個不重疊的圖像塊塊來生成每個級別的輸入。 較低級別（對應於更精細的網格）的編碼器和解碼器的輸出將被添加到較高級別（高於一個級別），以便頂層包含在較精細級別中推斷出的所有信息。 請注意，每個級別的輸入和輸出圖像塊的數量是不同的，因爲我們工作的主要思想是使較低級別的注意力集中在局部信息（更細的網格）上，從而爲較粗的網格提供殘差信息（通過級聯卷積獲得特徵）。

我們將初始模糊圖像輸入表示爲B1，而Bij是第i級的第j個色塊。 此外，Fi和Gi是i層的編碼器和解碼器，Cij是Bij的Gi的輸出，Sij代表Gi的輸出色塊。

以 1-2-4-8 爲例：DMPHN網絡去模糊從第四個尺度開始。模糊圖像B1被分成8個非重疊的圖像塊 $B^{j}_{4}$（j = 1, … , 8）。將這8個圖像塊作爲編碼器的輸入：

然後我們級連相鄰空間上的特徵獲得一個新的 feat表示爲$C^{*}_{4}$，他和第三個尺度的 feat 具有相同大小的尺寸：

其中$\bigotimes$ 表示級連，級連的特徵輸入編碼器得到：

然後第三層輸入爲：

如第四層：

請注意，所有級別的要素都沿空間維度連接在一起：想象一下相鄰的面片被連接起來以形成更大的“圖像”。

第二層輸入：

輸入到編碼器：

輸入到解碼器：

最後得到輸出：

損失函數：

Stacked Multi-Patch Network

在本節中，我們提出了一種用於去模糊的新穎堆疊範例。 我們建議不增加網絡的垂直深度（向網絡模型中添加更精細的級別，這會增加工作的難度），而是建議水平增加深度（堆疊多個網絡模型），我們利用多個DMPHN來執行去模糊。

網絡如圖5 所示：

我們使用兩種方式驗證我們提出的模型， 第一種是Stack-DMPHN ，如圖5 (a) 所示，從上到下進行級連，即：第 i-1個子網絡的輸入作爲第 i個子網絡的輸出。

第二種如圖5(b)所示，是一種由低到高再到低的網絡。

PSNR對比結果：