圖像復原的神經網絡稀疏表示
Neural Sparse Representation for Image Restoration
paper: https://arxiv.org/abs/2006.04357
code: https://github.com/ychfan/nsr
摘要
受稀疏編碼圖像恢復模型中稀疏表示的魯棒性和有效性的啓發，研究了深層網絡中神經元的稀疏性。方法在結構上加強了對隱藏神經元的稀疏性約束。稀疏性約束有利於基於梯度的學習算法，並且可以附加到各種網絡中的卷積層。神經元的稀疏性使得只對非零分量進行運算而不影響精度，從而節省了計算量。同時，該方法可以在不增加計算量的情況下，放大表示維數和模型容量。實驗表明，稀疏表示在深度神經網絡中對於圖像超分辨率、圖像去噪、圖像壓縮僞影去除等多個圖像恢復任務都是至關重要的。
一． 基本原理和主要貢獻
- 基本原理
稀疏表示在圖像恢復問題中起着至關重要的作用，如圖像超分辨率[1，2，3]、去噪[4]、壓縮僞影去除[5]和許多其他[6，7]。這些任務本質上是不適定的，其中輸入信號通常具有不充分的信息，而輸出具有許多相同輸入的解決方案。因此，人普遍認爲稀疏表示對解決方案的多樣性更爲穩健。稀疏編碼中的稀疏表示通常是高維的，但具有有限的非零分量。輸入信號表示爲字典中標記的稀疏線性組合。高維意味着較大的字典大小，通常會導致更好的恢復精度，因爲更大的字典能夠更徹底地採樣底層信號空間，從而更精確地表示任何查詢信號。此外，非零元素的稀疏極限數作爲圖像的一個重要先驗，已被廣泛研究和開發，以使恢復具有魯棒性。
稀疏性通過忽略零部分也帶來了計算效率。用於圖像恢復的深卷積神經網絡擴展了基於稀疏編碼的重複級聯結構方法。爲了提高[8]中的性能，引入了基於深度網絡的方法，並在概念上與以前的基於稀疏編碼的方法相聯繫。一個簡單的網絡，其兩個卷積層由一個非線性激活層橋接，可以解釋爲：激活表示稀疏表示；非線性增強稀疏性，卷積核由字典組成。SRResNet[9]擴展了跳躍連接的基本結構，形成了一個剩餘塊，並級聯了大量的塊來構造非常深的剩餘網絡。由於深層神經網絡在推理過程中是前饋的，因此深層神經網絡中隱藏表示的稀疏性不能作爲稀疏編碼通過迭代優化來解決。神經元稀疏性通常是通過在每個神經元中獨立地將負性閾值設爲零來實現的。儘管如此，在隨機向量上的50%稀疏性與非零分量總數上的稀疏性定義相去甚遠。相反，稀疏約束在模型參數中被更積極地使用，以實現網絡剪枝[11]。然而，在剪枝網絡中，隱藏的表示維數會降低，而且準確性可能會受到影響。
- 主要貢獻
在本文中，提出了一種方法，可以在結構上對深度網絡中的隱藏神經元實施稀疏性約束。在給定高維神經元的情況下，沿着通道將分成若干組，每次只允許一組神經元爲非零。非稀疏羣的自適應選擇由基於上下文特徵的小邊網絡來建模。當僅對非零組執行時，計算也被保存。然而，選擇操作是不可微的，因此很難嵌入側網絡進行聯合訓練。將稀疏約束鬆弛爲軟約束，並近似簡化爲多卷積核的稀疏線性組合而不是硬選擇。進一步引入額外的基維數，將稀疏性預測分解爲子問題，方法是將每個稀疏組分割，並在參數的基獨立組合之後進行連接。爲了證明神經稀疏表示的重要性，對圖像恢復任務進行了廣泛的實驗，包括圖像超分辨率、去噪和壓縮僞影去除。
實驗結論是：
（1） 專用約束對於實現神經稀疏表示和受益於深層網絡至關重要；
（2） 在相同的模型足跡尺寸下，該方法能顯著降低計算成本，提高計算精度；
（3） 該方法可以在不增加計算量的情況下，大大提高模型容量和精度。
二．相關研究
在一個簡單的矩陣乘法例子中說明了具有稀疏隱節點的兩層神經網絡的計算減少。左：具有稀疏約束的網絡，該網絡只允許一個c隱藏節點的組在kc節點上不爲零。右圖：由於其他激活節點爲零，因此只使用Wi 1和Wj 2來減少計算。（灰度反映矩陣值的大小。矩陣乘法是從右到左的順序。）
三．研究方案
提出了新的稀疏約束來實現深度神經網絡中的稀疏表示。稀疏的軟限制對基於梯度的訓練更爲友好。附加的基數維數重新定義了約束條件，提高了稀疏表示的多樣性。
閾值法與選通法的比較
該方法將非零實體的數量限制在隱藏層表示中所有節點的1/k以下，閾值和選通方法更接近於等式1中的稀疏性定義。該方法只考慮自適應選擇的組，大大降低了k倍的計算量，而閾值法和選通法都不可能做到這一點。
與節點修剪的比較
節點剪枝的目的是通過對所有相關的可訓練參數歸零來減少激活節點。不管輸入信號如何變化，修剪後的節點都會保持爲零，這大大降低了表示維數。在方法中，稀疏性自適應地依賴於輸入。儘管輸入在表示上保持了高維性，但方法以窄模型的形式節省了計算和存儲成本。
鬆軟稀疏
類似於稀疏編碼中的L0範數，等式6中的自適應稀疏羣選擇是不可微的，可以與神經網絡聯合學習。儘管Gumbel技巧[21]被提出重新參數化argmax的條件概率分佈，但在實驗設置中並沒有取得令人信服的結果。通過用softmax作爲max的光滑逼近來替換選擇，從而稀疏了稀疏性約束。
條件卷積的比較
CondConv[22]的卷積核自適應加權和運算與鬆弛軟稀疏方法相似。然而，在方法中，CondConv使用sigmoid函數來規範化核的權重，而不是softmax函數。因此，在CondConv中沒有顯式地應用稀疏性約束，並且實驗表明，稀疏性對模型精度非常重要。
稀疏羣上的基數
用一個簡單的MLP來模擬組之間的稀疏性是一個挑戰，特別是當每個組的維數c增加時。此外，預先定義的組內的連接通道限制了稀疏模式的多樣性。受ResNeXt[23]中組卷積的啓發，將每個稀疏組的c個節點劃分爲d個基數組，每個具有c/d節點的基數組沿着k個稀疏組獨立地受到約束，如圖3所示。
四．實驗測試
基數
基數維數降低了稀疏羣信道間的實際維數和相關性，提高了卷積核上線性組合權值的多樣性。圖4中具有不同基數的模型的結果表明，不斷增加基數有助於提高精度。在相同的觸發器下，還比較了本方法的一個特例——壓縮激勵（SE）模型。模型明顯優於SE模型。
效率
該方法在k個稀疏羣的情況下，可近似節省k次計算量，但模型大小或參數個數不變。表2中的結果在列中具有相同的模型大小，並且表明方法可以節省至少一半的計算量，而不會對不同模型大小的精度造成一致的損害。
容量
方法也可以在k個稀疏羣的情況下將模型容量或參數個數擴展k倍，但只需很少的額外計算量。表3中的結果在列中具有相同的計算成本，並且表明方法可以通過將模型容量擴展到16倍來不斷提高精度。
內核選擇的可視化
直接可視化高維隱藏表示的稀疏性是困難的，以核的選擇作爲替代。如圖5所示，在第一個塊中，權重幾乎在任何地方都是二進制的，並且只取決於顏色和低級線索。在以後的塊中，權重更加平滑，更加關注紋理更加複雜的高頻位置。最後一層與語義更爲相關，例如，第一幅圖像中的樹枝和第二幅圖像中的獅子。
超分辨率
在EDSR[12]的基礎上對方法進行了比較，EDSR[12]是目前最先進的單圖像超分辨率方法，也與VDSR[32]的雙三次上採樣進行了比較。如表4所示，小EDSR每層有16個殘差塊和64個神經元，稀疏模型將其擴展到4個基數爲16的稀疏羣，在4倍模型容量的所有基準上都表現出色，但可以忽略額外的計算成本。大的EDSR（L）有32個殘差塊，每層256個神經元，稀疏模型有32個殘差塊，每層128個神經元，4個基數爲16的稀疏羣。然後他有一個相似的模型足跡和標準的精度，但4倍的計算成本差異。
去噪
將方法與最新的圖像去噪方法進行了比較：BM3D[33]、WNNM[34]和DnCNN[28]。如表5所示，基線模型是16個塊的剩餘網絡，每層32個神經元，2x寬度乘數[31]，其足跡與DnCNN相似，但由於剩餘連接，性能更好。稀疏模型具有2個稀疏組和1倍寬度乘法器，以保持模型的大小爲基線，但計算量減少了2倍，性能更好。稀疏模型在基線模型的基礎上增加了2個稀疏組，使模型容量增加了一倍，並且在計算開銷可以忽略的情況下提高了性能。
壓縮僞影消除
將方法與最新的圖像壓縮僞影去除方法進行了比較：JPEG、SA-DCT[35]、ARCNN[36]和dncnn[28]。如表6所示，基線模型和稀疏模型與去噪模型具有相同的結構。方法在所有基準數據集和不同的JPEG壓縮質量上始終如一地節省了計算量並提高了性能。
