AdaDSR（Deep Adaptive Inference Networks for Single Image Super-Resolution論文筆記）

 Liu M, Zhang Z, Hou L, et al. Deep Adaptive Inference Networks for Single Image Super-Resolution[J]. arXiv preprint arXiv:2004.03915, 2020.

https://github.com/csmliu/AdaDSR

---

一、介紹

1、motivation

• 內容適應性問題：現有模型的計算成本仍然獨立於圖像內容和應用場景，模型一旦訓練完成，推理階段是確定性的，圖像中的所有區域都需要經過整個網絡的前向計算，網絡計算無法根據圖像內容進行適應性的調整。但是實際中，比如含有8個殘差塊的EDSR，足以超分辨出紋理較少的光滑圖像塊。相比之下，對於細節豐富的圖像塊，則至少需要24個殘差單元。
• 資源適應性問題：對於現實應用場景，SISR模型應該可以部署到不同的硬件平臺上。即使對於給定的硬件設備，模型也應該在不同的電池條件或工作負載下運行，並且必須滿足各種效率約束。該問題也可以通過使模型推理過程自適應於效率約束來解決。

2、solution

• 重建精度跟效率的平衡： AdaDSR引入了一個輕量的適配器模塊，該模塊以圖像特徵爲輸入，並生成圖像每個像素對應的網絡深度圖。如考慮堆疊的殘差網絡，圖像的某位置給定了局部網絡深度d，則在測試階段只需要計算前d個殘差塊。
• 自適應於資源約束：可以將硬件平臺和應用程序場景的效率約束表示爲特定的期望深度d
• 預測深度圖對於平滑區域網絡深度值較小，對於細節豐富的區域網絡深度值較大。AdaDSR可以通過指定網絡深度值來靈活地調整，以滿足各種效率約束。

二、主要內容

1、網絡框架

    單幀圖像超分可以表示爲：

    考慮由三個主要模塊組成的代表性深度SISR網絡，即特徵提取Fe、殘差塊和HR重建Fr。如EDSR，殘差塊的輸出可以表示爲：

        其中  表示第l個殘差塊的網絡參數。給出第（l-1）個殘差塊的輸出，第l個殘差塊可以被寫成 。最後重建高分辨率圖像可以被表示爲 

        對於圖像平滑區域，不需要使用所有殘差塊進行重建，對於紋理細節豐富的區域，又需要更多的殘差塊進行重建，爲了實現空間變化的網絡深度，作者引入了一個二維網絡深度圖：，即處理光滑區域時，網絡深度較小；處理具有豐富細節的區域時網絡深度較大。於是將網絡結構改成：

 

 

2、用於有效推理的稀疏卷積

設 爲mask表示應保持卷積激活的位置。對於一些常規實現方法，首先要執行標準卷積獲得整個輸出特徵映射 。然後，稀疏結果就可以表示爲：  ，雖然這種實現滿足了空間自適應推理的要求，但與標準卷積依然保持相同的計算複雜度。

 

作者採用了基於im2col的稀疏卷積進行有效的自適應推理。在底層實現時，卷積會通過im2col轉換成矩陣乘法，f中的圖像塊轉換爲矩陣的一行，給定mask m，如果重組輸入特徵的某位置具有零掩碼值，則在構造重組輸入特徵時可以簡單地跳過相應的行(參見圖中的陰影行)，計算也被跳過。

3、輕量級適配器模塊

         適配器模塊p以特徵映射     爲輸入，由四個具有PReLU非線性激活函數的卷積層和另一個具有Relu非線性激活函數的卷積層組成。通過適配器模塊生成的掩碼m，構造稀疏殘差塊，從而省略具有零掩碼值的區域的計算，以便於有效的自適應推理。

        爲了滿足效率約束，還將期望的網絡深度d作爲適配器的輸入： 

4、損失函數

    重建損失：

    考慮到效率約束，要求預測的網絡深度的平均d¯近似於期望的深度d，於是引入以下網絡深度損失：

總損失：（超參lamda實驗中設置爲0.01）

三、實驗

1、與其他方法的比較：

 

2、消融實驗

其中FAdaEDSR(8)、FAdaEDSR(16)、FAdaEDSR(24)、FAdaEDSR(32)分別以固定深度d = 8、16、24、32進行訓練，適配器模塊僅以圖像特徵作爲輸入。