2017 TIP :DerainNet
這篇文章也是傅雪陽大佬發的,有點像他2017的另一篇CVPR:DDN
文章第一個將深度卷積神經網絡CNN用於單幅圖像去雨,同時在細節層而不是在圖像域訓練網絡。
前人工作:
諸如低秩模型、稀疏編碼、字典學習、層先驗方法、GMM等等,這裏不再贅述。
存在問題:
之前的方法僅通過低層特性將雨紋從對象細節中分離出來。
當物體的結構和方向與雨紋相似時,這些方法很難同時去除雨紋和保存結構信息。
另一方面,人類可以利用上下文信息等高級功能,輕鬆地在一張圖像中分辨出雨紋。
因此,提出了一種基於深度CNN網絡的去雨方法。
文章的主要貢獻:
1、DerainNet直接自動從數據中學習了乾淨層和雨的細節層(即,高分辨率層)之間的非線性映射函數,同時進行了去雨和圖像增強來改善視覺效果。
2、使用圖像處理領域的知識來修正目標函數,提高去雨質量,而不是使用增加神經元或疊加隱藏層等常用策略來有效地逼近期望的映射函數。
3、合成數據集
網絡結構:
如圖,首先將輸入的含雨圖像分離成高頻細節層及低頻的base 層,將高頻細節層作爲輸入,使用CNN進行特徵的提取,得到去雨後的細節層,然後分別對base層及去雨後的細節層進行圖像增強,然後相加得到輸出圖像。
具體工作:
1、目標函數:
2、卷積神經網絡
結構類似之前的3個CNN的窗口去雨去土那篇文章。
3、數據集
350張室外清晰圖片,(UCID、BSD、Google),使用Photoshop生成訓練數據集。
添加14種不同方向和強度的雨紋。
迭代更新權值和偏差:
4、圖像增強部分
分頁符