一. 論文信息簡介
(1)題目的含義:
個人理解,這裏的dense包含兩層含義:
a. 論文針對真實場景中濃霧(dense haze covered)進行去除,這是dense的第一層含義;
b. 論文的feature network基於dense net,這是dense的第二層含義;
(2)作者信息:
本文是NTIRE(New Trends in Image Restoration and Enhancement)2019 dehaze賽道中的top1論文,方法簡潔,直接,依舊沿用了data driven這個趨勢,學習(extimation) haze生成模型中的關鍵參數,並最終取得了良好的效果.
作者來自賓夕法尼亞州立大學,電子工程系.
二.前言導讀
一直以來,圖像去霧是一項最具有挑戰性的逆向問題.深度學習能夠獲得質量更高的去霧效果,將這個領域提升到一個新的狀態,極大的彌補了傳統模型的不足.然而,現實中圖像的去霧問題仍舊是一個挑戰,現實圖片往往被濃霧遮擋,甚至從視覺上看不到場景信息.
深度學習的一般做法是,利用網絡參數,估計haze模型中的物理參數:
ambient light(環境光) : A
transmission map(透射率) : t
而haze模型如下:
其中,爲被霧遮擋的實際圖像,爲理想中的無遮擋清晰圖像(隱藏的參考圖像),爲透射率, A爲環境光參數.
透射率,表示透明體透過光的程度,通常用透過後的光通量與入射光通量 之比表示,在這裏可以理解爲haze dense的程度.
環境光,我理解是當時的光照環境,同時影響顏色,陰影等效果.
估計出上述兩個參數後,就可以逆向計算出.
傳統的去霧方法可以參考:Single Image Haze Removal Using Dark Channel Prior,這是何凱明大神的博士之作,功底可見一斑.但是,傳統的方法,和window size的選擇有很大關係,形成的效果容易造成不平滑,規則簡單.深度學習的方法會利用數據進行訓練,利用不同尺度下的特徵及複雜的非線性擬合,自發學習不同環境下的參數,達到的效果要好很多.
三.網絡結構及損失函數
在這裏選用其中的模型進行介紹,具體各層的詳細信息請參見論文table-1, table-2.
基本的網絡結構如上圖,encoder部分採用densenet並利用pretrained model進行訓練,encoder的特徵被後面的三個decoder使用,其中:
: 學習haze-free image
:學習環境光參數
: 學習透射率參數
上述三項,分辨率是相等的,