目錄
摘要
Retinex模型是微光圖像增強的有效工具。假設觀測圖像可以分解爲反射率和光照。大多數現有的基於retinx的方法都爲這種高度病態分解精心設計了手工製作的約束條件和參數，當應用於各種場景時，可能會受到模型容量的限制。在本文中，我們收集了一個包含低/正常光圖像對的低光數據集(LOL)，並提出了在該數據集上學習的深度視網膜網絡，包括用於分解的解分解網和用於光照調整的增強網。在解壓網絡的訓練過程中，分解的反射率和光照沒有ground truth。該網絡僅在關鍵約束條件下學習，包括成對低/正常光圖像共享的一致反射率和光照的平滑度。在分解的基礎上，通過增強網絡對光照進行亮度增強，聯合去噪時對反射率進行去噪操作。Retinex-Net是端到端可訓練的，因此學習的分解本質上有利於亮度調整。大量實驗表明，該方法不僅在弱光增強方面具有良好的視覺效果，而且能很好地表徵圖像的分解。
1、簡介
在圖像捕獲中，光照不足會顯著降低圖像的可見性。細節的丟失和低對比度不僅會造成不愉快的主觀感受，而且會損害許多爲正常光線圖像設計的計算機視覺系統的性能。造成照明不足的原因有很多，如環境光線不足，攝影設備性能有限，設備配置不當等。爲了使隱藏的細節顯現出來，提高當前計算機視覺系統的主觀體驗和可用性，需要進行弱光圖像增強。在過去的幾十年裏，許多研究者致力於解決微光圖像增強的問題。許多技術已經發展，以提高主觀和客觀質量的微光圖像。直方圖均衡化(HE)[20]及其變異體約束輸出圖像的直方圖滿足一定的約束條件。基於去霧的方法[5]利用了光照不足的圖像和模糊環境下的圖像之間的逆連接。
另一類微光增強方法是建立在reinex理論[12]基礎上，假設觀察到的彩色圖像可以分解爲反射率和光照。像早期的嘗試一樣，單尺度的Retinex (SSR)通過高斯濾波約束光照貼圖平滑。多尺度的Retinex (MSRCR)擴展了SSR的多尺度高斯濾波器和顏色恢復。[23]提出了一種利用光階誤差測量保持照度自然度的方法。Fu等人提出融合初始光照圖的多個派生。SRIE使用加權變分模型同時估計反射率和光照。操縱照明後，可以恢復目標結果。另一方面，LIME只在結構先驗下估計光照，並使用反射作爲最終的增強結果。也有基於retinx的聯合微光增強和噪聲去除方法。雖然這些方法在某些情況下可能產生有希望的結果，但它們仍然受到反射和光照分解模型容量的限制。很難設計出適用於各種場景的有效的圖像分解約束條件。此外，照明貼圖的操作也是手工製作的，這些方法的性能通常依賴於仔細的參數調整。隨着深度神經網絡的快速發展，CNN被廣泛應用於低層圖像處理中，包括超分辨率[6,24,26,27]，去雨[16,21,25]等。Lore等人的[17]使用堆疊稀疏去噪自動編碼器來同時進行微光增強和降噪(LLNet)，但是沒有考慮到微光圖像的性質。
爲了克服這些困難，我們提出了一種數據驅動的Retinex分解方法。建立了一個融合圖像分解和連續增強操作的深度網絡。首先，利用子網絡—解壓網絡將觀測圖像分割爲不依賴光線的反射率和結構感知的平滑光照。解壓網絡是在兩個約束條件下學習的。首先，低/正常光圖像具有相同的反射率。其次，光照圖要平滑，但保留主要結構，這是通過感知結構的總變化損失得到的。然後，另一個增強網絡調整光照圖以保持大區域的一致性，同時通過多尺度連接來裁剪局部分佈。由於噪聲在黑暗區域往往更大，甚至在增強過程中被放大，因此引入了反射率去噪。爲了訓練這樣一個網絡，我們從真實的照片和從原始數據集合成的圖像中建立一個低/法線光圖像對的數據集。大量實驗表明，該方法不僅在弱光增強中獲得了良好的視覺效果，而且能很好地表徵圖像的分解。現將我們的工作貢獻總結如下：
我們用在真實場景中捕獲的成對的低/正常光圖像來構建一個大型數據集。據我們所知，這是在弱光增強領域的首次嘗試。構造了一種基於Retinex模型的深度學習圖像分解算法。分解網絡與連續的弱光增強網絡進行端到端訓練，因此該框架具有良好的光狀態調節能力。我們提出了一種結構感知的全變差約束用於深度圖像分解。在梯度很強的地方，通過減輕總變化的影響，約束成功地平滑了照明貼圖並保留了主要結構。
2、弱光增強的視黃素網
經典的Retinex理論模擬了人類的顏色感知。假設觀測圖像可以分解爲反射率和光照兩個分量。表示源圖像，則表示爲：
式中R爲反射率，I爲光照，◦爲element-wise乘法。反射率描述捕獲物體的內在屬性，它被認爲在任何亮度條件下都是一致的。光照表示物體上的不同亮度。在弱光圖像上，它通常遭受黑暗和不平衡的照明分佈。在Retinex理論的基礎上，設計了一種深度Retinex，共同進行反射率照度分解和微光增強。網絡由分解、調整和重構三個步驟組成。在分解步驟中，Retinex-Net將輸入圖像通過分解網分解爲R和I。在訓練階段，它接受對低/正常光圖像，而在測試階段，它只接受低光圖像作爲輸入。在低/正常光圖像共享相同反射率和光照平滑的約束下，Decom-Net學會了以數據驅動的方式提取不同光照圖像之間一致的R。在調整步驟，一個增強網被用來照亮照明貼圖。增強網採用編解碼器的整體框架。採用多尺度拼接的方法，在調整集中關注的局部分佈的同時，保持光照與大區域上下文信息的全局一致性。此外，放大噪聲，往往發生在低光條件下，消除了反射率，如果需要。然後，在重建階段，我們將調整光照和反射率通過元素的乘法結合起來。
在Retinex理論的基礎上，設計了一種深度Retinex網，共同進行反射率照度分解和微光增強。網絡由分解、調整和重構三個步驟組成。在分解步驟中，Retinex-Net將輸入圖像通過分解網分解爲R和I。在訓練階段，它接受對低/正常光圖像，而在測試階段，它只接受低光圖像作爲輸入。在低/正常光圖像共享相同反射率和光照平滑的約束下，Decom-Net學會了以數據驅動的方式提取不同光照圖像之間一致的R。在調整步驟，一個增強網被用來照亮照明貼圖。增強網採用編解碼器的整體框架。採用多尺度拼接的方法，在調整集中關注的局部分佈的同時，保持光照與大區域上下文信息的全局一致性。此外，放大噪聲，往往發生在低光條件下，消除了反射率，如果需要。然後，在重建階段，我們將調整光照和反射率通過元素的乘法結合起來。
2.1、數據驅動的圖像分解
分解觀測圖像的一種方法是直接在低光輸入圖像上估計反射率和照度，並精心製作了約束條件。由於Eq.(1)的病態性很強，很難設計出適合各種場景的約束函數。因此，我們試圖以數據驅動的方式來解決這個問題。在訓練階段，Decom-Net每次都對低/正態光圖像進行配對，在低光圖像和正態光圖像具有相同反射率的指導下，學習對低光和對應的正態光圖像的分解。注意，雖然分解是用配對數據訓練的，但它可以在測試階段單獨分解低光輸入。在培訓過程中，不需要提供反射率和光照的地面真相。只有反射一致性和光照映射光滑性等必要知識作爲損失函數嵌入到網絡中。因此，我們的網絡分解是從成對的低/正常光圖像中自動學習到的，本質上適合描述不同光照條件下圖像之間的光變化。需要注意的一點是，儘管這個問題在形式上可能類似於固有圖像分解，但它們在本質上是不同的。在我們的任務中，我們不需要精確地獲取實際的本徵圖像，而是需要一個良好的表徵來進行光調節。因此，我們讓網絡學會在弱光圖像和相應增強結果之間尋找一致分量。
如圖1所示，Decom-Net以慢的弱光圖像和正態光的一個Snormal圖像爲輸入，然後分別估計慢的反射率Rlow和照度Ilow，以及正態光的Rnormal和非normal圖像。首先使用3×3卷積層從輸入圖像中提取特徵。然後，採用幾個以直線矯正單元(ReLU)爲激活函數的3×3卷積層，對RGB圖像進行反射率和光照映射。一個3×3卷積層從特徵空間投影R和I，用s型函數約束R和I在[0,1]的範圍內。損失L由重構損失Lrecon、不變反射率損失Lir和光照平滑損失Lis組成:
其中lir和lis表示用於平衡反射率一致性和光照平滑度的係數。假設Rlow和Rhigh都可以用對應的光照圖重構圖像，則重構損失Lrecon公式爲:
引入不變反射率損失Lir來約束反射率的一致性:
照明平滑度損失Lis將在下一節中詳細描述。
2.2、支持結構平滑損失
光照映射的一個基本假設是局部一致性和結構感知，如[9]所述。換句話說，一個好的照明貼圖的解決方案應該是在紋理細節平滑的同時仍然可以保持整體的結構邊界。全變差最小化(TV)[2]是將整個圖像的梯度最小化的算法，經常被用作各種圖像恢復任務的平滑先驗。然而，直接使用電視作爲損失功能失敗的區域，圖像有強烈的結構或亮度變化劇烈。這是由於統一的減少梯度的照明圖無論該區域是文本細節或強邊界。換句話說，電視損失是結構盲性的。光照模糊，反射率上留下強黑邊，如圖2所示。爲了使損耗能反映圖像的結構，對原始的TV函數採用反射貼圖梯度加權。最終Lis公式如下：
其中，∇h爲包括∇h(水平)和∇v(垂直)的梯度，lg爲平衡結構意識強度的係數。Lis通過權值exp(−lg∇Ri)放鬆了反射率梯度陡峭處的平滑約束，也就是圖像結構所處的位置和光照應該不連續的位置。
雖然LIME[9]也考慮了在有加權電視約束的照明映射中保持圖像結構，但我們認爲這兩種方法是不同的。對於LIME，使用初始光照圖對總變異約束進行加權，初始光照圖是R、G和B通道中每個像素的最大亮度。我們的結構感知平滑損失是由反射率加權的。在LIME中使用的靜態初始估計可能不能像反射率那樣描述圖像結構，因爲反射率被假定爲圖像的物理屬性。由於我們的解網是離線訓練的大規模數據，可以同時更新光照和權重(反射率)在訓練階段。
2.3、多尺度照明調整
照明增強網絡採用編碼器-解碼器結構的整體框架。爲了從層次角度調整光照，我們引入了多尺度連接，如圖1所示。編碼器-解碼器體系結構獲得大區域的上下文信息。將輸入圖像逐次降採樣到小尺度，使網絡能夠了解大尺度光照分佈情況。這就給網絡帶來了自適應調節的能力。利用大範圍光照信息，上採樣塊重建局部光照分佈。通過逐元素求和的方法，將跳越連接從一個下采樣塊引入到相應的鏡像上採樣塊，從而強制網絡學習剩餘值。爲了分層調整光照，即在裁剪局部光照分佈的同時保持全局光照的一致性，引入了多尺度拼接算法。如果有M個逐步向上採樣的塊，每個塊提取一個C通道特徵圖，我們通過近鄰插值將這些特徵在不同尺度上調整到最終尺度，並將它們連接到一個C×M通道特徵圖。然後通過1×1卷積層，將連接的特徵降爲C通道。一個3×3卷積層是我˜之後重建照明地圖。下采樣塊由帶stride 2的卷積層和ReLU組成。在上行採樣塊中，使用了大小-卷積層。正如在[19]中演示的，它可以避免工件的棋盤式模式。size-convolutional layer由一個最近鄰插值操作、一個帶stride 1的convolutional layer和一個ReLU組成。增強網的損失函數L由重建損失Lrecon和光照平滑損失Lis組成。Lrecon意味着生產普通光照年代ˆ,
Lis是式(5)一樣，期望
通過
的梯度映射加權。
2.4、反射上的去噪
在分解步驟中，對網絡進行了約束，其中之一是光照映射的結構感知平滑性。當估計的光照貼圖是平滑的，所有的細節都保留在反射率上，包括增強的噪聲。因此，我們可以先對反射率進行去噪，然後再用光照映射重建輸出圖像。由於暗區噪聲在分解過程中會被亮度強度放大，因此應採用與光照相關的去噪方法。我們的實現在第4節中進行了描述。
3、數據集
儘管弱光增強問題已經研究了幾十年，就我們所知，目前公開的數據集沒有提供在真實場景中捕獲的低/正常光成對的圖像。一些微光增強工作使用高動態範圍(HDR)數據集作爲替代，如MEF數據集[18]。然而，這些數據集是在小尺度和包含有限的場景。因此，它們不能用來訓練深度網絡。爲了便於從大規模數據集學習弱光增強網絡，我們構建了一個新的網絡，它包括兩類:真實的攝影對和從原始圖像合成對。第一個捕獲了真實情況下的退化特性和屬性。第二種是數據增強，場景和對象多樣化。
3.1、真實場景中捕獲的數據集
我們的數據集，命名爲低光配對數據集(LOL)，包含500對低/正常光圖像。據我們所知，LOL是第一個包含來自真實場景的用於弱光增強的圖像對的數據集。大多數弱光圖像是通過改變曝光時間和ISO來收集的，而相機的其他配置是固定的。我們從各種各樣的場景中捕捉圖像，例如，房子，校園，俱樂部，街道。圖3顯示了場景的一個子集。由於相機抖動、物體移動和亮度變化可能會導致圖像對之間的不對準，受[1]啓發，我們使用三步法來消除數據集中圖像對之間的不對準。實現細節可以在補充文件中找到。這些原始圖像被調整到400×600和轉換爲便攜式網絡圖形格式。數據集將公開提供。
3.2、從Raw圖中合成圖像
爲了使合成圖像更符合真實的暗攝影特性，我們分析了微光圖像的照度分佈。收集公共MEF[18]、NPE[23]、LIME[9]、DICM[13]、vv1、融合[3]數據集270張弱光圖像，將圖像轉換爲YCbCr通道，計算Y通道的直方圖。從RAISE[4]中採集1000張raw圖像作爲normal-light圖像，計算YCbCr中Y通道的直方圖。結果如圖4所示。原始圖像比轉換後的結果包含更多的信息。在對原始圖像進行操作時，用於生成像素值的所有計算都在基礎數據上一次性執行，從而使結果更加準確。利用RAISE[4]中的1000張原始圖像合成低光圖像。使用Adobe Lightroom提供的界面，我們嘗試不同的參數使Y通道的直方圖與弱光圖像的結果吻合。最後的參數配置可以在補充材料中找到。如圖4所示，合成圖像的光照分佈與弱光圖像匹配。最後，我們將這些原始圖像調整爲400×600，並將其轉換爲可移植的網絡圖形格式。
4、實驗
4.1、實驗設置
我們在第3節中提到的擁有500對圖像的LOL數據集，被分成485對用於訓練，另外15對用於評估。因此，網絡在485幅真實圖像對和1000幅合成圖像對上進行訓練。整個網絡是輕量級的，因爲我們經驗發現它已經足夠我們的目的。反捲積網絡需要5個卷積層，在沒有ReLU的2個對流層之間有ReLU激活。增強網絡由3個向下採樣區和3個向上採樣區組成。首先對分解網絡和增強網絡進行訓練，然後利用帶反向傳播的隨機梯度下降(SGD)端到端對網絡進行微調。批size設置爲16,patch size設置爲96×96。lir、lis和lg分別設置爲0.001、0.1和10。當i 6= j時，li j設置爲0.001，當i = j時，li j設置爲1。
4.2、分解結果
在圖5中，我們展示了LOL數據集評估集中的低/法線光圖像對，以及由Decom-Net和LIME分解的反射率和光照圖。補充文件中提供了更多示例。結果表明，我們的解壓網絡能夠從文本區域和平滑區域兩組不同光照條件下的圖像中提取出基本一致的反射率。弱光圖像的反射率與正常光圖像的反射率相似，只是在真實場景中出現了黑暗區域的放大噪聲。另一方面，照明貼圖描繪了圖像上的亮度和陰影。與我們的結果相比，LIME在反射率上留下了很多光照信息(見架子上的陰影)。
4.3、評估
我們對來自公開的LIME[9]、MEF[18]和DICM[13]數據集的真實場景圖像進行了評估。LIME包含10個測試圖像。MEF包含17幅多重曝光級別的圖像序列。DICM用商用數碼相機收集了69幅圖像。我們將我們的retinx-net與四種最先進的方法進行了比較，包括基於去霧的方法(DeHz)[5]、自然度保留增強算法(NPE)[23]、同時反射和光照估計算法(SRIE)[8]和基於光照圖估計的方法(LIME)[9]。圖6顯示了三幅自然圖像的可視化對比。更多的結果可以在補充文件中找到。從每一個紅色矩形中可以看出，我們的方法在不過度曝光的情況下，充分地提高了隱藏在暗亮度下的物體的亮度，這得益於基於學習的圖像分解方法和多尺度定製光照貼圖。與石灰相比，我們的結果沒有部分過度暴露(看看靜物中的葉子和室外的葉子)。與DeHz相比，這些物體沒有暗邊，DeHz受益於加權電視損失條款(見街道上房屋的邊緣)。
4.4、聯合微光增強和去噪
考慮到其綜合性能，採用BM3D[3]作爲視神經網絡去噪操作。由於噪聲在反射率上被不均勻地放大，我們使用相對照明策略(見補充材料)。我們比較了我們的聯合去噪視網膜網與兩種方法，一種是石灰去噪後處理，另一種是JED[22]，一種最近的聯合微光增強去噪方法。如圖7所示，使用Retinex-Net可以更好地保留細節，而LIME和JED則模糊了邊緣。
5、結論
本文提出了一種深度視頻流分解方法，該方法可以在不考慮反射率和光照分解的真實情況下，以數據驅動的方式學會將觀測圖像分解爲反射率和光照。介紹了光照的後續光增強和反射率的去噪操作。對分解網絡和微光增強網絡進行端到端訓練。實驗結果表明，該方法具有良好的圖像分解效果和良好的增強效果。