點擊下方“AI算法與圖像處理”，一起進步！
重磅乾貨，第一時間送達
我們知道，通常的成像系統的動態範圍遠遠小於真實世界場景的動態範圍，這使得我們很難去拍攝並還原真實的場景。
在27. HDR - 高動態範圍成像中，我爲你介紹了基礎的HDR算法，它的目的是將多張照片合理的融合起來，得到最高的動態範圍。
在這個過程中，每張照片的像素值被還原到對應的光輻照度，然後多張照片的光輻照度用特定的權重加權平均，得到最後的輻照圖：
我們可以用數學表達式表達如下：
所以最終圖像的效果取決於融合的權重。
我們之前介紹的HDR算法中有兩個缺點：
所用到的權重主要是考慮融合後的圖像動態範圍儘可能高，但對圖像中的噪聲並沒有太關注，甚至可以說它假設圖像是沒有帶噪聲的。爲了做到這一點，這些算法傾向於選擇相機的最低有效ISO設置及相應的曝光時長，在保證一定亮度的情況下降低噪聲。
它沒有考慮到對曝光時間的限制。基本上是假設可以選擇相機所有有效的曝光時間來調整圖像的亮度。
當你讀了我上一篇文章60. 數碼相機成像時的噪聲模型與標定後，我想你已經知道了：圖像總是帶有噪聲的，尤其是曝光時間短時的暗部區域噪聲特別明顯，如下圖所示：
而且隨着曝光時間的變化，圖像中的各類噪聲對圖像的影響也會變化。而且，一般來說我們會要求在一定的總時間及總的拍攝圖像張數的限制下，完成HDR圖像的生成動作，這導致忽視了拍攝時間要求的傳統HDR融合算法無法得到最佳的結果。
那麼，有沒有辦法既能夠提升最終融合圖像的動態範圍，使之反映實際場景，同時又能夠在規定的時間要求內得到最佳的暗部區域的信噪比呢？這就是今天介紹這篇文章：
這篇文章回答了一個問題：我們是否可以尋找最佳的“拍攝時間、拍攝張數、以及每張圖像的ISO值等成像參數"，使得我們最終得到的圖像在暗區能得到最佳的信噪比呢？
在進一步介紹之前，先給你看看作者展示的結果：
這是一幅南希教堂的圖像，這裏展示了三種不同的結果，左圖由基礎HDR的標準曝光時間組合方式形成，中間則是本文所闡述的方法，而右圖則是理想對照圖像。我們可以看到對於圖像的暗區：
基礎的曝光組合得到的圖像具有較大噪聲，信噪比只有2.8dB
基礎的曝光組合用了最低的ISO值，以及對應的曝光時間
上述論文則採用了最高的ISO值，以及特意計算得到的曝光時間，最終得到的圖像在同樣的暗區，信噪比提升了約12dB.
<br> (二維碼自動識別)
那麼，作者是如何做到這點的呢？這就必須首先從作者的一個反直覺的觀察談起。
觀察：曝光時間限制時，高ISO值反而有更高的信噪比
傳統上，人們傾向於使用最低的ISO設定來進行攝影，與此同時爲了使得能獲得不同的單幀動態範圍，需要進行恰當的曝光時間的調整。比如，爲了獲得亮幀和暗幀，需要分別設置較長和較短的曝光時間。
之所以用較低的ISO值，是人們發現低ISO設定在曝光時間自由時，在相同的圖像亮度情況下噪聲低於高ISO的圖像，正如我在上一篇文章60. 數碼相機成像時的噪聲模型與標定所示例的一樣：
然而作者發現，如果我們需要限制曝光時間時，高ISO設定反而能得到更好的信噪比。這很好理解，如果限制了較短的曝光時間，低ISO值的圖像就很暗，加性噪聲，尤其是其中的ADC噪聲很突出。而按照我們上一講的講解，此時的信噪比約爲：
由這個式子可以簡單仿真可知，其他條件不變時 g越小即ISO越小，信噪比越低。反之，ISO越大時信噪比越高。作者論文中的下面這幅圖也說明了這一點：
上圖中，左邊是不固定曝光時間時，低ISO設定能得到更好的信噪比。而固定曝光時間時，高ISO設定能在圖像的暗區得到更好的信噪比。有趣的是，高ISO使得像素更容易飽和，因此當亮度超過一定閾值後，像素飽和，此時信噪比就掉到0了。
通常來說，在HDR的拍攝過程中是對總拍攝時間有要求的，那麼是不是說明我們儘可能用高的ISO設定能達到最終信噪比更高的目的呢？
回到我之前提到的HDR融合公式：
作者指出，要想讓融合後圖像I信噪比最高，所選擇的每像素權重應該：
這樣最終圖像的信噪比可以表達爲：
這樣，爲了使得SNR在最低亮度時最佳，我們就需要搜索最佳的ti, gi, mi,j的組合——這就把問題變成了一個混合整數線性規劃問題：
這樣，只要我們能實現知道成像系統的噪聲參數(在上一篇文章的第5節有講如何標定噪聲參數)， 就可以用作者的方法求得最佳的拍攝方式組合，從而得到最佳的暗區信噪比。我們再次來看看作者的結果：
下圖中，基礎曝光組合採用了ISO100，曝光時間1/200s， 1/400s以及1/800s三幀圖像融合。你可以觀察到結果在暗區有比較明顯的噪聲，測試信噪比經過計算只有5.9dB。而作者採用了優化後的組合，即ISO6400兩張，分別對應1/125s和1/1600s，再加ISO800一張，對應1/6400s，做到了在最短的拍攝時間內得到了大幅度提升的暗區信噪比，同樣的測試區域有16.2dB, 肉眼上觀察也非常接近理想結果！
由於作者的優化目標是暗區信噪比，在亮區作者也說明其方法的信噪比不如基礎曝光組合，但由於亮區的信噪比已經超過了人類的感知閾值，所以肉眼觀察上去並沒有那麼明顯的差異。下圖進一步說明了結果，紅色線代表基礎曝光組合，綠色線是作者的優化方法的結果，黑色是理想結果。可見在圖像暗區，作者的優化結果更加接近理想圖像的效果。隨着圖像亮度變亮，高ISO導致部分像素飽和，此方法的SNR慢慢開始差於基礎曝光組合，當然根據作者的說法，亮區的這種差別肉眼上觀察並不明顯。
總結起來，今天的文章延續我上一篇文章60. 數碼相機成像時的噪聲模型與標定，用一種基於噪聲模型優化的HDR融合方法來展示了噪聲模型的應用。這種方法指出HDR生成算法本質上是一種多幀融合去噪算法，而以前的方法並沒有基於噪聲模型精確的進行信噪比的優化。該方法很好的提升了暗區的信噪比，但亮區的信噪比卻不如基礎的HDR算法——這給了我一個靈感：也許我們每一次進行HDR拍攝時，通過組合不同的曝光時間和ISO值進行融合，在圖像的暗區採用上文作者的結果，而亮區採用基礎曝光組合的結果，兩部分拼起來，就能得到各方面都最優的結果呢？這是完全值得一試的方案！
參考資料：
CMU 2020 Fall Computational Photography Course 15-463, Lecture 7
Hasinoff et al., “Noise-Optimal Capture for High Dynamic Range Photography,” CVPR 2010.
Hasinoff, “Fundamentals of Computational Photography: Sensors and Noise,” ICCP 2010 tutorial
個人微信（如果沒有備註不拉羣！）
請註明：
地區+學校/企業+研究方向+暱稱
![]()
下載1：何愷明頂會分享
在「AI算法與圖像處理」公衆號後臺回覆：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經典工作的總結分析
下載2：終身受益的編程指南：Google編程風格指南
在「AI算法與圖像處理」公衆號後臺回覆：c++，即可下載。歷經十年考驗，最權威的編程規範！
下載3 CVPR2021
在「AI算法與圖像處理」公衆號後臺回覆：
CVPR
，即可下載1467篇CVPR 2020論文 和 CVPR 2021 最新論文
本文分享自微信公衆號 - AI算法與圖像處理（AI_study）。
如有侵權，請聯繫 [email protected] 刪除。
本文參與“OSC源創計劃”，歡迎正在閱讀的你也加入，一起分享。