目錄
2、HDR管道
HDR成像是成像領域的一場革命，使人們能夠使用和操縱物理上真實的光值。 本章介紹了HDR成像的主要過程，可以將其最好地稱爲管道，稱爲HDR管道。 圖2.1說明了HDR管道的不同階段。
圖2.1。 HDR管道處於所有階段。 捕獲並組合多個曝光圖像，以獲得HDR圖像。 然後，對該圖像進行量化，壓縮和存儲。 可以對圖像進行進一步處理。 例如，可以提取高亮度區域並將其用於重新照明合成對象。 最後，可以使用本機HDR監視器或傳統LDR顯示器可視化HDR圖像或色調映射的HDR圖像。
第一階段涉及HDR內容的生成。 HDR內容可以通過多種方式捕獲，儘管直到最近硬件技術的侷限性才意味着HDR內容捕獲通常需要軟件的幫助。 第2.1節概述了生成HDR圖像的不同方法。 這些包括使用計算機圖形從一系列靜止LDR圖像生成的圖像，以及通過單次曝光圖像的擴展生成的圖像。 本節還介紹了令人激動的新硬件，它們可以實現本機HDR捕獲。
由於HDR值的明確性質，HDR內容可能比其LDR對應內容大得多。 爲了使HDR易於管理，必須使用有效的存儲方法。 在第2.2節中，介紹了HDR文件格式。 壓縮方法也可以在此階段應用。 第8章詳細討論了它們。
最後，可以使用多種新的顯示技術對HDR內容進行本地可視化。 第2.3節介紹了主要的本機HDR顯示。 這樣的顯示器已經可供消費者使用。 但是，可以嘗試使用軟件解決方案來使HDR內容適應LDR顯示器上顯示的內容，同時嘗試保持HDR觀看體驗。 這樣的軟件解決方案採用將HDR圖像的亮度範圍轉換爲LDR顯示器的亮度範圍的形式。 這些運算符稱爲色調映射（TMO），並且存在多種色調映射。 第三章詳細介紹了色調映射。
2.1 HDR內容的獲取
本書介紹了四種生成HDR內容的方法。 直到最近，最廣泛使用的第一個方法是通過使用軟件技術結合不同曝光下的許多LDR捕獲來生成HDR內容。 第二個已經變得更加可行，它是使用專用硬件直接捕獲HDR圖像。 在娛樂行業中流行的第三種方法是使用基於物理的渲染器從虛擬環境中創建HDR內容。 最終方法是使用軟件擴展LDR內容或參考HDR圖像的動態範圍，從包含單次曝光捕獲的舊內容中生成HDR內容。
2.1.1結合多次曝光獲取HDR圖像
在撰寫本文時，可用的家用相機和攝像機受到限制，因爲它們只能捕獲RAW格式的8位圖像或14位圖像。 在現實世界中的大多數環境中，這並不涵蓋輻照度值的完整動態範圍。
圖2.2。 用於生成Dorsoduro HDR圖像的HDR捕獲示例。 曝光時間不同的圖像：（a）1/500秒。 （b）1/125秒 （c）1/30秒 通過組合（a），（b）和（c）獲得HDR圖像。 （d）所獲得的HDR圖像的亮度通道的假色渲染。
捕獲HDR圖像最常用的方法是在不同的曝光時間獲取同一場景的多張照片，以捕獲從最暗到最亮區域的所有細節。 參見圖2.2。 這組圖像通常稱爲曝光堆棧。 如果相機具有線性響應，則可以通過組合不同曝光時間下的所有記錄值來恢復每個像素位置x的輻照度E。
其中Ii是第i次曝光時記錄圖像線性傳感器的值，∆ti是Ii的曝光時間，Ne是不同曝光時的圖像數。 w（Ii（x））是一種加權函數，可消除異常值：其中一次曝光的高值將比低值少噪點； 另一方面，高值可能會飽和。 通常，中間值更可靠。 圖2.3顯示了w函數的一些示例。 圖2.2（d）顯示了使用公式（2.1）的恢復輻照度圖的示例。 請注意，公式（2.1）計算的是傳感器的輻照度，而不是場景的輻照度。 通常，L與E成正比。儘管現代鏡頭在設計上試圖保持恆定的映射，但是傳感器的某些區域可能會呈現不同的映射。 [172]提供了一種糾正此問題的方法：
α測量像素的角度從透鏡的光軸,d是鏡頭和圖像平面之間的距離,和R是透鏡的半徑。
圖2.3。 加權不同曝光的不同w函數：Debevec和Malik [111]以及Robertson等人分別提出了DM（藍色）和R（黃色）。 [331]使用中心值，該值被認爲更可靠。 Mitsunaga和Nayar [271]提出了MN（紅色），以最大化SNR和對傳感器輻射變化的靈敏度。 注意，G是一個高斯函數，其中µ = 0.5和σ= 1 /√32進行了移位和歸一化。
儘管某些製造商可能會提供以RAW格式捕獲內容（以線性方式存儲值）的可能性，但膠片和數碼相機通常不具有線性響應，而是具有更通用的功能f，稱爲相機響應功能（CRF）； 見圖2.4。
圖2.4。 使用兩種不同的方法估算佳能550D的逆CRF的示例：（a）Debevec和Malik的方法[111]。 （b）Mitsunaga和Nayar的方法[271]。
CRF試圖儘可能多地將現實世界的動態範圍壓縮到有限的8/10位存儲或膠片介質中。因此，需要更新式(2.1)來考慮這一特性:
其中f-1是逆CRF，這是我們感興趣的估計；見圖2.4。 注意，由於數值精度誤差，公式（2.3）會產生非常明亮的孤立像素，即椒鹽噪聲。 爲了減少這些像素，需要在對數域[111]中計算公式（2.3），或者需要減少包含非常嘈雜像素的非常暗曝光的影響[332]。 在第一種情況下，公式（2.3）變爲：
降低公式(2.3)中暗像素影響的一種直接方法是將w按∆t2 i進行縮放，即， w在低曝光時間下的影響較小，得到:
這稱爲平方域合併。 注意，可以基於過濾[16]或捕獲圖像的最佳子集[164]以使SNR最大化來採用更復雜的方法。
list2.1顯示了用於將不同曝光時間的多個LDR圖像組合爲單個HDR圖像的MATLAB代碼。 完整的代碼在BuildHDR.m文件中給出。 處理完輸入參數後，主要功能使用堆棧中的功能RemoveCRF.m彙總每個線性化圖像的貢獻。 每個貢獻都使用功能WeightFunction.m加權，並且可以根據合併類型（輸入參數）在線性域，對數域或平方域中添加。
估算CRF。 Mann and Picard [239]提出了一種計算f的簡單方法，該方法包括擬合固定f（x）=axγ+ b的不同曝光下的像素值。 此參數函數f是有限的，不支持大多數實際CRF。
Debevec和Malik [111]提出了一種簡單而通用的恢復CRF的方法。 爲了清楚起見，將針對灰度通道圖像介紹此方法和其他方法。 對於彩色圖像，需要將該方法應用於每個彩色通道。 通過將CRF應用於通過曝光時間縮放的輻照度，可以得出圖像中像素的值：
重新排列各項，對等式兩邊同時應用一個對數，就變成:
假設f是一個平滑且單調增加的函數，可以使用不同曝光圖像中的像素作爲公式，通過最小化從公式（2.6）得出的最小平方誤差來計算f和E
其中g = f-1是CRF的倒數，M是最小化中使用的像素數，Tmax和Tmin分別是所有圖像Ii中的最大和最小整數值。 公式（2.7）的第二部分是用於消除噪聲的平滑項，其中函數w定義爲
Mitsunaga和Nayar[271]提出了f−1的多項式表示，可以定義爲：
此時，標定過程可簡化爲多項式階數P和係數cj的估計。對於一個有兩個不同曝光時間∆t1和∆t2的場景，取兩張圖像，比值R可表示爲
成像系統產生的亮度測量值Ii（x）通過響應函數Ii（x）= f（E（xΔti））與時間間隔Δti中的場景輻射L（x）∝ E（x）相關 。 由此，Ii（x）可以重寫爲E（xΔti）= g（Ii（x）），其中g = f-1。 由於成像系統的響應函數與曝光比有關，因此公式（2.8）可以重寫爲：
282/5000
其中圖像的排序方式爲∆t1 <∆t2，因此R∈（0,1）。 滿足公式（2.9）的f -R對的數量是無限的。 通過使用多項式模型可以減輕這種歧義。 可以通過將誤差函數表示爲來恢復響應函數
可以將所有測量標準化，以使Ii（x）在[0,1]中。 如果不確定的標度可以固定爲f（1）= Imax，則可以引入附加約束，其遵循
。 CRF的係數通過求解線性系統設置來確定：
在分析了現實相機中的201個CRF之後，Grossberg和Nayar [153]注意到，現實CRF佔據了所有可能CRF理論空間的一小部分。 因此，他們提出了基於基函數的逆CRF模型：
其中{h1，...，hP}是基函數，通過對201個實際CRF的主成分分析（PCA）計算得出，{c1，...，cP}是模型的係數，並且 h0是平均逆CRF。 使用類似於方程式（2.10）的誤差函數計算模型的ck係數。
Robertson等人提出了一種不同的方法。 [331,332]。 他們的方法通過使用最大似然法估計未知的逆響應函數以及輻照度E（x），其中要最小化的目標函數爲：
其中w爲高斯函數，表示用於捕獲圖像的成像系統中的噪聲。
使用哪種逆CRF估算方法？ 在從不同曝光量的LDR圖像堆棧中恢復逆CRF的所有不同方法中，可能很難確定哪種方法最適合使用。 Akyu¨z和Gen¸ctav[294]研究了此問題，他們的總體建議是：Debevec和Malik算法[271]和Mitusnaga和Nayar對噪聲最魯棒，Grossberg和Nayar方法[153]最精確， Mitsunaga和Nayar [271]是最一致的。 關於準確性，沒有特別的贏家。 這項工作的另一個重要結果是，在恢復逆CRF時，太暗或太亮的場景都不適合。
顏色。 注意，所提出的用於恢復逆CRF的所有方法可以擴展到針對每種色帶分別應用每種方法的彩色圖像。 這是因爲理論上每種顏色反轉CRF可以彼此獨立。 但是，當計算三個不同的歸一化CRF時，相對比例是未知的。 一種簡單但有效的方法來確定這些縮放比例，k = [kR，kG，kB]（在RGB的情況下）是通過最小化過程來保留場景點的色度[271]：
其中⊙是元素的乘積，Z是顏色值，通常將其設置爲[0.5,0.5,0.5]以將中間灰色映射爲R，G和B的相等輻射值[111]。
在合併期間處理異常值。 當未獲得所有所需的曝光時，曝光疊堆可能具有曝光過度的像素（即，接近1的值（假設[0,1]中的標準化值））和曝光不足的像素（即，接近0的值）。 在這些情況下，歸一化項。
在方程（2.1）的所有不同變化中，都可能導致奇異。 一種解決方案是將該值鉗制爲一個小值ǫ> 0，即，N = max（N，ǫ）。 但是，這可能會有偏差。 在像素過度曝光的情況下，可能的解決方案是確定堆棧中曝光時間最短的第k次曝光，並將E計算爲：
清單2.2。MATLAB代碼:處理組裝後的HDR圖像中的飽和值。
清單2.2顯示了在不同曝光時間合併LDR圖像時用於消除奇點的MATLAB代碼。 完整的代碼在BuildHDR.m文件中給出。 如果totWeight小於給定的閾值（較小的正值），則可能存在奇異之處。 在這種情況下，從最短曝光img sat除以其曝光時間，堆疊曝光（i sat），將掩模中所有受影響的像素都移除並替換爲線性像素。
圖2.5。 爲CRF估算抽取樣本的不同策略：（a）空間抽樣； 在空間位置之後，計算x（例如常規採樣，隨機採樣等），然後通過在x的不同曝光時間收集LDR圖像值來繪製樣品。 （b）直方圖採樣； 通過收集給定百分位數（可以是規則的，隨機的等）的水平線（虛線）與LDR圖像直方圖的CDF之間的交點的歸一化圖像值來繪製樣本。
如何選擇M。如果所有像素都用於計算逆CRF，這將導致計算速度相對較慢。此外，在解決優化過程時，使用大量數據可能會導致數值不穩定。引入的第一個解決方案之一是對規則或不規則進行二次採樣。參見圖2.5（a）。然而，這種方法是次優的，因爲可能會錯過重要的樣本或採樣區域，並且除非採用了特徵匹配，否則堆棧中的所有圖像都需要完全對齊[226]。 Grossberg和Nayar [152]提出從堆棧中圖像的CDF直方圖中提取樣本。在不同的曝光時間，相應的相機傳感器的值處於相同的百分位值；參見圖2.5（b）。該解決方案對於緩和場景中的相機運動和人物/物體運動具有魯棒性。對於大運動，可以採用基於RANSAC的策略[35]，並使用秩最小化進行輻射度校準[221]，以避免過度擬合。
校準。 相機不是測量設備，它們是用來拍攝受光祝福的生活的。 因此，就cd / m2或匹配實際顏色而言，相機值不是絕對的。 估算絕對亮度值的一種簡單方法是計算第i個鏡頭的平均場景亮度L爲：
其中Ai是它的相對光圈（f值），∆t是它的曝光時間（秒），Si是它的ISO算術速度，而K是一個取決於相機的校準常數，在10.6和13.4之間變化[133]。 根據公式（2.12），可以計算要使用的第i張圖像而不是Δti的曝光值ei。
一個更準確的過程是測量場景的一些區域，以使用亮度計進行捕獲。 但是，該設備非常昂貴，對於室外場景，通過利用天空模型以及場景的已知日期和位置也可以實現令人滿意的結果[156]。 關於相機的顏色，可以使用色卡和光譜儀對它們進行預先校準，以測量色卡中的色塊。 此過程稱爲比色表徵[143,193]。 根據這些測量值和來自相機的相應值，可通過最小二乘優化計算出一個3×3的矩陣M。 該矩陣將顏色從相機的未知RGB顏色空間轉換爲XY Z或已知顏色空間。 Varghese等。 [390]提煉了以前的工作，並提出了詳細而嚴格的顏色校準方法。
多少張圖像（Ne）？ 捕獲HDR場景所需的最少圖像數量爲2 [111]。 但是，此數字強烈取決於場景，即HDR值在其中的分佈方式。 從最長到最短的曝光時間（反之亦然），將快門時間減半（或加倍）（基本上是一個均勻的採樣）的幼稚方法並不是最佳方法。 實際上，它可以產生次優SNR的圖像[88,147]。 加洛等。 [138]提出了第一種通用的方法來獲取最佳圖像數量的信噪比和場景輻照度分佈。 他們的技術利用了取景器預覽中的免費計算直方圖，該方法已在大多數相機或移動設備中實現。 通過收集所有曝光時間的直方圖，可以估算HDR場景直方圖的CDF。 根據該模型和相機噪聲模型，可以計算要爲每個圖像設置的最小Ne和快門時間。
圖像對齊和重影。 通過在不同的曝光時間組合多個LDR圖像來捕獲HDR圖像時，理想的情況是使用固定的攝像機（即，在三腳架上）和靜態場景（即，人/物/照明不動）。 這些理想條件發生在受控環境中，例如實驗室，攝影器材等。
在現實世界中，這種理想條件很難實現。如果從一組LDR圖像合併了HDR圖像，在該LDR圖像中攝像機或人/物體在幀之間移動，這將在其中出現僞像。通常，由於攝像機移動而產生的僞像被稱爲未對準（創建模糊的邊緣），請參見圖2.6（a）（綠色框），由於人/物體移動而引起的僞像被稱爲“鬼影”（因爲它們在民俗/神話），請參見圖2.6（a）（紅色框）。已經提出了幾種用於對準圖像，去除重影或同時解決兩個問題的算法。 Tursun等。 [375]提出了對最新技術的廣泛詳盡的審查，這些技術用於對齊圖像並在捕獲HDR內容時消除重影。這些方法可以基於不同的圖像處理和計算機視覺算法[361]，例如通過特徵檢測的單應性對準，光學流方法，基於斑塊合成的方法，基於馬爾可夫隨機場的方法等。在所有這些方法中，斑塊在撰寫本文時，基於合成的方法是最先進的方法[174,175,343]。這些方法背後的概念是通過使能量項最小化來從曝光堆棧中的圖像合成圖像，以使它們應接近堆棧中的參考圖像（輸入堆棧中最佳曝光良好的圖像）。這些方法使用PatchMatch方法[53,160]來加速最近的鄰居查詢。儘管即使對於運動較大的複雜場景，它們也可以產生高質量的結果（見圖2.6（b）），但它們的計算量很大
圖2.6。 由於場景和攝像機移動而導致的僞影示例：（a）HDR重建中的色調映射圖像，沒有處理場景（紅色框）和攝像機（綠色框）移動。 （b）放大（a）中的紅色和綠色框。 （c）來自HDR重建的色調映射圖像，在輸入中具有與（a）相同的曝光量，並使用一種用於移除相機和場景運動的方法[175]。 （d）縮放（c）中的紅色和綠色框。 請注意，圖像更清晰（綠色框），沒有重影（紅色框）。
例如，在1百萬像素分辨率下合併7張圖像的曝光堆棧需要大約3分鐘[343]。
遮住眩光。眩光是一種降低可見度的現象，因爲入射光和直射光會在人眼或相機光學系統中散射[256]。在獲取HDR內容時，這會導致對比度下降；見圖2.7（a）。爲了獲得無眩光的HDR圖像（請參閱圖2.7（b）），Talvala等人。 [364]提出了一種新穎的捕獲技術，其中將遮罩放置在相機鏡頭的前面。該遮罩可阻擋圖像某些部分的眩光。爲了捕獲圖像的所有部分而不會產生眩光，請將蒙版移動到鏡頭前面的6×6網格上，然後再次在HDR中捕獲場景。最終圖像是通過合併所有這些圖像並在給定蒙版圖案的情況下除去估計的眩光而生成的。還提出了一種基於給定相機和鏡頭眩光特徵的反捲積方法。已證明這有兩個主要侷限性：主要眩光區域中的噪聲，並且眩光功能的形狀在像素座標處變化，因此很難正確測量。
圖2.7。(a)帶眩光的色調映射HDR圖像。(b)去除眩光後，色調映射HDR圖像在(a)中。
值得注意的是，眩光還可以利用交叉屏幕過濾器將場景的高光和明亮部分的HDR信息編碼到LDR圖像中[336]。HDR信息可以通過層析重建恢復。