2.1.2 Capturing HDR Videos（Advanced High Dynamic Range Imaging ）
目錄
2.1.2 Capturing HDR Videos（Advanced High Dynamic Range Imaging ）
HDR的普及已推動了從靜止圖像到視頻內容的轉變。 最初的HDR視頻是使用靜止圖像和定格或延時攝影等技術捕獲的。 在受控條件下，這些方法可能會提供高質量的結果，並具有明顯的限制，如定格和延時。 因此，該方法不太適合實際情況。 捕獲HDR視頻的最新方法和技術是基於多傳感器系統，空間變化的曝光，多視圖系統，時間變化的曝光和本機傳感器。
多傳感器系統。 Aggarwal和Ahuja [10]提出了第一個系統，其中使用一個或多個分束器將光路分成幾個傳感器。 參見圖2.8（a）。 這使得可以同時捕獲兩個或更多曝光圖像，而不會在高分辨率和幀頻下出現重影或未對準。 要構建這樣的系統[86,367]，需要進行仔細的光學對準，相機校準和傳感器同步。 但是，仍然可能存在小的子像素未對準。
圖2.8。 HDR視頻採集系統：（a）分束器設置圖； 同一臺攝像機中的三個LDR傳感器具有不同的曝光時間，以捕獲場景的大部分動態範圍。 （b）多視圖設置圖； 攝像機既可以如圖所示的線性設置，也可以網格設置。 每個相機的曝光時間不同。
一種解決方案是使用健壯的方法進行重建[206]，該方法考慮了去拜耳，去噪，子圖像對齊以及將HDR合併爲一個解決方案。
圖2.9.空間變化曝光時間拜耳圖案圖像的示例。 以全分辨率觀看圖像時，此圖案不可見，看起來像色調映射圖像。 繞着黛米約翰（紅色框）的脖子縮放會顯示出圖案，該圖案顯示了曝光時間隨每個像素而變化。
空間變化的曝光。 Nayar等。 [283,284]提出在空間上改變曝光，類似於在拜耳模式中用彩色濾光片進行曝光。 參見圖2.9。 這樣，由於所有曝光時間都被同時捕獲，因此無需處理未對準問題。 但是，犧牲了動態範圍的空間分辨率，並且需要高質量的重建複雜的算法。
研究人員還探索了不同的模式，例如行變化曝光[91,157]和非規則模式[11]。 在這一類別中，Nayar和Branzoi [282]開發了另一種方法，即自適應動態範圍相機，其中將液晶光調製器放置在相機的前面。 該調製器可調整圖像檢測器上每個像素的曝光，從而可以捕獲具有很大動態範圍的場景。
多視圖系統。 使用具有多個攝像頭的系統來捕獲HDR內容[71,278,386,419]提供了一種解決方案，該解決方案不需要昂貴的亞微米傳感器對準[367]，並且它允許通過深度信息或視場同時捕獲不同的曝光。 太; 參見圖2.8（b）。 但是，遮擋和鏡面反射在一個視圖之間到另一個視圖之間都可能有很大差異，因此需要謹慎處理。 當基線較寬時，這些問題會更加嚴重。 這種設置也可能很昂貴，因爲需要更多的攝像頭，並且必須實現一個精確的同步系統來避免細微的時間重影。
圖2.10。 使用具有分束器[137]的多視圖系統進行HDR視頻捕獲的示例：（a）僞彩色幀。 （b）以（a）色調映射的幀。 （原始的HDR視頻由JanFr¨ohlich提供。）
在此類別和多傳感器系統之間的混合解決方案[137]是使用多臺攝像機，並使用分束器（即半透明鏡）在攝像機鏡頭前分開光路； 參見圖2.10。 該解決方案解決了多視圖系統的遮擋和鏡面反射問題，但由於在長焦距下透明鏡的兩次反射，可能會產生重影僞影。 在這種情況下，由於這些僞影，必須將中性密度濾鏡放置在相機鏡頭的前面。
暫時變化的曝光量。 Kang等。 [188]首先擴展了用於視頻的多重曝光方法。在此係統中，攝像機每幀在時間上會改變其曝光時間或ISO；請參見圖2.11。第一步，使用運動估計和分層單應性將兩個相鄰幀對齊。然後將它們變形，並使用等式（2.3）的修改版本合併在一起。該方法可產生高質量的結果，但無法處理快速運動，非剛性運動和明顯的遮擋。此外，重影僞影是該技術的主要缺點。研究人員提出了幾種方法[375]來使用運動估計[238]，全局對齊[12,84]和擴展面片合成[187]解決此問題。最近，Gryaditskaya等。 [155]表明，重影僞影比動態範圍的損失更令人困擾。因此，他們基於前兩個幀的直方圖提出了一種新穎的測光算法，以最小化採集過程中的此類僞像。
圖2.11。 時間變化的快門速度視頻的幀的示例：（a）第i幀（短曝光時間）。 （b）i+ 1-th（長時間曝光）。 （c）在時間i [12]進行色調映射的重建HDR幀。 （原始視頻由Tomasz Sergej提供。）
本機傳感器。 多重曝光技術的替代方法是使用可以自然捕獲HDR值的傳感器[376]。 近年來，幾家公司推出了在線性/對數域中記錄到10/12/14位通道的傳感器。 相對低成本的傳感器/相機系統現在已經投放市場，它們通常用於安全性和自動化。 主要製造商是：賽普拉斯半導體[99]，歐姆龍[291]，PTGrey [313]等。然後，出現了帶有面向娛樂和電影的本機傳感器的高質量相機，它們提供了更高的分辨率（例如4K或更高）。 並降低噪音水平。 Arri Alexa 65 [20]和Sony F65 [350]是此類相機的兩個示例。
Thinking outside the box。 到目前爲止，所有可見方法均用於測量光強度的常規相機傳感器（可以是線性或對數）。 Tumblin等。 [371]提出了一種用於測量每個像素的梯度而不是強度的攝像機設計，該攝像機設計顯示瞭如何解決飽和度問題並允許捕獲HDR內容。 但是，最終的HDR圖像需要使用Poisson求解器[129]進行重建，這在計算上可能會非常昂貴。 而且，這可能需要對現有的傳感器設計進行實質性的改變，這對於照相機製造商可能是成問題的。
趙等。 [435]介紹了一種基於類似於電磁波相位包裹的概念來捕獲HDR內容的新穎設計。 當傳感器像素飽和時，即在n位達到最大值時，將2n模應用於該值； 用無限位模擬攝像機。 爲了簡化設計，不存儲模數的應用次數。 在重建過程中造成不適的問題。 然而，可以通過利用圖形切口將能量函數最小化來利用圖像中產生的條紋來恢復原始像素值[75]。
2.1.3市場化相機
HDR相機。 最近，照相機製造商（例如，佳能，尼康，索尼，西格瑪等）引入了獲取14位RAW內容的可能性，從而增加了一次拍攝中捕獲的動態範圍。 智能手機和平板電腦製造商（例如Apple，三星，LG，華爲等）已經引入了一些HDR捕獲功能，例如自動包圍曝光和/或自動曝光合並。 這些功能也包含在獨立相機中。 但是，在智能手機/平板電腦的情況下，動態範圍受到限制，即，此類設備通常只能捕獲1-2個額外的圖像； 參見圖2.12，最終圖像存儲爲色調映射的LDR圖像。
圖2.12。 使用智能手機（Apple iPhone SE）捕獲HDR圖像的示例：（a）禁用HDR捕獲的圖像。 （b）在捕獲期間啓用了HDR的（a）中的相同圖像； 請注意，天空細節和顏色已完全獲取。
HDR攝像機。 許多公司已經爲娛樂業提出了高質量的解決方案。 它們是Thomson Viper相機[149]，Arri Alexa相機[20]，Sony F65 [350]，Red Epic相機[320]，Phantom HD相機[395]和Genesis by Panavision [296]。 從全高清（1920×1080）到8K分辨率（7680×4320），所有這些攝像機都具有高幀頻，低噪聲，以及超過18個f級光圈。 但是，它們非常昂貴，並不適合消費市場。 Karr等人給出了對許多用於成像火箭發射的消費相機的動態範圍進行評估的概述。 [190]。
全景相機。 少數公司提供基於自動多重曝光捕獲的360全景HDR攝像機，這些攝像機可以創建輻射圖或色調映射圖像。 表2.1顯示了此類攝像機的示例。
表2.1。 市售HDR球形攝像機的摘要。 注意：上標⋆是指單遍的數據，其中需要三遍才能獲得HDR圖像。 上標+表示相機在不同的曝光時間拍攝15張照片。
這些特殊相機的開發主要是由於必須快速捕獲HDR圖像以用於基於圖像的照明（請參閱第7章），該圖像已廣泛用於視覺效果，計算機圖形，汽車設計和產品廣告。 近來，全景相機受到越來越多的關注，因爲它們可以在虛擬現實應用中使用。 這激發了許多以合理價格（通常低於500美元）出售的消費者全景相機（例如理光Theta，三星Gear 360和Kodak PixPro等）的發展。 儘管它們通常無法本地捕獲HDR圖像，但仍有一些智能手機/平板電腦應用程序允許用戶隨後對其進行計算。
2.1.4 HDR的合成
計算機圖形渲染方法是生成HDR內容的另一種常用方法。 通常，這可以通過照相方法來增強。 數字圖像合成是從虛擬場景渲染圖像的過程，這些場景由正式定義的幾何對象，材料和照明組成，所有這些都是從虛擬相機的角度捕獲的。 通常使用兩種主要算法進行渲染：光線跟蹤和光柵化。
圖2.13。 最先進的渲染示例：（a）光線跟蹤。 對於圖像中的每個像素，主光線通過相機射入場景。 一旦擊中圖元，就會評估擊中點的照明。 這是通過拍攝更多的光線來實現的。 例如，在評估照明時會射向光線。 對於漫反射和鏡面反射，重複類似的過程。 （b）Piero Banterle使用NextLimit Technologies的Maxwell Render [286]繪製的光線追蹤圖像。
射線追蹤。射線追蹤[417]通過計算光子組（稱爲射線）與幾何之間的相互作用來模擬光的幾何特性。這種技術可以複製複雜的視覺效果。從虛擬相機拍攝光線並遍歷場景，直到擊中最近的物體爲止。參見圖2.13（a）。此處，對象在該點的材料屬性用於計算照度，並向任何光源發射光線以說明陰影可見性。交點處的材料特性進一步決定了需要在哪個方向上反射/透射光線。該過程是遞歸計算的。由於其遞歸特性，光線跟蹤和基本算法的擴展（例如路徑跟蹤和分佈式射線跟蹤）自然適合求解表示環境中光傳輸的渲染方程[186]。因此，光線跟蹤方法可以以直接的方式模擬諸如陰影，反射，折射，間接照明，地下散射，焦散，運動模糊，間接照明等效果。儘管光線跟蹤在計算上很昂貴，但是最近的算法和硬件進步使以動態場景的交互速率進行計算成爲可能[54,300]。
柵格化。光柵化[13]使用的方法不同於光線跟蹤進行渲染。主要概念是將場景中的每個圖元投影到屏幕（幀緩衝區）上，然後將其離散化爲片段，然後將其柵格化爲最終圖像。當投影和離散圖元時，必須解決可見性以具有正確的可視化效果並避免對象之間的錯誤重疊。爲此，通常使用Z型緩衝器[85]。 Z緩衝區通常是與幀緩衝區大小相同的圖像，該緩衝區存儲以前求解的片段的深度值。對於位置x處的每個片段，將其深度值F（x）z與Z緩衝區Z（x）z中存儲的片段進行測試。如果F（x）z <Z（x）z，則將新片段寫入幀緩衝區，並將F（x）z放置在Z緩衝區中。深度測試後，評估所有碎片的照明。但是，此過程無法自然地處理陰影，反射，折射和相互反射，因爲不會拍攝射線。通常通過從不同位置渲染場景來模擬這些效果。例如，可以通過從光源位置計算Z軸並在着色期間應用深度測試來確定該點是否在陰影中，從而模擬陰影。這種方法稱爲陰影映射[420]。柵格化的主要優點是當前的圖形硬件支持它，從而在繪製圖元方面具有很高的性能。之所以能夠實現這種性能，是因爲它可以直接並行化柵格化：片段是連貫且獨立的，並且數據結構易於更新。但是，基於物理的光傳輸效果（即陰影，反射/折射等）的仿真不如光線跟蹤精確，並且在許多情況下存在偏差。
2.1.5 LDR內容的增強和擴大
HDR顯示器的出現將HDR研究的重點放在擴展數十年來的傳統LDR內容上，以利用這些新顯示器。 擴展方法嘗試爲LDR內容重新創建丟失的內容，對於LDR內容，HDR信息已被夾緊或嚴重壓縮。 已經提出了許多擴展LDR內容的方法。 第6章全面介紹了這些方法。 在某些情況下，可以使用同一場景的HDR參考照片來增強LDR內容。 這可以通過使用與照相機爲靜態時的色鍵相似的技術[46]來實現，或者通過使用運動的照相機[61]爲靜態場景開發動態結構來實現。