2.1.2 Capturing HDR Videos（Advanced High Dynamic Range Imaging ）
目录
2.1.2 Capturing HDR Videos（Advanced High Dynamic Range Imaging ）
HDR的普及已推动了从静止图像到视频内容的转变。 最初的HDR视频是使用静止图像和定格或延时摄影等技术捕获的。 在受控条件下，这些方法可能会提供高质量的结果，并具有明显的限制，如定格和延时。 因此，该方法不太适合实际情况。 捕获HDR视频的最新方法和技术是基于多传感器系统，空间变化的曝光，多视图系统，时间变化的曝光和本机传感器。
多传感器系统。 Aggarwal和Ahuja [10]提出了第一个系统，其中使用一个或多个分束器将光路分成几个传感器。 参见图2.8（a）。 这使得可以同时捕获两个或更多曝光图像，而不会在高分辨率和帧频下出现重影或未对准。 要构建这样的系统[86,367]，需要进行仔细的光学对准，相机校准和传感器同步。 但是，仍然可能存在小的子像素未对准。
图2.8。 HDR视频采集系统：（a）分束器设置图； 同一台摄像机中的三个LDR传感器具有不同的曝光时间，以捕获场景的大部分动态范围。 （b）多视图设置图； 摄像机既可以如图所示的线性设置，也可以网格设置。 每个相机的曝光时间不同。
一种解决方案是使用健壮的方法进行重建[206]，该方法考虑了去拜耳，去噪，子图像对齐以及将HDR合并为一个解决方案。
图2.9.空间变化曝光时间拜耳图案图像的示例。 以全分辨率观看图像时，此图案不可见，看起来像色调映射图像。 绕着黛米约翰（红色框）的脖子缩放会显示出图案，该图案显示了曝光时间随每个像素而变化。
空间变化的曝光。 Nayar等。 [283,284]提出在空间上改变曝光，类似于在拜耳模式中用彩色滤光片进行曝光。 参见图2.9。 这样，由于所有曝光时间都被同时捕获，因此无需处理未对准问题。 但是，牺牲了动态范围的空间分辨率，并且需要高质量的重建复杂的算法。
研究人员还探索了不同的模式，例如行变化曝光[91,157]和非规则模式[11]。 在这一类别中，Nayar和Branzoi [282]开发了另一种方法，即自适应动态范围相机，其中将液晶光调制器放置在相机的前面。 该调制器可调整图像检测器上每个像素的曝光，从而可以捕获具有很大动态范围的场景。
多视图系统。 使用具有多个摄像头的系统来捕获HDR内容[71,278,386,419]提供了一种解决方案，该解决方案不需要昂贵的亚微米传感器对准[367]，并且它允许通过深度信息或视场同时捕获不同的曝光。 太; 参见图2.8（b）。 但是，遮挡和镜面反射在一个视图之间到另一个视图之间都可能有很大差异，因此需要谨慎处理。 当基线较宽时，这些问题会更加严重。 这种设置也可能很昂贵，因为需要更多的摄像头，并且必须实现一个精确的同步系统来避免细微的时间重影。
图2.10。 使用具有分束器[137]的多视图系统进行HDR视频捕获的示例：（a）伪彩色帧。 （b）以（a）色调映射的帧。 （原始的HDR视频由JanFr¨ohlich提供。）
在此类别和多传感器系统之间的混合解决方案[137]是使用多台摄像机，并使用分束器（即半透明镜）在摄像机镜头前分开光路； 参见图2.10。 该解决方案解决了多视图系统的遮挡和镜面反射问题，但由于在长焦距下透明镜的两次反射，可能会产生重影伪影。 在这种情况下，由于这些伪影，必须将中性密度滤镜放置在相机镜头的前面。
暂时变化的曝光量。 Kang等。 [188]首先扩展了用于视频的多重曝光方法。在此系统中，摄像机每帧在时间上会改变其曝光时间或ISO；请参见图2.11。第一步，使用运动估计和分层单应性将两个相邻帧对齐。然后将它们变形，并使用等式（2.3）的修改版本合并在一起。该方法可产生高质量的结果，但无法处理快速运动，非刚性运动和明显的遮挡。此外，重影伪影是该技术的主要缺点。研究人员提出了几种方法[375]来使用运动估计[238]，全局对齐[12,84]和扩展面片合成[187]解决此问题。最近，Gryaditskaya等。 [155]表明，重影伪影比动态范围的损失更令人困扰。因此，他们基于前两个帧的直方图提出了一种新颖的测光算法，以最小化采集过程中的此类伪像。
图2.11。 时间变化的快门速度视频的帧的示例：（a）第i帧（短曝光时间）。 （b）i+ 1-th（长时间曝光）。 （c）在时间i [12]进行色调映射的重建HDR帧。 （原始视频由Tomasz Sergej提供。）
本机传感器。 多重曝光技术的替代方法是使用可以自然捕获HDR值的传感器[376]。 近年来，几家公司推出了在线性/对数域中记录到10/12/14位通道的传感器。 相对低成本的传感器/相机系统现在已经投放市场，它们通常用于安全性和自动化。 主要制造商是：赛普拉斯半导体[99]，欧姆龙[291]，PTGrey [313]等。然后，出现了带有面向娱乐和电影的本机传感器的高质量相机，它们提供了更高的分辨率（例如4K或更高）。 并降低噪音水平。 Arri Alexa 65 [20]和Sony F65 [350]是此类相机的两个示例。
Thinking outside the box。 到目前为止，所有可见方法均用于测量光强度的常规相机传感器（可以是线性或对数）。 Tumblin等。 [371]提出了一种用于测量每个像素的梯度而不是强度的摄像机设计，该摄像机设计显示了如何解决饱和度问题并允许捕获HDR内容。 但是，最终的HDR图像需要使用Poisson求解器[129]进行重建，这在计算上可能会非常昂贵。 而且，这可能需要对现有的传感器设计进行实质性的改变，这对于照相机制造商可能是成问题的。
赵等。 [435]介绍了一种基于类似于电磁波相位包裹的概念来捕获HDR内容的新颖设计。 当传感器像素饱和时，即在n位达到最大值时，将2n模应用于该值； 用无限位模拟摄像机。 为了简化设计，不存储模数的应用次数。 在重建过程中造成不适的问题。 然而，可以通过利用图形切口将能量函数最小化来利用图像中产生的条纹来恢复原始像素值[75]。
2.1.3市场化相机
HDR相机。 最近，照相机制造商（例如，佳能，尼康，索尼，西格玛等）引入了获取14位RAW内容的可能性，从而增加了一次拍摄中捕获的动态范围。 智能手机和平板电脑制造商（例如Apple，三星，LG，华为等）已经引入了一些HDR捕获功能，例如自动包围曝光和/或自动曝光合并。 这些功能也包含在独立相机中。 但是，在智能手机/平板电脑的情况下，动态范围受到限制，即，此类设备通常只能捕获1-2个额外的图像； 参见图2.12，最终图像存储为色调映射的LDR图像。
图2.12。 使用智能手机（Apple iPhone SE）捕获HDR图像的示例：（a）禁用HDR捕获的图像。 （b）在捕获期间启用了HDR的（a）中的相同图像； 请注意，天空细节和颜色已完全获取。
HDR摄像机。 许多公司已经为娱乐业提出了高质量的解决方案。 它们是Thomson Viper相机[149]，Arri Alexa相机[20]，Sony F65 [350]，Red Epic相机[320]，Phantom HD相机[395]和Genesis by Panavision [296]。 从全高清（1920×1080）到8K分辨率（7680×4320），所有这些摄像机都具有高帧频，低噪声，以及超过18个f级光圈。 但是，它们非常昂贵，并不适合消费市场。 Karr等人给出了对许多用于成像火箭发射的消费相机的动态范围进行评估的概述。 [190]。
全景相机。 少数公司提供基于自动多重曝光捕获的360全景HDR摄像机，这些摄像机可以创建辐射图或色调映射图像。 表2.1显示了此类摄像机的示例。
表2.1。 市售HDR球形摄像机的摘要。 注意：上标⋆是指单遍的数据，其中需要三遍才能获得HDR图像。 上标+表示相机在不同的曝光时间拍摄15张照片。
这些特殊相机的开发主要是由于必须快速捕获HDR图像以用于基于图像的照明（请参阅第7章），该图像已广泛用于视觉效果，计算机图形，汽车设计和产品广告。 近来，全景相机受到越来越多的关注，因为它们可以在虚拟现实应用中使用。 这激发了许多以合理价格（通常低于500美元）出售的消费者全景相机（例如理光Theta，三星Gear 360和Kodak PixPro等）的发展。 尽管它们通常无法本地捕获HDR图像，但仍有一些智能手机/平板电脑应用程序允许用户随后对其进行计算。
2.1.4 HDR的合成
计算机图形渲染方法是生成HDR内容的另一种常用方法。 通常，这可以通过照相方法来增强。 数字图像合成是从虚拟场景渲染图像的过程，这些场景由正式定义的几何对象，材料和照明组成，所有这些都是从虚拟相机的角度捕获的。 通常使用两种主要算法进行渲染：光线跟踪和光栅化。
图2.13。 最先进的渲染示例：（a）光线跟踪。 对于图像中的每个像素，主光线通过相机射入场景。 一旦击中图元，就会评估击中点的照明。 这是通过拍摄更多的光线来实现的。 例如，在评估照明时会射向光线。 对于漫反射和镜面反射，重复类似的过程。 （b）Piero Banterle使用NextLimit Technologies的Maxwell Render [286]绘制的光线追踪图像。
射线追踪。射线追踪[417]通过计算光子组（称为射线）与几何之间的相互作用来模拟光的几何特性。这种技术可以复制复杂的视觉效果。从虚拟相机拍摄光线并遍历场景，直到击中最近的物体为止。参见图2.13（a）。此处，对象在该点的材料属性用于计算照度，并向任何光源发射光线以说明阴影可见性。交点处的材料特性进一步决定了需要在哪个方向上反射/透射光线。该过程是递归计算的。由于其递归特性，光线跟踪和基本算法的扩展（例如路径跟踪和分布式射线跟踪）自然适合求解表示环境中光传输的渲染方程[186]。因此，光线跟踪方法可以以直接的方式模拟诸如阴影，反射，折射，间接照明，地下散射，焦散，运动模糊，间接照明等效果。尽管光线跟踪在计算上很昂贵，但是最近的算法和硬件进步使以动态场景的交互速率进行计算成为可能[54,300]。
栅格化。光栅化[13]使用的方法不同于光线跟踪进行渲染。主要概念是将场景中的每个图元投影到屏幕（帧缓冲区）上，然后将其离散化为片段，然后将其栅格化为最终图像。当投影和离散图元时，必须解决可见性以具有正确的可视化效果并避免对象之间的错误重叠。为此，通常使用Z型缓冲器[85]。 Z缓冲区通常是与帧缓冲区大小相同的图像，该缓冲区存储以前求解的片段的深度值。对于位置x处的每个片段，将其深度值F（x）z与Z缓冲区Z（x）z中存储的片段进行测试。如果F（x）z <Z（x）z，则将新片段写入帧缓冲区，并将F（x）z放置在Z缓冲区中。深度测试后，评估所有碎片的照明。但是，此过程无法自然地处理阴影，反射，折射和相互反射，因为不会拍摄射线。通常通过从不同位置渲染场景来模拟这些效果。例如，可以通过从光源位置计算Z轴并在着色期间应用深度测试来确定该点是否在阴影中，从而模拟阴影。这种方法称为阴影映射[420]。栅格化的主要优点是当前的图形硬件支持它，从而在绘制图元方面具有很高的性能。之所以能够实现这种性能，是因为它可以直接并行化栅格化：片段是连贯且独立的，并且数据结构易于更新。但是，基于物理的光传输效果（即阴影，反射/折射等）的仿真不如光线跟踪精确，并且在许多情况下存在偏差。
2.1.5 LDR内容的增强和扩大
HDR显示器的出现将HDR研究的重点放在扩展数十年来的传统LDR内容上，以利用这些新显示器。 扩展方法尝试为LDR内容重新创建丢失的内容，对于LDR内容，HDR信息已被夹紧或严重压缩。 已经提出了许多扩展LDR内容的方法。 第6章全面介绍了这些方法。 在某些情况下，可以使用同一场景的HDR参考照片来增强LDR内容。 这可以通过使用与照相机为静态时的色键相似的技术[46]来实现，或者通过使用运动的照相机[61]为静态场景开发动态结构来实现。