1、高动态范围成像介绍
计算机图形学和相关行业，特别是涉及电影、游戏、模拟、虚拟现实和军事应用的行业，继续要求在计算机上显示更真实的图像，即更精确地匹配它们所要表示的真实场景的合成图像。这是特别具有挑战性的，当考虑到图像的自然世界，目前我们的视觉系统与广泛的颜色和强度。一个有星光的夜晚的平均亮度水平在0.001cd/m2左右，而日光场景的亮度接近1000000 cd/m2。在任何给定的眼睛适应水平下，人类都可以看到1:10000的区域细节。可能除了电影院，很少有人推动实现更大的动态范围，因为常见的显示器和观看环境限制了能呈现的范围，在最小和最大亮度之间大约有两个数量级。一个精心设计的阴极射线管(CRT)显示器在黑暗的房间里可能比这个稍好一些，但最大显示亮度只有100 cd/m2左右，而在LCD显示器的情况下，最大亮度可能达到250-500光盘/平方米，这甚至还没有开始接近日光水平。一个高质量的氙气电影放映机可能会比这个亮度高几倍，但它仍然离人类感知的最佳亮度差两个数量级。现在，随着高动态范围(HDR)图像和新颖的HDR捕获和显示技术的出现，这一切都在发生变化，为传统的成像方法提供了一个台阶式的变化。
在过去的20年里，HDR成像已经彻底改变了计算机图形学和其他领域，如摄影、图像处理、虚拟现实、视觉效果和视频游戏产业。现在，真实世界的照明可以被捕获、存储、传输，并完全用于各种应用程序，而不需要对信号进行线性化并处理固定值。场景中非常暗和亮的区域可以同时记录图像和视频，避免暴露不足和过度暴露的区域;参见图1.1。传统的成像方法,另一方面，不使用物理值，并且通常受到技术限制，每个颜色通道每个像素只能处理8位。这种图像(每个颜色通道不超过8位)通常被称为计算机图形学中的低动态范围(LDR)图像。在工业和标准化社区，即， JPEG和MPEG委员会，它通常被称为标准动态范围(SDR)图像。
图1.1。同一场景不同曝光时间的图像，可以捕捉到(a)非常亮的区域和(b)黑暗的区域以及(c)错误颜色的对应HDR图像。
HDR图像可以通过捕捉同一场景在不同曝光水平下的多幅图像，并将其合并以重建所捕获场景的原始动态范围来生成。有几种合并LDR图像的算法;Debevec和Malik的方法[111]就是一个例子。商业实现之一是SpheronVR的SpheronCam HDR[351]，它可以捕获动态范围为6×1000000:1的静止球面图像。虽然可以使用本机HDR ccd一次性记录信息，但传感器噪声低的问题通常出现在高分辨率的情况下。
HDR图像/视频占用的内存可能是相应LDR图像所需内存的四倍。在HDR图像中，为了处理全范围的照明，颜色值使用三个浮点数存储。这不仅对存储和传输HDR数据有重大影响，而且对处理HDR数据也有重大影响。因此，为HDR成像开发了高效的浮点数表示，并且对许多经典的压缩算法(如JPEG和MPEG)进行了调整和扩展，以处理HDR图像和视频。
一旦有效地捕获和存储了HDR内容，就可以进行用于各种应用程序。一个流行的应用是合成或真实物体的重画。HDR数据存储环境的详细照明信息。这些信息可以用来探测光源，并利用它们来照亮物体;参见图1.2。这种图像在增强现实、视觉效果和计算机图形学等许多领域都非常有用。这是因为图像的外观被转移到relit对象产生的合成图像具有高水平的现实主义。
图1.2。(a) HDR环境图像的假颜色。(b)从中提取的光源。(c) A relit Stanford 's Happy Buddha model[154]使用(b)中生成的光源。
HDR的另一个重要应用是捕获双向反射分布函数(BRDF)的样本，该函数描述光线如何与给定的材料相互作用。这些样品可以用来重建BRDF。HDR数据需要精确重建;参见图1.3。此外，由于提供了更多的数据，HDR成像可能允许使用LDR图像的其他应用程序更加健壮和准确例如，在具有明亮光源的具有挑战性的场景中，可以改进计算机视觉中的视差计算。这是因为光源中的信息没有被夹住;因此可以计算光源和反射物体的视差，其精度高于使用夹紧值时的视差[98]。
图1.3。捕获Prun stone的不同BRDFs的一个示例[132]:(a)受Tchou等人的启发，使用HDR技术捕获BRDFs的设置[365]。(b) (a)中的重建材料来自三次曝光中的每一次64个样本。
一旦获得HDR内容，就需要将其可视化。HDR图像和视频通常不适合传统LDR显示器(如CRT或LCD显示器)的动态范围;例如，一个现代的液晶显示器动态范围在1到250 cd/m2之间。因此，在使用这些显示时，必须处理HDR内容，以匹配显示的可用动态范围。这种操作称为色调映射，在第三章中介绍;参见图1.4。Seetzen等人[342]提出了HDR显示的第一个解决方案，该方案可以将HDR内容可视化;第二章对这一主题进行了概述。
图图1.4。在LDR监视器上显示HDR图像的一个示例:(a) HDR图像为假颜色。(b)已处理(a)中的图像，使明暗区域的细节可视化。这个过程称为色调映射。