Color Correction for Tone Mapping
目录
Color Correction for Tone Mapping
色调映射算法提供了用于将实际亮度范围映射到输出介质的亮度范围的复杂方法，但是它们通常会导致颜色外观发生变化。 在这项工作中，我们进行了一系列主观的外观匹配实验，以测量对比度压缩和增强后图像色彩的变化。 结果表明，对比度压缩和与颜色外观匹配的颜色饱和度校正之间的关系是非线性的，并且对于较小的对比度变化需要较小的颜色校正。 我们证明了这种关系不能由颜色外观模型完全解释。 我们提出了可以与现有色调映射算法一起使用的颜色校正公式。 我们扩展了现有的全局和局部色调映射运算符，并证明了所提出的色彩校正公式在色调比例操纵后可以保留原始图像颜色。
1、介绍
尽管许多色调映射算法提供了用于将实际亮度范围映射到输出介质的亮度范围的复杂方法，但它们通常会导致颜色外观发生变化。最常见的色调处理是亮度压缩，通常会导致较暗的色调显得更亮，并使对比度关系失真。图1B显示了在将亮度对比度压缩0.3倍后保留像素色度值（根据CIE xy色座标）的HDR图像。与图1A中的非压缩图像（曝光调整+ sRGB显示模型）相比，颜色强烈过饱和。如果不是压缩亮度，而是压缩所有三个颜色通道（红色，绿色和蓝色），则生成的图像饱和度不足，如图1C所示。为了解决这个问题，色调映射算法通常采用特定的颜色去饱和步骤，该步骤可以改善结果，但不能保证保留颜色外观，并且需要为每个色调映射的图像进行手动参数调整（图1D）。
图1：原始图像A）与对比压缩后的三个图像。 将两种常见的色彩校正方法B）和C）与手动色彩调整D）进行了比较。 现有的色彩校正方法无法为大对比度压缩调整色彩。
论文的贡献：
-
在第3节中分析了色调映射中常用的色彩校正方法的色彩还原特性。
-
我们在实验研究中测量了必要的颜色校正，并在第4节中推导出颜色校正模型。
-
在第5节中，我们证明了颜色外观模型不能完全解释实验测量的颜色校正。
-
在另一个实验中，我们测量了CIELAB颜色空间中的颜色校正[Col86](第6节)，然后在第7节讨论了该方法的局限性。
-
在第8节中，扩展了局部和全局色调映射算子，以包括提出的色彩校正。
2、相关工作
在色域映射[ML01，GSS * 07]的背景下，已经很好地研究了有限色域的设备上的颜色再现。 但是，色域映射在三个主要方面与我们的问题有所不同：首先，色域映射尝试同时修改亮度（亮度）和色度（色度）以保留颜色外观。 在我们的例子中，亮度修改（色调曲线）由色调映射运算符给出，我们只能修改色度。 其次，色域映射主要考虑将颜色从一个设备映射到可比较动态范围的另一设备。 因此，用于色域映射的对比度压缩比用于色调映射的对比度压缩小得多，后者需要将在现实世界中发现的动态范围压缩到输出设备上可用范围的一部分。 最后，色域映射对已经由摄像机进行色调映射的显示参考图像进行操作，而色调映射对场景参考图像进行操作。
颜色外观研究已经揭示了许多影响我们颜色感知的因素。 已经发现，均匀色块的表观色彩随亮度（亨特效应）[Hun52]，图像尺寸[NB06]和周围颜色[BM97]而变化。 异色斑块的表观亮度或亮度取决于色度（Helmholtz＆Kohlrausch效应）[Nay97]，表观色相取决于亮度（Abney效应）[ANK87]。 Calabria和Fairchild [CF03]发现，随着色度的降低，复杂图像的感知对比度降低，并且该关系为S型。 该S形关系不适用于消色差图像，该消色差图像被认为比色度为20％的图像具有更高的对比度。
色调映射中颜色再现的大部分工作都集中在在计算机屏幕[PFFG98，PTYG00，FJ04，AR06，KJF07]上保留人眼感知的真实场景的颜色外观。 Pattanaik等。介绍一种复杂的人类色彩视觉模型，其中包括杆和锥视觉的独立路径，对手色彩处理以及亮度和对比度信号的增益控制[PFFG98]。以后的工作[PTYG00]着重于时间适应方面，使用感光器模型代替亮度增益控制，并采用基于亨特模型的简化外观模型。早期的iCAM颜色外观模型[FJ04]通过对LMS颜色空间中的三个颜色通道应用空间变化的幂函数来实现对比度压缩。较新的iCAM06模型[KJF07]用光感受器响应模型代替了幂函数，并分别考虑了暗视和明视信号。它也考虑到由于史蒂文斯效应[SS63]而产生的亮度变化，以及由于Bartleson-Breneman效应[BB67]而引起的周围亮度变化，并通过亨特效应[Hun52]补偿了亮度增加引起的色彩变化。尽管这些论文描述了解决色彩外观问题的独立式色调映射器，但Akyüz和Reinhard [AR06]提出了一种色彩处理框架，该框架可适用于保留色彩通道之间比率的任何色调映射。他们的方法使用向前和向后的CIECAM’02颜色外观模型[MFH * 02]转换HDR图像，然后将所得的亮度图替换为色调映射运算符的结果。
上述色调映射运算符解决了色差，这些色差是现实场景与显示器查看条件之间不同的亮度和色度适应性所导致的。 但是，这些方法均未考虑由色调映射曲线本身引起的颜色外观变化，这是我们研究的主题。
图2：CIECAM02预测非线性校正（公式2顶部的两个曲线）和色彩校正公式的亮度保持（公式2底部的两个曲线）的色调，色度和亮度。 这些线描述了当饱和度因子s从0变为2时，六种具有不同亮度的基本颜色（红色，品红色，蓝色，青色，绿色和黄色）的感知属性的变化。初始点（s = 1）标记为 黑色方块。 非线性公式（公式2）会严重扭曲亮度，但与保留亮度的公式（公式3）相比，可以更好地保留色相。
3.色调映射中的色彩校正
Schlick [Sch94]提出的色调映射中常用的色彩处理方法是保持色彩比:
其中C表示颜色通道之一（红色，绿色或蓝色），L表示像素亮度，in / out下标表示色调映射之前和之后的像素。 所有值均在线性化（未经伽马校正）的色彩空间中给出。 后来有关色调映射的论文采用了更强的对比度压缩，观察到生成的图像过饱和，如图1B所示，并提出了一个特殊的公式[TT99]：
其中s控制颜色饱和度。 上式的缺点是，它会改变s！=1和不同于灰色的颜色的亮度，即kRRout + kGGout + kBBout6 = Lout，其中kR，G，B是用于计算a的亮度的线性因子。 给定的色彩空间。 对于高度饱和的像素，此公式可以将亮度更改多达3倍，这是不希望的副作用。 因此，我们在本文中介绍并研究了另一个公式，该公式可以保留亮度，并且仅涉及彩色和相应的无彩色之间的线性插值：
IECAM02颜色外观模型预测的色相，色度和明度图上最好地显示了公式2和3的颜色校正公式之间的差异，如图2所示。非线性的颜色校正因子s的变化 公式2中的公式不仅可以修改色度，还可以修改颜色的明度。 公式3中的亮度保留公式可以防止这种亮度偏移，但会导致更强的色相偏移，尤其是对于红色和蓝色。 因此，选择一个公式而不是另一个公式可能取决于保留色相或亮度对于特定应用是否更为重要。
色彩处理的另一种方法是将相同的色调映射曲线应用于所有三个色彩通道。 但是，可以看出，如果色彩校正因子s等于对比度压缩因子c，并且色调曲线具有以下形式，则这等效于公式2：
其中b是针对最大显示亮度进行归一化的亮度（曝光）调整（对于峰值显示亮度，Lout = 1）。
如果色调曲线是任意函数，则在s = c时将相同的色调曲线应用于所有颜色通道并不等同于等式2，但是结果非常接近。 对于本地色调映射运算符，通常无法同时修改三个颜色通道。 因此，这些运算符必须依靠颜色转移公式，例如公式2或3。假设s = c或同时更改三个颜色通道，对于较小的对比度压缩效果很好，但是对于较小的c会导致颜色褪色的图像 ，如图1C所示。
上面的方程式2和3提供了一种校正RGB颜色空间中颜色的简便方法，但是它们需要手动调整参数s。 这项工作的主要目的是在给定亮度特定色调曲线的情况下估计参数s。
本文使用的RGB颜色空间假设sRGB颜色为基色，D65为白点。 RGB三色值相对于辐射率是线性的（未经伽马校正）。 论文和补充材料中包含的所有结果都将转换为sRGB颜色空间（γ= 2.2）。
4. 实验1:色调映射的色彩匹配
我们进行了一项主观研究，以调查需要多少色彩校正来补偿对比度压缩。
图3:实验中使用的HDR和LDR图像
4.1参与者
实验分为两部分，分别测试非线性（公式2）和亮度保持（公式3）色彩校正公式。 第一部分完成了八名参与者（3名女性和5名男性），第二部分完成了十名（2名女性和8名男性）。 他们的年龄在23至38岁之间，平均32岁。 他们的视力正常或已矫正。 六名参与者具有成像方面的基本专业知识，其余四名没有计算机图形方面的经验。 他们都不知道该实验的技术细节。 所有参与者的视力都正确，只有三个人分享了这两个部分。
4.2 刺激物
我们在实验中使用了8张自然图像（如图3所示）。 它们涵盖了呈现人脸，特写，室内和室外场景的照片中出现的各种色相和饱和度。 为了测试场景和输出参考图像，使用了4个HDR和4个LDR图像。
图像显示在26英寸LCD显示器上（NEC SpectraView 2690，屏幕尺寸为55x33.5厘米，分辨率为1920x1200像素，最小和最大亮度分别为0.7和300 cd / m2）。 我们将本机NEC 2690设置用于原色和白点，这与sRGB模型非常接近。 使用Minolta CS-100A色度计仔细测量了红色，绿色和蓝色通道的显示响应，然后将其用作显示模型和反向显示模型的查找表。 该实验是在昏暗的照明（60 lux）下进行的。
图4说明了在显示器上显示LDR和HDR图像之前进行的图像处理。 使用公式4修改了图像对比度，对比度系数c在0.1到1.6之间变化。 参与者调整色彩饱和度s，并使用等式2或3校正色彩。在将逆显示模型应用于LDR图像后，在线性域中执行对比度压缩和色彩校正。 将单个HDR图像的曝光调整到可以在监视器上最佳可视化未修改HDR图像的水平。
对比压缩和色彩校正使得c的小值和s的高值都有强烈的亮度增加，这就导致了色域外的颜色，以及由于色彩剪裁引起的色相偏移而导致的色彩主观比较问题。为了避免色域外的颜色，我们决定将输入图像的亮度降低到显示器峰值亮度的33% (100 cd/m2)，这也使得显示器的峰值亮度更接近典型的办公室显示器设置。
4.3实验过程
图6显示了该实验的屏幕截图。 要求参与者调整左图的整体色彩，使其看起来与参考图像尽可能接近，但明显偏低。 同样，应该调整正确的图像，使其看起来略微但明显更彩色。 然后，匹配的色彩被假定为左右目标图像的均值。 正如我们在一项前期研究中所验证的那样，与具有相同比较次数的图像直接进行颜色匹配相比，该方法所产生的对象间和对象内变化较少。 很难区分色彩的差异，直接匹配会导致分布中的随机点具有较大的标准误差。 通过测量±1的显着差异（JND）并取平均值，我们得到的点更可能接近于分布的均值。
图5:改变对比度的图像与原始图像的颜色匹配结果。左:用于非线性色彩校正，右:用于亮度保留校正。实线表示平均结果，虚线表示图像1的饱和因子有多有少饱和，连续线表示均值。误差条表示均值的标准误差。红线表示最佳拟合模型。
图6:实验的屏幕截图。中心是线性映射的参考图像。左右是两个色调映射图像调整的参与者。背景色设置为中性灰色。
对于每个颜色校正公式，参与者在48个测试中匹配图像的颜色，8个图像和6个压缩级别(c=0.1、0.35、0.6、0.85、1.35和1.6)各一个测试。对於单个参与者来说，整个实验过程花费了大约30分钟。在实际实验之前，每个被试都进行了一个简短的试点实验，在实验中，被试会被解释如何解读“整体图像的色彩”。
4.4实验结果
图5显示了两个颜色校正公式的平均结果。从图中可以看出，对于小对比度修改(坡度<1)，对比度校正为中等，对于强对比度压缩，对比度校正要大得多。非线性色彩校正公式的插值线(左图)没有越过点s(1)= 1，这可能是由于测量误差以及该点附近缺少数据造成的。
为了检查其他因素的统计显着性，我们进行了几种方差分析（ANOVA）测试。 我们发现LDR和HDR图像之间没有统计差异（对于2个LDR / HDR×6对比度等级×2对比度校正公式的测试，F（1,863）= 0.1），这表明该关系对于输出参考和场景校正均成立。 参照图片。 性别有显着影响（F（1,863）= 12.13； 2（性别）×6（对比度）×2（公式）检验的p <0.01），而女性选择的饱和度图像则略低。 我们还发现了成像专业知识的效果（F（1,863）= 9.53； 2（专家）×6（对比度）×2（公式）测试的p <0.01），那些专业处理图像的参与者选择了更高的图像 s因子。
c和s之间的关系可以通过幂函数s（c）= ck3进行近似，但是对于c> 1.6的外推值，该函数似乎不合理，且拟合效果较差（请参见图5中的曲线）。 因此，我们改用S形函数：
已选择该功能，因此如果对比度保持不变（对于c = 1，s = 1），则它不会改变色彩饱和度；当图像没有对比度（对于c = 0而言，s = 0）时，它将消除所有颜色信息。 最佳最小二乘拟合的参数显示在图中。
5、颜色外观模型和颜色校正
实验1的结果表明，理想的色彩饱和度水平以复杂且非线性的方式与对比度压缩有关。 颜色外观模型试图预测视觉系统中的非线性，并提供一组感知属性预测器，例如色彩，色度和饱和度，它们应与我们的颜色感知线性相关。 在本节中，我们测试外观模型是否可以解释我们在实验中发现的非线性关系。 我们想找出在对比度压缩后应保留哪种感知属性，以实现与原始图像的最佳色彩匹配。
我们选择色调，饱和度和亮度不同的六种基本颜色，通过压缩相对于参考白色的对比度（c∈[0,2]）使它们失真，然后使用两种颜色校正公式（公式2和3）对它们进行处理 由实验（公式5）中找到的模型给出的色彩校正系数s。 使用流行的外观模型之一：CIELAB，CIELUV [Col86]，CIECAM02 [MFH * 02]和iCAM [FJ04]，将所得的颜色转换为色相，亮度，色度，饱和度和色彩的感知属性预测器的空间。
从所有的感知属性来看，CIECAM02饱和度在整个对比度变化中是最一致的，并被选择用于图7中的图。其余图可以在补充材料中找到。 即使CIECAM02饱和度是最一致的，但图7中的实线表示CIECAM02饱和度和对比度压缩之间存在非线性关系。 因此，当压缩对比度时，保留CIECAM02饱和度或根据简单的线性规则更改它无法校正颜色。 这表明在任何考虑的外观模型中，没有任何感知属性可以解释我们的实验数据。
6、实验二:CIELAB中的色彩校正
在第3节中，我们讨论了RGB颜色空间中简单的色彩校正公式的局限性，这些公式既可以保留亮度但会扭曲色相，或者更好地保留色调但会扭曲亮度。 也许如果在感知属性的空间中沿着色度或彩色轴（沿着图7中的色相/色度图的半径）对颜色进行校正，则颜色校正将更加简单，并且生成的图像将与 原件。 我们在以下实验中验证了这一假设。
CIELAB和CIELUV模型都可以轻松适应我们的色彩校正方案。 可以使用对比度更改公式（等式4）修改亮度，同时沿色度轴保留或修改CIELAB或CIELUV色度。 CIELAB颜色空间中的颜色校正框架如图8所示。对于CIECAM02，找不到类似的颜色校正过程。 由于在CIECAM02中建模的色度和亮度之间存在交互作用，因此在更改亮度后，没有色座标会导致完全相同的色彩和色调值。 只能找到原始色彩的最小二乘近似值，但是对于任何实际应用而言，这在计算上都过于复杂。 因此，我们将考虑因素限制在CIELAB颜色空间内。
实验2具有与实验1相同的目标和步骤，但是这次我们将参与者的数量限制为4，并在CIELAB颜色空间中应用颜色校正，如图8所示。实验结果如图9所示。 对于较小的对比度修改（0.6 <c <1.6），几乎不需要颜色校正（sLAB≈1）。 因此，在CIELAB空间中保留色度以实现小的对比度变化应该会产生理想的结果。 这与色域映射中的常规做法一致，在色域映射中，通常在亮度/色度空间中执行颜色操作。 但是，与RGB颜色校正公式类似，要实现强对比度压缩（c <0.6），需要使颜色饱和。
图10在CIECAM02的色相，饱和度和亮度座标中使用与图7中的RGB颜色校正公式相同的符号说明了sLAB颜色校正。 CIELAB中的色彩校正可以更好地保留色相和亮度（将图10中的虚线与图2进行比较）。 趋势类似于图7。趋势证实，尽管饱和度是在对比度修改后需要最少校正的属性，但它不能解释对比度压缩c <0.6时更强的去饱和度。
图10:CIECAM02对CIELAB空间的颜色校正的预测(图8)。符号与图7相同，只是在右侧图中虚线表示c = 1和sLAB∈[0,2]的颜色变化(相同特征如图2所示)。
7. 颜色外观模型适合色调映射吗?
实验2的结果表明，CIELAB色度预测器可以更好地保留对比度修改后的颜色外观，因此，它似乎是RGB颜色空间中颜色校正的一种有吸引力的替代方法（等式2和3）。但是，CIELAB色彩空间以及CIECAM02或CIELUV不能轻松用于高动态范围场景。主要困难在于就色度和绝对亮度而言，准确估计参考白色。图11显示，对参考白色的不同选择会导致色调映射图像中的颜色完全不同。在第一行中，我们假设参考白色适合于背景，在下一行中，我们假设参考白色适合于前景。在像素水平上自动估计参考白色是一个难题，尽管存在某些方法[KMS05]，但它们可能导致不可靠的估计。同时，如果对参考白色的估计不充分，CIELAB预测将完全失败。因此，目前仅在低动态范围场景中，CIELAB色彩空间中的全自动色彩校正才是可行的选择。
图11:在保持CIELAB色度的同时，调音前后的高动态范围图像[MDK08]。产生的颜色强烈地依赖于CIELAB变换的绝对白点的选择。
另一个重要的观察是，大多数外观模型的目标不同于我们的实验和大多数色调映射算子的目标。外观模型试图预测视觉系统的所有限制的感知颜色，例如在弱光下的差色觉。在我们的研究和大多数色调映射算子，目标是保存照片的颜色，这是可以预期的颜色，在最佳相机曝光设置。这些照片的颜色在弱光下不会变淡，更接近一个特定对象的记忆颜色[BT0]。
8. 在色调映射中的应用
在本节中，我们演示了在主观研究中发现的对比度压缩与所需色彩校正之间的关系如何可以用于扩展全局和局部色调映射运算符。
最常见的色调操作可能是使用幂函数的对比度压缩和增强（公式4）。图12显示了一个用于验证的大型测试集的示例（完整的测试集可以在补充材料中找到）。该图包含对比度压缩和增强后的图像，使用两个颜色校正公式（等式2和3）校正了颜色，并且假定颜色校正因子等于对比度压缩因子（s = c）或计算得出根据我们的实验模型（公式5）。假设s = c可以对许多图像产生令人满意的结果。但是，此示例显示了用于饱和度增强的过饱和图像和对于对比度压缩而言过于冲洗的图像。由于强烈的饱和度，使用模型（第一行，第二列和第四列）进行颜色校正的对比度压缩图像可能看起来有点不自然，但是我们进行颜色校正的目的是与参考图像最匹配，而不是最自然的外观或偏好。另一个重要的观察结果是，亮度保留公式（右侧）通常会导致红色的色相偏移，如第3节所述和图7所示。
基于双边滤波[DD02]的色调映射可以轻松扩展，以包括建议的色彩校正公式。 操作员在保留细节（高频）的同时均匀降低基础层的对比度（低通+边缘）。 对数域中的压缩量等于对比度压缩因子c。 原始算法不执行任何去饱和操作，而是使用等式1。当使用默认参数运行操作员时，这会产生良好的结果，但是会产生过饱和的颜色，以实现强烈的对比度压缩，如图13所示。我们采用非线性 颜色校正公式（公式2）和实验模型（公式5）来修复过饱和的颜色。
本文提出的色彩校正公式可以不仅适用于具有已知对比度压缩因子c的简化算子（公式4），而且还适用于任何色调映射函数。 对比度因子可以通过对数对数图上的色调曲线的斜率来近似，这由对数空间中色调曲线的导数给出。 表示L '= log10（L），c表示为：
[PTYG00]中使用了类似的方法将饱和度因子s与局部对比度压缩相关联。 函数c（Lin）为我们提供了每种色调级别的对比度压缩估计，我们可以将其与任何CS关系模型（公式5）和任何色彩校正公式（例如公式2和3）结合使用。
我们修改了显示自适应色调映射运算符[MDK08]，以包括我们的色彩校正公式（公式5）。 原始算法采用公式2补偿色差，其中参数s必须手动调整。 图14的第一列显示，对于相同的色彩校正因子（s = 0.3），在对不同动态范围的显示器进行色调映射时，需要重新调整色彩校正。 提出的色彩校正模型可以补偿这些差异，并自动重新调整色彩校正系数s。
超过40幅LDR和HDR图像的全尺寸结果可以在补充材料中找到。
9、讨论
本文的考虑似乎只限于全局色调映射运算符，后者仅影响低频。 我们进行了一项试点研究，其中我们调查了局部操作（锐化蒙版）对图像色彩的影响。 图15显示了具有增强（左）或缩小（右）细节（顶部）和全局对比度（底部）的图像。 图像清楚地表明锐化对感知的图像色彩几乎没有影响。 由于锐化通常是局部色调映射运算符的主要组成部分，因此我们的色彩校正方法对那些运算符也有效。
图13:对“双边”色调映射结果[DD02]进行强对比度压缩，将原算法与带色彩校正算法进行对比。
图14:“显示自适应”的色调映射[MDK08]的结果显示减少，典型和扩展的动态范围(从顶部到底部行)。将颜色校正系数(s = 0.3和s = 1)不变的原算法与本文提出的颜色校正结果进行了比较。在参考图像(上面一行)中可以看到的黄色是色彩剪裁的伪影，当剪裁的颜色被遮罩(中间一行)或曝光减少(下面一行)时是不可见的。
为了更好地隔离对比度压缩对图像色彩的影响，设计了所有实验，以最大程度地减少超过显示色域的颜色削波。 我们没有使用显示器的全部动态范围来为高饱和度的颜色保留边距，并且我们没有考虑非常强烈的对比度增强。 我们还允许峰值亮度为100 cd / m2的sRGB显示器无法提供的颜色。 我们进行了一项试点研究，在该研究中，如果将颜色裁剪到有限的sRGB色域或使用了显示器的所有可用色域，则在测量上没有任何差异。 但是，进一步的研究应该研究色彩剪切对必要的对比度校正的影响，尤其是对于大对比度增强而言。
10、总结和展望
色调映射不可避免地会导致图像失真，从而影响色调和色彩的再现。在这项工作中，我们分析如何减少这种颜色失真。
本文的主要贡献是两个模型，这些模型在色调映射引起的对比度失真的情况下预测理想的色彩校正。 该模型与简单且计算便宜的色彩校正公式一起使用，适用于全局色调映射运算符，并为局部运算符提供了良好的实际结果。 我们发现，非线性色彩校正公式比亮度保持公式严重扭曲亮度，但引入的色相失真较小，因此更适合于色调映射。 我们对颜色外观模型进行了实验，该模型可能会产生较少的色相和色度失真，但由于参考白色估计值和渲染意图不同而不适用于高动态范围图像。
我们的结果表明，图像色彩受整体图像对比度的影响，图像对比度定义为对数-对数图(gamma)上的色调曲线的斜率，而不受锐化的影响。然而，对于在色调曲线上引入强不连续性的局部音调映射算子来说，这样的整体对比是很难定义的。在局部色调映射操作之后，需要进一步研究来分离出一组影响色彩的因素。