Study on the Development of a Uniform Color Space for Perception-based Image Processing

摘要

基于视觉感知的图像处理中，图像信号常常将设备相关的非均匀的RGB颜色空间转换到基于人类视觉系统的均匀色彩空间，通常由设备无关的CIEXYZ三刺激值直接计算得到亮度通道信息和对抗色通道信息（红-绿和黄-蓝）。在均匀的色彩空间里，任意位置的单位值对应着相同的人类视觉色差，即空间中任意位置处的单位欧几里德距离反映了相同的人眼色彩感知差别。同时，均匀的色彩空间需要满足一个条件，即每一个像素的颜色都可以由正交的三维色彩坐标表示，对任一维度进行单独处理时都不应该影响其他两个维度的信息。在均匀色彩空间的基础上，更多的色貌模型中的视觉属性被提出来，如亮度、鲜艳度、饱和度和色调组成。均匀颜色空间有许多应用，包括颜色差异评估、图像外观建模、色域映射、有损图像压缩、图像增强、图像分割、图像降噪，图像质量评价、色彩再现、设备颜色特征化等。
　　本课题主要有以下四个目标，包括:(1)研究基于视觉感知的均匀色彩空间对于图像处理的意义;(2)比较不同的均匀颜色空间在图像的处理中的表现;(3)提出一种简单而有效的均匀颜色空间，来最准确地预测实验数据;(4)检验新提出的基于感知的均匀颜色空间在图像处理技术中的性能和表现。
　　首先，本论文比较了十个不同的色彩空间在图像有损压缩中的表现，其中包括基于RGB的设备相关的色彩空间和基于CIE XYZ三刺激值的设备无关的色彩空间。基于RGB变形而来的空间有sRGB，YIQ，YCbCr，YCoCg-R，和RDgDb，而均匀色彩空间有CIELAB，CIELUV, IPT,和CAM02-UCS(或者CAM16-UCS)。这些色彩空间被应用的图像压缩算法中(JPEG，JPEG2000，和CSI-JPEG)，从而可以比较他们在图像压缩处理上的性能。JPEG和JPEG2000是联合图像专家组织(JointPhotographic Experts Group，JPEG)分别于1992年和2000年提出的静态图像压缩标准，而CSI-JPEG是对于JPEG的一种改进形式，将JPEG中的下采样方法改为三次样条插值方法，从而实现了在不影响图像质量的情况下提高了压缩性能。色彩空间在图像压缩处理中的表现通过图像压缩率、色彩精度和图像视觉质量这三个指标来比较获得。其中，色彩精度采用了ISO/CIE的色差计算公式CIEDE2000，而图像视觉质量是基于观察者的实验结果分析而来。为了检验不同色彩空间在图像压缩处理中的表现，实验共分为三个部分组成。第一部分运用计算机仿真的形式，采用固定色差值但不同压缩率而的方式，也就是说，原始图像和被压缩图像直接的平均色差固定，对采用了不同色彩空间的图像压缩算法采用不同的图像压缩值。第二部分采用压缩率固定而色差值不同的方式。第三部分，运用配对比较的心理物理学实验方法对第二部分获得的不同变换的图像进行图像质量主观性的排序和评价，即两两比较不同色彩空间压缩下的图像或是同样空间下不同的压缩方法。实验中，在显示器经过严格校正之后，将显示三张图片，正中间的是图像的原始图片，左右分别是经过不同变换后的图片。被试者将对左右的图片和中间的原始图片进行比较之后，选择拥有较好视觉质量的图片。之后，实验者数据将会通过一种基于数理统计的数值表示方式，即Z-score，从而实现对于不同压缩模型和算法进行比较分析。
　　计算机仿真结果显示，更为均匀的色彩空间在图像压缩过程中，对原始图像进行压缩相同数值的色差而可以得到更高的压缩率。同样，固定的压缩率下，采用均匀色彩空间进行压缩后的图像具有更高的图像质量，即与原始图像直接的色差值更小。另一方面，心理物理学实验结果同样佐证了计算机模拟结果。总体结果证明，均匀色彩空间相较于基于RGB的设备相关的空间，性能表现更好。另外，IPT和CAM02-UCS明显优于基于RGB的色彩空间，相对于另外的均匀色彩空间却没有明显的优势。
　　随着显示科技的不断发展，颜色科学迎来了新的挑战，特别是高动态范围(highdynamic range，HDR)和广色域(wide color gamut，WCG)中信号的色差编码，这就需要一个新的且能满足各方面性能表现的颜色空间。该色彩空间需要实现对广的亮度范围和宽的颜色范围进行基于视觉感知的均匀色彩编码，还应该满足色度线性关系，只有这样，当进行色域映射的时候，才不至于产生引起色调的偏移，即色调和色度之间的交叉影响减小到最小。同时，亮度和饱和度之间也应该是独立的，即亮度和色度之间的交叉影响减小到最小。最后一条要求是，该颜色空间在进行图像的实时或是准实时处理时有着相对较小的计算成本。
　　本课题挑选了五个符合上述所有要求的色彩空间作为测试空间，分别是CIELAB，CIELUV, CAM16-UCS，IPT,和ICTCP。CIELAB和CIELUV是ISO/CIE所推荐的标准均匀色空间，CAM16-UCS是CAM02-UCS修订版本，是基于CIECAM02色貌模型发展而来。CAM02-UCS被广泛地应用于各个方面，如色差计算公式，图像增强，显色指数等。但是，CIECAM02也存在着一些计算上出现的问题，所以就有了基于它的改进版本。本研究中，之所以选择CAM16-UCS是为了避免计算上的问题。IPT色彩空间具有良好的色调线性特性从而被广泛地应用于图像处理中，特别是色域映射领域。ICTCP色彩空间由Dolby公司提出，是专门针对高动态范围和广色域的情况。
　　本研究搜集了大量的实验数据，包括大色差、小色差的数据，色度线性数据以及宽亮度范围的实验数据。具体而言，先前被用来建立CIEDE2000色差计算格式的组合型视觉色差数据(Combined visual color difference data，COMBVD)是小色差数据的代表。孟塞尔色度系统中的Munsell re-notation data曾被美国光学学会(Optical Society of America，OSA)用于建立一个均匀的颜色空间Ljg，该组数据表示了大色差数据。三组色调线性数据被用于测试色彩空间的色调线性度，分别是Hung& Berns数据集，Ebner& Fairchild数据集，和Xiao et al数据集。另外两组数来自于不同的实验，是针对宽亮度范围进行性能测试，亮度范围涵盖了从0到7400 cd/m2，而本研究中的标准白的亮度是在1000 cd/m2左右。
　　实验结果表明，以上所测试的色彩空间没有一个能对这些测试数据集获得令人满意的结果。因此，本论文建立了一个新的基于视觉感知的均匀色彩空间且满足色度线性特性。新模型的建立过程大致如下。首先，模型形式类似于ICTCP的结构，并且该模型被重新优化以改善其均匀性，即能够更好地预测视觉色差数据。然后观察到均匀性的改善却影响色彩空间的色调线性，特别是在蓝色区域。研究人员曾经报告过相同的问题，并且最终采用了均匀性和色调线性度之间的妥协。基于这样的矛盾，新的模型对均匀性和色调线性度进行了权衡，从而获得良好的模型性能。此外，另一个简单的方程被整合到模型中，用于调整其亮度属性从而实现更好地预测宽范围的亮度。本研究新提出的模型命名为Jzazbz，该模型是基于ICTCP模型的基本结构结合两个附加方程，从而提升了模型的色调线性度（而不影响其均匀性的性能）和宽范围亮度的预测能力（不影响对色差数据集预测性能）。
　　实验结果表明，新提出的Jzazbz色彩空间在预测色差数据方面优于其他测试空间或接近于最佳测试空间。因此，新模型所建立的均匀色彩空间被整合进不同的图像处理算法中，并将其性能与其他的均匀颜色空间进行比较。在测试的实验结果基础上，我们可以自信地说，Jzazbz可以用于基于感知的图像处理且具有良好的性能表现。
　　本研究在科学原理和技术应用方面的贡献有以下两项:
　　1、提出了一种基于图像压缩的均匀色彩空间性能测试方法;
　　2、为图像应用领域，尤其是高动态氛围(HDR)和超广色域图像信号的处理，提出了一种颜色均匀且色相线性度高的色彩空间模型。

目录

声明

Acknowledgements

Abstract

摘要

Table of Contents

List of Abbreviations

Chapter 1．Introduction

1．1 Background

1．2 Aims and Scope

1．3 Thesis Structure

References

Chapter 2．Literature Survey

2．1 Colorimetry

2．1．1 Visible Spectrum

2．1．2 CIE Standard Illuminants

2．1．3 CIE Standard Observer Functions

2．1．4 Object

2．1．5 XYZ Tristimulus Space

2．1．6 Camera RGB Primaries

2．2 RGB-based Color Spaces

2．2．1 YIQ Color Space

2．2．2 YCbCr Color Space

2．2．3 YCoCg-R Color Space

2．2．4 RDgDb Color Space

2．3 XYZ-based Color Spaces

2．3．1 CIE Uniform Color Spaces

2．3．2 IPT Color Space

2．3．3 Color Appearance Model

2．3．4 CAM02-UCS and CAM16-UCS

2．3．5 ICTCp Color Space

2．4 Chromatic Adaptation Transform

2．5．1 CIELAB Color Difference Formula

2．5．2 CIEDE2000 Color Difference Formula

2．6 Image Processing Algorithms

2．6．1 Image Compression

2．6．2 Image Segmentation

2．6．3 Gamut Mapping

References

Chapter 3．Image Compression-based Method for Testing Performance of Color Spaces

3．1 Introduction

3．2 Image Compression Algorithms

3．2．1 JPEG and JPEG 2000

3．2．2 Proposed CSI-JPEG

3．3 Test Spaces

3．4 Testing Method

3．4．1 Experiment 1

3．4．2 Experiment 2

3．5 Psychophysical Experiments

3．5．1 Experiment 1

3．5．2 Experiment 2

3．6 Conclusions

References

Chapter 4．Developing a Uniform and Hue Linear Color Space for Perception-based Image Processing

4．1 Introduction

4．2 Performance Criteria

4．3 Experimental Data

4．4 Test Color Spaces

4．5 Formulation of Hue Linearity Coefficient

4．6 Development of Jzazbz Uniform Color Space

4．6．1 Development of Jzazbz

4．6．2 Forward Model of Jzazbz

4．6．3 Reverse Model of Jzazbz

4．7 Results and Discussions

4．8 Conclusions

References

Chapter 5．Verifying Performance of Jzazbz by Applying in Image Processing

5．1 Introduction

5．2 Using Image Segmentation Method to test Performance of Jzazbz

5．3 Using Image Compression Method to test Performance of Jzazbz

5．4 Using Gamut Mapping Method to test Performance of Jzazbz

References

Chapter 6．Conclusions

Appendix

Curriculum Vitae