进行图像恢复处理的图像处理设备和图像处理方法

摘要

本发明涉及一种进行图像恢复处理的图像处理设备和图像处理方法。该图像处理设备能够适当地抑制图像恢复处理所引起的着色。计算通过经由摄像光学系统进行拍摄所获得的RAW图像数据中的像素的颜色的特征量作为第一颜色特征量。使用用于改善由于摄像光学系统的像差而发生劣化的图像质量的恢复滤波器来对RAW图像数据进行恢复处理，由此生成恢复后的图像数据。计算恢复后的图像数据中的像素的颜色的特征量作为第二颜色特征量。根据第二颜色特征量相对于第一颜色特征量的变化量与基于预定条件所设置的阈值之间的比较结果，来校正恢复后的图像数据的像素值。

说明书

技术领域

本发明涉及进行图像恢复处理的图像处理设备和图像处理方法，尤其涉 及用于校正劣化图像的处理。

背景技术

通常，在通过使用诸如数字照相机等的摄像设备拍摄被摄体来获得图像 的情况下，该图像例如由于摄像光学系统的像差而大幅劣化(即，图像变模 糊)。图像的模糊通常是由摄像光学系统的球面像差、彗星像差、像场弯曲 或像散像差等所引起的。在无任何衍射影响的消球差状态中，来自被摄体的 一点的光束在摄像装置的摄像面上再次收敛于一点。另一方面，如果存在任 何上述像差，则应当在摄像面上再次收敛于一点的光发散而导致在如此形成 的图像上产生模糊成分。

图像上产生的模糊成分是通过点扩散函数(PSF)光学地进行定义的。尽 管失焦的图像也变模糊，但这里，将即使在图像聚焦的情况下摄像光学系统 的像差所引起的图像的模糊也称为“模糊”。关于彩色图像上的渗色，可以将 由摄像光学系统的轴向色像差、颜色的球面像差和颜色的彗星像差所引起的 渗色称为依赖于光的波长的不同方式的模糊。此外，关于图像的水平方向上 的颜色偏移，可以将摄像光学系统的倍率色像差(lateralchromaticaberration) 所引起的颜色偏移称为由依赖于光的波长的不同的摄像倍率所引起的位置 偏移或相位偏移。

通过对上述PSF进行傅立叶变换所获得的光学传递函数(OTF)是像差的 频率成分，并且由复数来表示。将光学传递函数(OTF)(以下将“光学传递函 数”适当简称为“OTF”)的绝对值、即振幅成分称为调制传递函数(MTF)，并且 将相位成分称为相位传递函数(PTF)。

这些MTF和PTF分别是像差所引起的图像的劣化的振幅成分和相位成 分的频率特性。通过以下的等式(1)来将相位成分表示为相位角。注意， Re(OTF)和Im(OTF)分别表示OTF的实部和虚部：

PTF＝tan^-1{Im(OTF)/Re(OTF)}...(1)

摄像光学系统中的OTF使图像的振幅成分和相位成分劣化，因而在劣化 图像中，例如在由彗星像差引起劣化的情况下，被摄体的各点以非对称的方 式变模糊。此外，在由倍率色像差引起劣化的情况下，成像位置由于光学波 长之间不同的成像倍率而偏移，并且在根据从被摄体所反射的光的光谱特性 而接收到光作为RGB颜色成分的情况下，这导致在这些颜色成分之间产生不 同的图像倍率。

这导致不仅在红色、绿色和蓝色(RGB)的成分之间产生成像位置的偏移， 而且在各颜色成分中在各波长之间也产生成像位置的偏移。也就是说，图像 因相位偏移而发散。确切地说，倍率色像差不会产生简单的平行颜色偏移。 然而，除非另外说明，否则以下将假定颜色偏移具有与倍率色像差相同的含 义来进行说明。

作为校正振幅(MTF)的劣化和相位(PTF)的劣化的方法，例如，已知有使 用摄像光学系统的OTF来校正劣化的方法。将该方法称为图像恢复或图像复 原。在以下说明中，将用于使用摄像光学系统的OTF来校正图像的劣化的处 理称为图像恢复处理或简称为恢复处理。

现在将说明图像恢复处理的概述。假定利用g(x,y)表示劣化图像、利用 f(x,y)表示原始图像，并且利用h(x,y)表示通过对OTF进行逆傅立叶变换所获 得的PSF。在这种情况下，以下等式(2)成立。注意，*表示卷积，并且(x,y) 表示图像上的坐标。

g(x,y)＝h(x,y)*f(x,y)...(2)

在通过傅立叶变换将等式(2)转换成基于频率的形式的情况下，如通过以 下的等式(3)所示，这样给出了针对各频率的积的形式。注意，H表示PSF的 傅立叶变换的结果、即OTF，并且G和F分别表示劣化图像g和原始图像f的傅 立叶变换的结果。(u,v)的值表示二维频率面上的点的坐标、即频率。

G(u,v)＝H(u,v)·F(u,v)...(3)

为了根据通过拍摄所获得的劣化图像获得原始图像，如通过以下的等式 (4)所示，仅需将等式(3)的两侧除以H。

G(u,v)/H(u,v)＝F(u,v)...(4)

通过对等式(4)中的F(u,v)进行逆傅立叶变换而返回至实面，可以获得原 始图像f(x,y)作为恢复图像。

这里，在假定利用R来表示通过对等式(4)中的1/H进行逆傅立叶变换所 得到的结果的情况下，通过在实面上对图像进行卷积处理，如通过以下的等 式(5)所示，可以同样获得原始图像。

g(x,y)*R(x,y)＝f(x,y)...(5)

将等式(5)中的R(x,y)称为图像恢复滤波器。实际图像具有噪声成分，因 而如果如上所述使用通过OTF的倒数所生成的图像恢复滤波器，则噪声成分 连同劣化图像一起被放大，结果无法获得良好图像。

为了防止噪声成分被放大，例如，提出了如Wiener滤波器那样、用于根 据图像和噪声之间的强度比来抑制图像中的高频成分的恢复率的方法。此 外，作为用于校正图像中的由渗色成分所引起的劣化的方法，提出了用于通 过对上述模糊成分进行校正以使得模糊量针对图像的各颜色成分变均匀来 校正渗色成分的方法。

OTF根据诸如变焦位置的状态和光圈直径的状态等的拍摄状态而改变。 因此，还要求图像恢复处理中所使用的图像恢复滤波器根据拍摄状态而改 变。例如，在用于观察生物体内部的内窥镜中，提出了用于使用与荧光波长 相对应的PSF来在摄像部的聚焦范围外的范围中消除图像模糊的方法(参见 日本特开平10-165365)。在该方法中，由于荧光微弱，因此需要F值小的物镜 光学系统。然而，如果使用F值小的物镜光学系统，则焦深变浅，因而通过 针对被摄体失焦的范围进行图像恢复处理来获得聚焦图像。

如上所述，对通过拍摄所获得的图像进行图像恢复处理，以由此校正上 述的各种类型的像差，由此可以提高图像质量。然而，在进行拍摄时，拍摄 状态和图像恢复滤波器的状态并非始终最佳地一致。例如，在拍摄三维被摄 体的情况下，发生这种问题。

在摄像设备中，通过使用自动调焦或手动调焦聚焦于被摄体空间的一个 面来进行拍摄。如此，在被摄体为三维的情况下，被摄体距离根据视角而不 同。聚焦物体以相对清晰的状态被拍摄，但失焦物体伴随有依赖于距离的模 糊量而被拍摄。在仅针对聚焦点获取到与被摄体距离有关的信息的情况下， 选择或生成最适合该被摄体距离中的各视角的图像恢复滤波器以供使用。

在经过图像恢复处理之后的图像中，图像恢复滤波器最适合聚焦物体， 因而可以获得期望的锐度。另一方面，图像恢复滤波器不是最适合失焦物体， 因而尽管获得了某种程度的恢复效果，但图像仍模糊。

另一方面，传统上，已知如下：依赖于被摄体距离的模糊程度在表现被 摄体的三维感或与背景隔离地表现所观看物体方面产生良好效果。例如，通 过使用景深浅的远摄透镜，以主被摄体聚焦但背景有意变模糊的方式来表现 图像。在这种情况下，同样在经过图像恢复处理之后的图像中，期望使聚焦 物体变清晰，但失焦物体仍保持模糊，并且通过使用上述的图像恢复方法来 进行模糊表现。

然而，如果使用并非最适合失焦物体的距离的图像恢复滤波器来对失焦 物体进行图像恢复处理，则在图像上有时发生着色。注意，术语“着色”是指： 由于失焦物体的边缘部上的各颜色成分之间的模糊关系在执行图像恢复处 理之前和之后有所不同，因此在经过图像恢复处理之后的图像上产生颜色未 包括在被摄体中的缺陷。

此外，这种着色有时不仅仅发生在三维被摄体的拍摄中。更具体地，如 果例如由于摄像光学系统的制造偏差或拍摄时的光源光谱的变化因而实际 拍摄状态中的像差状态和图像恢复滤波器作为对象的像差状态不同，则发生 着色，而与被摄体是否聚焦无关。

作为抑制上述着色的方法，例如，提出了用于基于进行了图像恢复处理 之前的图像中的颜色信息来校正进行了图像恢复处理之后的图像的颜色的 方法。在该方法中，针对图像的各像素判断由图像恢复处理所引起的颜色的 变化，由此抑制由图像恢复处理所引起的着色。

例如，提出了用于在经过图像恢复处理之后的图像中的色差变得大于进 行图像恢复处理之前的色差的情况下对信号值进行校正以减少色差量的方 法(例如，参见日本特开2010-86138)。

如上所述，通过对拍摄所获得的图像进行图像恢复处理以减轻例如在失 焦物体的图像上发生的着色、并且校正各种类型的像差，可以提高图像质量。

然而，在进行拍摄时，在摄像装置所进行的光电转换期间产生噪声，由 此在图像中包含噪声成分。通常，摄像装置的感光度被设置得越高，该噪声 越大。在根据恢复处理之前和之后的色差来对包含光电转换期间所产生的大 量噪声的图像进行着色抑制处理的情况下，图像的被摄体的色感有时改变或 不准确。

图20A～20E是用于说明在包含摄像装置所进行的光电转换期间所产生 的噪声的图像中在经过恢复处理之前和之后沿一条线的G信号和R信号的像 素值以及G信号和R信号之间的色差的图。图20A示出恢复处理之前的像素值 的变化，而图20B示出恢复处理之后的像素值的变化。图20C示出恢复处理 之前的色差的变化，而图20D示出恢复处理之后的色差的变化。此外，图20E 示出恢复处理之前和之后的色差的比较。

在该示例中，尽管被摄体的亮度和颜色的变化小，但如图20A所示，像 素值由于图像恢复处理之前所产生的噪声而改变。如上所述，期望通过考虑 到噪声的放大来形成图像恢复处理中所使用的图像恢复滤波器。

然而，难以将因摄像光学系统的像差而发生劣化的劣化图像与噪声成分 完全分开，因而噪声因图像恢复处理而被放大。也就是说，如图20B所示， 在图像恢复处理之后，像素值的变化没有减小。注意，在图20B中，“R”表示 应用图像恢复滤波器之后的R信号值，并且“R'”表示进行了用于抑制着色的 校正的信号值。

图20C示出图像恢复处理之前的色差，并且这里色差是指G信号和R信号 之间的差(R–G)。图20D示出图像恢复处理之后的色差，其中“Cr”表示应用图 像恢复滤波器之后的色差，并且“Cr'”表示进行了用于抑制着色的校正的色 差。在该示例中，针对相比图像恢复处理之前、在经过图像恢复处理之后色 差变大的像素对R信号进行校正，使得减小了色差量。

图20E示出以在图像恢复处理之前和之后的各色差之间进行比较为目的 的色差的移动平均。尽管在摄像设备所进行的图像处理中进行所谓的色差平 滑化处理，但在该示例中，作为简单方法，使用移动平均来比较被摄体的图 像在观看该图像时的色感。

如图20E所示，在进行用于抑制着色的校正的情况下，在图像恢复处理 之前和之后发生色感的变化。此外，色感的变化示出因噪声量而导致趋势变 得不同。也就是说，色感的变化量也根据摄像装置的感光度(ISO感光度)而改 变。

然而，日本特开2010-86138所述的方法没有解决噪声量所引起的色感的 变化，因而难以适当地抑制图像恢复处理所引起的着色。

发明内容

本发明提供一种能够适当地抑制图像恢复处理所引起的着色的图像处 理设备和图像处理方法。

在本发明的第一方面中，提供一种图像处理设备，其包括至少一个处理 器，所述至少一个处理器用作以下单元：第一计算单元，用于计算根据经由 摄像光学构件形成在摄像装置上的光学图像所获得的第一图像数据中的像 素的颜色的特征量，作为第一颜色特征量；恢复处理单元，用于使用用以改 善由于所述摄像光学构件而发生劣化的图像质量的恢复滤波器来对所述第 一图像数据进行恢复处理，由此生成第二图像数据；第二计算单元，用于计 算所述第二图像数据中的像素的颜色的特征量，作为第二颜色特征量；以及 校正单元，用于根据所述第二颜色特征量相对于所述第一颜色特征量的变化 量与阈值之间的比较结果，来校正所述第二图像数据的像素值，其中，所述 校正单元基于预定条件来设置所述阈值。

在本发明的第二方面中，提供一种图像处理方法，包括以下步骤：计算 根据经由摄像光学构件形成在摄像装置上的光学图像所获得的第一图像数 据中的像素的颜色的特征量，作为第一颜色特征量；使用用以改善由于所述 摄像光学构件而发生劣化的图像质量的恢复滤波器来对所述第一图像数据 进行恢复处理，由此生成第二图像数据；计算所述第二图像数据中的像素的 颜色的特征量，作为第二颜色特征量；以及根据所述第二颜色特征量相对于 所述第一颜色特征量的变化量与阈值之间的比较结果，来校正所述第二图像 数据的像素值，其中，所述阈值是基于预定条件所设置的。

根据本发明，在经过图像恢复处理之后，根据第一颜色特征量和第二颜 色特征量之间的差与预定阈值的比较的结果来校正图像的各像素值。因此， 可以适当地抑制图像恢复处理所引起的着色。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明 显。

附图说明

图1是作为配备有根据本发明第一实施例的图像处理设备的摄像设备的 数字照相机的框图。

图2A～2E是用于说明输入至图1所示的图像恢复处理器的图像(RAW图 像)的示例(拜耳(Bayer)阵列)的图，其中图2A示出RAW图像的RGB平面(拜耳 阵列)，图2B～2D示出颜色成分各自的平面，并且图2E示出经过插值处理的G 成分平面的状态。

图3是图1所示的图像恢复处理器111的框图。

图4是图3所示的图像恢复处理器所进行的图像恢复处理的流程图。

图5A和5B是用于说明使用自适应像素插值处理方法来进行边缘部的像 素插值的示例的图，其中图5A示出表示边缘部中的亮度的像素值(信号值)的 变化，并且图5B示出图5A中的像素阵列。

图6A～6I是用于说明通过利用具有拜耳阵列的像素的摄像装置进行拍摄 所获得的RAW图像中的像素阵列的图，其中图6A示出插值之前的G成分平 面，图6B示出插值之前的R成分平面，图6C示出插值之前的B成分平面，图 6D示出线性插值之后的G成分平面，图6E示出线性插值之后的R成分平面， 图6F示出线性插值之后的B成分平面，图6G示出自适应插值之后的G成分平 面，图6H示出自适应插值之后的R成分平面，并且图6I示出自适应插值之后 的B成分平面。

图7A和7B是用于说明图像恢复滤波器的示例的图，其中图7A示出图像 恢复滤波器，并且图7B示出抽头和与抽头相关联的滤波器系数之间的关系。

图8A和8B是用于说明图3所示的图像恢复处理器所使用的图像恢复滤 波器的示例的图，其中图8A示出应用于G成分的图像恢复滤波器的示例，并 且图8B示出应用于R成分和B成分的图像恢复滤波器的示例。

图9是用于说明图3所示的像素值调整部所获取到的色差判断阈值的图。

图10是示出各自根据与图1所示的摄像装置的噪声量相关的ISO感光度 所设置的系数的示例的图。

图11A和11B是用于说明表示在对经过了参考图4所述的图像恢复处理 的图像和没有经过该图像恢复处理的图像进行显影处理的情况下的边缘部 中的亮度的像素值(信号值)的变化的图，其中图11A示出低感光度的情况下 的亮度的变化，并且图11B示出高感光度的情况下的亮度的变化。

图12A～12E是用于说明MTF和空间频率特性之间的关系的图，其中图 12A～12D各自示出摄像光学系统的MTF与应用图像恢复滤波器之后所展现 的空间频率特性之间的关系，并且图12E示出通过应用图像恢复滤波器所引 起的MTF的增减率(恢复增益)。

图13是示出包含大量噪声的图像的预定区域中的沿一条线的图像恢复 之前和之后的各色差的移动平均的图。

图14是示出G成分和R成分的恢复增益的特性的图。

图15是示出最大恢复增益和与该最大恢复增益相关联的参数之间的关 系的图。

图16是作为配备有根据本发明第二实施例的图像处理设备的摄像设备 的数字照相机的图像处理器中所包括的图像恢复处理器的框图。

图17A～17C是分别示出图像的色相、饱和度和亮度与各个参数之间的关 系的示例的图。

图18是示出边缘强度和与该边缘强度相关联的参数之间的关系的示例 的图

图19是用于说明作为配备有根据第二实施例的图像处理设备的摄像设 备的数字照相机所使用的色差判断阈值的图。

图20A～20E是用于说明在包含摄像装置所进行的光电转换期间所生成 的噪声的图像中在经过恢复处理之前和之后沿一条线的G信号和R信号的像 素值以及G信号和R信号之间的色差的图，其中图20A示出恢复处理之前的像 素值的变化，图20B示出恢复处理之后的像素值的变化，图20C示出恢复处 理之前的色差的变化，图20D示出恢复处理之后的色差的变化，并且图20E 示出恢复处理之前和之后的色差的比较。

具体实施方式

以下将参考附图来详细说明本发明的实施例。

图1是配备有根据本发明第一实施例的图像处理设备的摄像设备的框 图。

图1所示的摄像设备例如是数字照相机(以下简称为照相机)，并且包括摄 像光学系统101。摄像光学系统101至少配备有光圈101a和调焦透镜101b。在 摄像光学系统101的下游配置诸如CMOS图像传感器等的摄像装置102，并且 在摄像装置102上形成穿过摄像光学系统101的光学图像(被摄体图像)。

摄像装置102将光学图像光电转换成电气信号，并且输出与该光学图像 相对应的电气信号(模拟信号)。然后，这些模拟信号由模数(A/D)转换器103 转换成数字信号，并且输入至图像处理器104。

图像处理器104包括用于进行用于恢复劣化的图像质量的图像恢复处理 的图像恢复处理器111和用于进行预定处理的其它图像处理器112。图像处理 器104从状态检测部107获得表示照相机的拍摄状态的拍摄状态信息。状态检 测部107可被配置为从系统控制器110直接获得拍摄状态信息。另外或可选 地，状态检测部107可被配置为从摄像光学系统控制器106获得与摄像光学系 统101有关的拍摄状态信息。

接着，图像处理器104根据拍摄状态信息来从存储部108中选择图像恢复 滤波器。图像处理器104对数字信号进行白平衡处理，之后利用图像恢复处 理器111进行图像恢复处理。具体地，图像恢复处理器111进行用于将图像恢 复滤波器应用于数字信号(即，图像)的图像恢复处理。以下将说明图像恢复 处理器111所进行的处理。

存储部108可被配置为不是记录图像恢复滤波器本身，而是记录与生成 图像恢复滤波器所需的光学传递函数(OTF)有关的OTF信息。在这种情况下， 图像恢复处理器111根据拍摄状态信息来从存储部108中选择OTF信息，并且 基于所选择的OTF信息生成图像恢复滤波器。然后，图像处理器111使用所 生成的图像恢复滤波器来对图像进行图像恢复处理。其它图像处理器112对 经过了图像恢复处理的图像进行伽玛校正和颜色平衡调整等作为预定处理， 并且生成诸如JPEG文件等的图像文件(以下还称为输出图像)。

图像处理器104将输出图像按预定格式存储在图像记录介质109中。此 外，图像处理器104对经过了图像恢复处理的图像进行显示处理，由此将显 示图像显示在显示部105上。图像处理器104可以无需进行图像恢复处理的情 况下将显示图像显示在显示部105上，或者可以将经过了简单的图像恢复处 理的图像显示在显示部105上。

系统控制器110控制照相机整体的操作。例如，系统控制器110使摄像光 学系统控制器106驱动摄像光学系统101。如此，摄像光学系统控制器106根 据F值的拍摄状态设置来控制光圈101a的开口直径。此外，摄像光学系统控 制器106使用自动调焦(AF)机构(未示出)根据被摄体距离来沿着光轴控制或 驱动调焦透镜101b(或者以驱动方式控制调焦透镜101b)。注意，根据用户的 操作，摄像光学系统控制器106可以使用手动调焦机构(未示出)来控制或驱动 调焦透镜101b(或者以驱动方式控制调焦透镜101b)。

尽管没有示出，但摄像光学系统101可以配备有诸如低通滤波器和红外 截止滤波器等的光学装置。在使用诸如低通滤波器等的影响OTF特性的光学 装置的情况下，在生成图像恢复滤波器时考虑到光学装置的特性有时是有益 的。

此外，在使用红外截止滤波器的情况下，该滤波器对各自作为光谱波长 的PSF(点扩散函数)的积分值的RGB通道的各PSF、特别是R通道的PSF产生 影响，因而在生成图像恢复滤波器时还需考虑到该情况。尽管在该例示示例 中示出摄像光学系统101作为集成于照相机的组件，但如用于单镜头反光照 相机的情况那样，摄像光学系统101可以为可更换型。

图2A～2E是用于说明输入至图1所示的图像恢复处理器111的图像(RAW 图像)的示例的图，其中图2A示出RAW图像的RGB平面(拜耳阵列)，图2B～2D 示出各颜色成分的平面，并且图2E示出经过了插值处理的G成分平面的状 态。

参考图2A～2E，将包括各自与单色成分相关联的像素的RAW图像(参见 图2A)输入至图像恢复处理器111。这里，各单色成分平面具有处于部分缺失 状态的信息(参见图2B～2D)。然后，如以下所述，对G成分平面进行像素插 值，由此针对各像素设置与G成分有关的信息(参见图2E)。

图3是图1所示的图像恢复处理器111的框图。此外，图4是图3所示的图 像恢复处理器111所进行的图像恢复处理的流程图。

将参考图3和4来说明图像恢复处理。如上所述，将图2A所示的RAW图 像输入至图像恢复处理器111。在开始图像恢复处理的情况下，恢复前像素 插值部1001对G成分平面进行像素插值，并且输出插值之后的G成分平面(步 骤S201)。通过进行像素插值处理，G成分平面的信息从图2B所示的部分缺失 状态改变为图2E所示的针对各像素设置与G成分有关的信息的状态。

然后，第一色差计算部(R)1002基于插值之后的G成分平面和处于部分 缺失状态的R成分平面(图2C)来计算第一色差信息(Cr1)。同样，第一色差计 算部(B)1003基于插值之后的G成分平面和处于部分缺失状态的B成分平面 (图2D)来计算第一色差信息(Cb1)(步骤S202)。注意，在该计算中，将色差定 义为相对于作为基准颜色的G成分的信号值的差。因此，通过以下的各等式 (6)和(7)来计算色差。

C1r(x,y)＝R(x,y)–G(x,y)...(6)

C1b(x,y)＝B(x,y)–G(x,y)...(7)

在等式(6)和(7)中，(x,y)表示图像上的坐标值，并且C1r和C1b分别表示 R成分和B成分相对于G成分的色差。

注意，不是针对图像的所有像素而是仅针对各自保持对象颜色成分的像 素来计算色差。更具体地，在计算C1r(x,y)时，仅以参考图2C所述的各自保 持R成分的像素作为对象，并且在计算C1b(x,y)时，仅以参考图2D所述的各 自保持B成分的像素作为对象。

对于具有拜耳阵列的摄像装置所进行的像素插值处理，已知有各种像素 插值方法。通常采用的方法是用于使用周围像素的其它颜色成分的像素信息 来生成插值像素的自适应像素插值处理方法。例如，为了通过进行插值处理 来针对一个像素生成R像素值，基于周围像素的G成分和B成分来确定对R像 素值进行插值的方法。不同于简单地对一个颜色成分进行线性插值的方法， 自适应像素插值处理可以减轻插值处理所引起的伪色的生成和锐度的下降。

现在将说明使用自适应像素插值处理方法来进行边缘部的像素插值的 示例。

图5A和5B是用于说明利用自适应像素插值处理方法来进行边缘部的像 素插值的示例的图，其中图5A示出表示边缘部中的亮度的像素值(信号值)的 变化，并且图5B示出图5A中的像素阵列。

如果所例示的边缘部为非彩色，则在获得摄像装置的各像素中的RGB值 的情况下，RGB的各颜色成分具有同一值。在图5B的例示示例中，像素呈包 括像素值100和200的像素阵列。

图6A～6I是用于说明通过使用具有拜耳阵列的摄像装置进行拍摄所获得 的RAW图像的像素阵列的图，其中图6A示出插值之前的G成分平面，图6B 示出插值之前的R成分平面，图6C示出插值之前的B成分平面，图6D示出线 性插值之后的G成分平面，图6E示出线性插值之后的R成分平面，图6F示出 线性插值之后的B成分平面，图6G示出自适应插值之后的G成分平面，图6H 示出自适应插值之后的R成分平面，并且图6I示出自适应插值之后的B成分平 面。

实际上，通过利用具有拜耳阵列的摄像装置进行拍摄所获得的RAW图像 针对各像素具有一个颜色成分，因而在针对各颜色成分提取值的情况下，像 素阵列如图6A～6C所示的各颜色成分平面那样。在各颜色成分平面的像素阵 列中，黑色所示的像素是需要进行插值处理的像素。在这种情况下，理想地， 经过了像素插值处理的各颜色成分具有图5B所示的像素值。

在以下说明中，利用G(x,y)、R(x,y)和B(x,y)来分别表示图6A～6C所示 的像素阵列。在该表示中，x表示水平方向上的坐标，并且y表示垂直方向上 的坐标，其中x和y这两者都是0～4的范围内的值。

如上所述，恢复前像素插值部1001对G成分进行像素插值处理。在像素 插值中，恢复前像素插值部1001进行用于使用周围像素的其它颜色成分的像 素信息来生成插值像素的自适应像素插值处理。在以下说明中，将自适应像 素插值处理简称为自适应插值。

按以下方式针对G成分进行自适应插值。

为了生成具有R成分的值的像素的G成分(例如，为了生成G(1,2))，使用 以下的等式(8)～(11)。

H_DIFF＝(R(x,y)–R(x-2,y))

+(R(x,y)–R(x+2,y))...(8)

V_DIFF＝(R(x,y)–R(x,y-2))

+(R(x,y)–R(x,y+2))...(9)

如果(|H_DIFF|>|V_DIFF|){G(x,y)＝(G(x,y-1)

+G(x,y+1)/2}...(10)

则{G(x,y)＝(G(x-1,y)+G(x+1,y))/2}

...(11)

通过使用等式(8)～(11)，基于根据R成分所确定出的H_DIFF和V_DIFF来 判断插值的方向。这样使得可以减少插值所引起的锐度的下降。图6G示出经 过了自适应插值的G成分平面的示例。为了进行比较，图6D示出代替进行自 适应插值而是通过一般的线性插值进行了像素插值的G成分平面的示例。

通过图6D和6G显而易见，与线性插值相比，自适应插值不会使锐度下 降。尽管针对生成具有R成分的值的像素的G成分的示例给出了上述说明， 但通过插值同样生成了具有B成分的值的像素的G成分(例如，G(2,1))。注意， 恢复前像素插值部1001所进行的像素插值处理不限于上述示例，并且可以采 用任何其它合适的插值方法。

再次参考图3和4，图像恢复滤波器应用部(G)1004、图像恢复滤波器应 用部(R)1005和图像恢复滤波器应用部(B)1006分别选择适合于拍摄条件的 图像恢复滤波器(步骤S203)。如此，可以根据需要校正所选择的各图像恢复 滤波器。例如，为了减少与预先记录在存储部108中的图像恢复滤波器有关 的数据项的数量，可以离散地记录数据项，并且在进行图像恢复处理之前， 可以根据拍摄条件来校正这些数据项，由此生成图像恢复滤波器。

此外，如以上所述，可以根据与生成图像恢复滤波器所需的OTF有关的 数据来生成与拍摄条件相对应的图像恢复滤波器。

然后，图像恢复滤波器应用部(G)1004、图像恢复滤波器应用部(R)1005 和图像恢复滤波器应用部(B)1006分别使用图像恢复滤波器来对各颜色成分 (G,R,B)的像素进行卷积处理(步骤S204)。这样使得可以校正摄像光学系统 101中所产生的像差的非对称性并且消除或减少图像的模糊成分。

图7A和7B是用于说明图像恢复滤波器的示例的图，其中图7A示出图像 恢复滤波器，图7B示出抽头(要与表示滤波器的差分方程中的滤波器系数进 行相乘的各项)和与这些抽头相对应的滤波器系数之间的关系。

图7A所示的图像恢复滤波器是要应用于各像素具有RGB颜色成分中的 关联RGB颜色成分的图像的各颜色平面的图像恢复滤波器的示例。在图像恢 复滤波器中，可以根据摄像光学系统101的像差量来确定抽头数，并且该例 示示例示出具有11×11个抽头的二维滤波器。图像恢复滤波器的各抽头与图 像的一个像素相对应，并且在图像恢复处理中进行卷积处理。

如图7A所示，将分割成不小于100个抽头的二维滤波器设置为图像恢复 滤波器，由此即使针对摄像光学系统101所引起的在从成像位置起延伸的大 区域中发生的像差(诸如球面像差、彗星像差、轴向色像差和非轴向颜色耀 斑等)，也可以进行恢复处理。

在图7A中，省略了各抽头的滤波器系数。图7B示出图7A所示的图像恢 复滤波器的滤波器系数，并且如上所述，可以通过计算或测量摄像光学系统 101的OTF并对OTF的倒数进行逆傅立叶变换来获得该图像恢复滤波器。通 常，需要考虑到噪声的影响，因而可以选择并使用用于生成Wiener滤波器或 与Wiener滤波器有关的图像恢复滤波器的方法。

此外，OTF还可以不仅包括摄像光学系统101的因素，而且包括使输入 至图像处理器104的图像数据劣化的因素。例如，低通滤波器针对OTF的频 率特性抑制高频成分。此外，摄像装置的像素开口的形状和开口率也影响频 率特性。此外，光源的频谱特性和各种波长滤波器的光谱特性影响OTF。期 望基于包括这些因素的广义上的OTF来生成图像恢复滤波器。

此外，在图像是采用RGB格式的彩色图像的情况下，仅需生成与R、G 和B的各颜色成分相关联的三个图像恢复滤波器。摄像光学系统101具有色像 差，从而使模糊在各颜色成分之间不同，因而要求各颜色成分的图像恢复滤 波器使其特性根据色像差而略微不同。

这里，各颜色成分的图像恢复滤波器的特性根据色像差而略微不同，因 而图7B所示的图7A的图像恢复滤波器的滤波器系数的变化针对各颜色成分 而改变。不要求图像恢复滤波器在水平方向和垂直方向上的抽头数相等，即 不要求抽头数呈正方形排列，并且仅在考虑到卷积处理的情况下才可以按照 期望改变抽头的配置。

图8A和8B是用于说明图3所示的图像恢复处理器111所使用的图像恢复 滤波器的示例的图。图8A示出要应用于G成分的图像恢复滤波器的示例，并 且图8B示出要应用于R成分和B成分的图像恢复滤波器的示例。

图8A和8B示出要应用于针对各像素具有一个颜色成分的RAW图像的图 像恢复滤波器的示例。所例示的图像恢复滤波器各自处于仅针对具有对象颜 色成分的各像素设置系数(滤波器系数)的部分缺失状态。在图8A和8B中，利 用白色来表示各自具有滤波器系数的位置(块)，并且利用黑色来表示各自具 有0作为系数的其它位置。在针对R、G和B这三个颜色成分进行图像恢复的 情况下，使用图8A所示的图像恢复滤波器作为要应用于G成分的图像恢复滤 波器。此外，使用图8B所示的图像恢复滤波器作为要应用于R成分和B成分 的图像恢复滤波器。

更具体地，图像恢复滤波器应用部(G)1004进行用于利用图8A所示的图 像恢复滤波器对图5B所示的G成分进行卷积的卷积处理。此外，图像恢复滤 波器应用部(R)1005和图像恢复滤波器应用部(B)1006分别进行用于利用图 8B所示的图像恢复滤波器来对图5B所示的R成分和B成分进行卷积的卷积处 理。

再次参考图3和4，恢复后像素插值部(G)1007对经过了图像恢复的G成 分进行像素插值(步骤S205)。该插值处理与恢复前像素插值部1001所进行的 插值处理相同，并且通过进行插值处理，G成分平面从图2B所示的部分缺失 状态改变为图2E所示的各像素具有G成分的状态。

然后，第二色差计算部(R)1008基于(从恢复后像素插值部(G)1007输出 的)插值之后的G成分平面和(从图像恢复滤波器应用部(R)1005输出的)处于 部分缺失状态的R成分平面来计算第二色差信息(Cr2)。同样，第二色差计算 部(B)1009基于(从恢复后像素插值部(G)1007输出的)插值之后的G成分平面 和(从图像恢复滤波器应用部(B)1006输出的)处于部分缺失状态的B成分平 面来计算第二色差信息(Cb2)(步骤S206)。

该步骤中所进行的色差计算与第一色差计算部(R)1002和第一色差计算 部(B)1003所进行的色差计算相同，并且通过以下的等式(12)和(13)来计算色 差。

C2r(x,y)＝R(x,y)–G(x,y)...(12)

C2b(x,y)＝B(x,y)–G(x,y)...(13)

在等式(12)和(13)中，C2r和C2b分别表示R成分和B成分相对于G成分的 色差。

如上所述，恢复后像素插值部(G)1007仅对G成分平面进行像素插值， 由此可以获取到应用着色抑制处理所需的图像恢复滤波器之后的色差信息。

然后，像素值调整部(R)1010和像素值调整部(B)1011分别获取抑制着色 时所使用的色差判断阈值(步骤S207)。

图9是用于说明图3所示的像素值调整部1010和1011所获取到的色差判 断阈值的图。

像素值调整部(R)1010和像素值调整部(B)1011分别获取第一色差判断 阈值Th0r和Th0b并且分别获取第二色差判断阈值Th1r和Th1b。注意，在图9 中，利用Th0和Th1来分别表示第一色差判断阈值和第二色差判断阈值。

第一色差判断阈值Th0r和Th0b分别是在图像恢复之后的色差C2r和C2b 相对于图像恢复之前的色差C1r和C1b减少的情况下要应用的色差判断阈值。 此外，第二色差判断阈值Th1r和Th1b分别是在图像恢复之后的色差C2r和C2b 相对于图像恢复之前的色差C1r和C1b增加的情况下要应用的色差判断阈值。

注意，在图像恢复之前的色差C1r和C1b是负值的情况下，第一色差判断 阈值Th0r和Th0b分别用作在图像恢复之后的色差C2r和C2b相对于图像恢复 之前的色差C1r和C1b增加的情况下要应用的色差判断阈值。此外，第二色差 判断阈值Th1r和Th1b分别用作在图像恢复之后的色差C2r和C2b相对于图像 恢复之前的色差C1r和C1b减少的情况下要应用的色差判断阈值。

这些第一色差判断阈值和第二色差判断阈值分别是基于各像素中的图 像恢复之前的色差C1r和C1b所计算出的。如通过以下的等式(14)所示，在该 示例中，第一色差判断阈值Th0r和Th0b各自始终等于0。此外，基于图像恢 复之前的色差C1r和C1b，可以通过以下的等式(15)和(16)来分别设置第二色 差判断阈值Th1r和Th1b。

Th0r＝Th0b＝0...(14)

Th1r＝α×C1r...(15)

Th1b＝α×C1b...(16)

接着，像素值调整部(R)1010和像素值调整部(B)1011基于图像恢复之后 的色差C2r和C2b来判断是否需要用于抑制着色的各像素值的调整。在该判断 中，像素值调整部(R)1010和像素值调整部(B)1011将图像恢复之后的色差 C2r和C2b与第一色差判断阈值Th0r和Th0b以及第二色差判断阈值Th1r和 Th1b进行比较，并且基于比较结果来判断各色差是否满足基于相关联的色差 判断阈值的条件(步骤S208)。更具体地，基于与R成分和B成分有关的以下判 断条件1和2来进行该判断，并且如果满足这些条件其中之一，则针对相关联 的颜色成分的像素进行用于抑制着色的像素值调整(步骤S209)。

如果C1r≥0成立，则针对R成分进行以下判断：

判断条件1：C2r<Th0r

判断条件2：C2r>Th1r

如果C1r<0成立，则针对R成分进行以下判断：

判断条件1：C2r>Th0r

判断条件2：C2r<Th1r

如果C1b≥0成立，则针对B成分进行以下判断：

判断条件1：C2b<Th0b

判断条件2：C2b>Th1b

如果C1b<0成立，则针对B成分进行以下判断：

判断条件1：C2b>Th0b

判断条件2：C2b<Th1b

如果满足判断条件1和2其中之一(步骤S208中为“是”)，则像素值调整部 (R)1010和像素值调整部(B)1011进行用于抑制着色的像素值调整。这里，按 以下方式调整各像素值，以使得色差C2r和C2b分别变得等于第一色差判断阈 值Th0r和Th0b、或者分别变得等于第二色差判断阈值Th1r和Th1b。

针对R成分的像素值调整：

如果满足判断条件1，则通过以下的等式(17)来进行像素值调整：

R(x,y)＝G(x,y)+Th0r(x,y)...(17)

如果满足判断条件2，则通过以下的等式(18)来进行像素值调整：

R(x,y)＝G(x,y)+Th1r(x,y)...(18)

针对B成分的像素值调整：

如果满足判断条件1，则通过以下的等式(19)来进行像素值调整：

B(x,y)＝G(x,y)+Th0b(x,y)...(19)

如果满足判断条件2，则通过以下的等式(20)来进行像素值调整：

B(x,y)＝G(x,y)+Th1b(x,y)...(20)

如通过等式(14)～(20)容易理解，在系数α大的情况下，图像恢复之后的 色差的容许范围变大，因而图像恢复之后的信号值的校正量变小，由此减少 了色感的变化。该系数α是根据摄像装置102的噪声量(即，叠加在图像上的 噪声量)所设置的。例如，系统控制器110根据与噪声量相关的ISO感光度信 息设置系数α作为与图像特征量有关的特征量信息。

图10是示出根据与图1所示的摄像装置102的噪声量相关的ISO感光度来 设置系数α的示例的图。

参考图10，在ISO感光度等于100的情况下，将系数α设置为1，并且随着 ISO感光度变高，系数α线性增大。这样使得可以减少着色抑制处理所引起的 色感的变化。

注意，如果系数α过大，则降低了抑制失焦物体上产生的着色的效果， 因而期望考虑到以下所述的着色抑制效果和摄像装置102的噪声特性来通过 实验确定系数α。

然后，像素值调整后像素插值部1012对通过应用各个相关联的图像恢复 滤波器进行了用于抑制着色的像素值调整的R、G和B的各颜色成分进行像素 插值处理(步骤S210)。更具体地，像素值调整后像素插值部1012对来自图像 恢复滤波器应用部(G)1004的输出、来自像素值调整部(R)1010的输出和来自 像素值调整部(B)1011的输出进行像素插值处理。注意，如果在步骤S208中 不满足判断条件1和2(步骤S208中为“否”)，则处理直接进入步骤S210。

在该步骤中，进行用于使用其它周围像素的像素信息来生成插值像素的 自适应插值。这样使得可以使用进行了着色抑制处理的颜色成分来相互进行 像素插值处理。注意，对于像素值调整后像素插值部1012所进行的像素插值 处理，可以采用与针对恢复前像素插值部(G)1001所进行的像素插值处理所 采用的方法相同的方法。

现在，例如将说明用于针对图6B所示的插值之前的R成分使用周围像素 的其它颜色成分的像素信息来生成插值像素的自适应插值。

像素值调整后像素插值部1012通过以下的等式(21)～(26)，使用预先进行 插值的G成分来进行针对R成分的自适应插值。

邻接的左右两侧的像素具有值的情况(例如，R(2,0))

Cr＝(R(x-1,y)–G(x-1,y)

+R(x+1,y)–G(x+1,y))/2...(21)

R(x,y)＝G(x,y)+Cr...(22)

邻接的上下两侧的像素具有值的情况(例如，R(1,1))

Cr＝(R(x,y-1)–G(x,y-1)

+R(x,y+1)–G(x,y+1))/2...(23)

R(x,y)＝G(x,y)+Cr...(24)

邻接的对角两侧的像素具有值的情况(例如，R(2,1))

Cr＝(R(x-1,y-1)–G(x-1,y-1)+R(x+1,y-1)

–G(x+1,y-1)+R(x-1,y+1)–G(x-1,y+1)

+R(x+1,y+1)–G(x+1,y+1))/4...(25)

R(x,y)＝G(x,y)+Cr...(26)

因而，像素值调整后像素插值部1012通过利用从邻接像素获取到的色差 信息(R-G)对R成分进行插值来进行自适应插值。

与针对R成分所进行的自适应插值相同，通过根据邻接像素应用上述三 个模式其中之一来进行针对图6C所示的B成分的自适应插值，由此利用从邻 接像素所获取到的色差信息(B-G)来对B成分进行插值。

图6G～6I示出进行了自适应插值的颜色成分的各颜色平面的示例。注意， 为了比较的目的，图6D～6F示出代替进行自适应插值而是进行线性插值的颜 色成分的各颜色平面的示例。

如图6D～6F所示，在进行了线性插值的情况下，生成“100”和“200”以外 的像素值，并且相对于图5B所示的像素阵列而言，锐度下降。另一方面，在 进行了自适应插值的情况下，图6G～6I所示的像素阵列在R、G和B的成分之 间在像素值方面相等，并且所有这些都与图5B所示的像素阵列一致。

如上所述，通过进行用于使用周围像素的其它颜色成分的像素信息来生 成插值像素的自适应插值，可以生成锐度相对于图5B所示的像素阵列没有下 降的图像。

注意，没有特别限制像素值调整后像素插值部1012所进行的像素插值处 理，但可以采用任何其它合适的自适应插值方法，只要该方法是用于使用周 围像素的其它颜色成分的像素信息来生成插值像素的方法即可。

在步骤S210结束的情况下，图像处理器104终止图像恢复处理，并且进 行利用其它图像处理器112的处理。

注意，即使在一个拍摄条件下，OTF也根据摄像光学系统的视角(像高) 而改变，因而期望根据像高来针对图像的各分割区域改变图像恢复处理。例 如，仅要求在进行卷积处理的同时使图像恢复滤波器在图像上进行扫描，并 且可以针对各区域顺次改变图像恢复滤波器。也就是说，针对图像恢复成分 的各对象像素进行步骤S203。

在本发明的第一实施例中，尽管说明了图像恢复滤波器的应用作为图像 恢复处理，但这并非限制性的。例如，可以通过在图4的处理之前或之后或 期间将图像恢复处理与诸如失真校正处理、周边光量校正处理和噪声降低处 理等的其它处理组合来进行该图像恢复处理。

图11A和11B是用于说明表示对经过了参考图4所述的图像恢复处理的 图像和没有经过图像恢复处理的图像进行显像处理的情况下的边缘部中的 亮度的像素值(信号值)的变化的图。图11A示出低感光度的情况下的亮度的 变化，并且图11B示出高感光度的情况下的亮度的变化。

图11A示出低感光度的情况的示例，并且图像所含有的作为图像恢复中 的着色抑制处理所引起的色感的变化的原因的噪声较少。在图11A的例示示 例中，边缘是失焦物体的边缘，并且针对未进行图像恢复处理(未进行恢复) 的边缘的像素值(信号值)，除非进行着色抑制处理，否则由于进行图像恢复 而导致边缘部中的着色增大。

图12A～12E是用于说明MTF和空间频率特性之间的关系的图。图 12A～12D各自示出摄像光学系统的MTF与应用图像恢复滤波器之后所展现 的空间频率特性之间的关系，并且图12E示出通过应用图像恢复滤波器所引 起的MTF的增减率(恢复增益)。

图12A示出处于聚焦状态的摄像光学系统101的MTF，其中相比G成分， R成分的劣化更大。图12B示出在聚焦状态下应用图像恢复滤波器之后所获 得的MTF，其中G成分和R成分都对MTF进行了适当校正，并且彼此一致。

更具体地，在图12B的例示示例中，将图12A所示的MTF分别乘以图12E 所示的恢复增益，由此对G成分和R成分的MTF都进行了适当校正以彼此一 致。图像恢复滤波器被设计成能够对聚焦物体最佳地进行图像恢复处理，从 而使得可以在聚焦状态下适当地进行图像恢复处理。因此，在被摄体聚焦时， 适当消除了G成分和R成分的模糊，并且还消除了渗色。

另一方面，图12C和12D示出非聚焦状态下的摄像光学系统101的MTF， 其中相比图12A所示的MTF，G成分和R成分这两者都示出不同的特性。图 11A所示的边缘部与图12D所示的MTF相对应。

在将图12D所示的MTF乘以图12E所示的恢复增益的情况下，对R成分进 行了过度校正，结果如参考图11A和11B所述，在进行了恢复处理的边缘部 中发生着色。通过进行上述的图像恢复处理来抑制该着色。也就是说，由于 感光度低，因此相比感光度高的情况，将系数α设置为较小的值，由此可以 充分进行着色抑制。

在图11B的例示示例中，感光度高，并且RAW图像含有大量噪声。在这 种情况下，可以认为从摄像装置上形成的光学图像所获得的图像信息由于噪 声而丢失。因此，感光度低的情况下所发现的失焦物体上发生的着色的程度 相比感光度高的情况变低。此外，由于显像处理中所进行的噪声降低处理而 导致边缘部中发生的着色有时变得不明显。

也就是说，在高感光度的情况下，失焦物体中发生的着色趋于不太明显， 因而相比低感光度的情况，在这种情况下将系数α设置为较大的值，由此减 少着色抑制处理所引起的色感的变化。这样使得可以在感光度高的情况下进 行适当的着色抑制处理。

图13是示出在包含大量噪声的图像的预定区域中沿一条线的图像恢复 之前和之后的各色差的移动平均的图。

假定在预定区域中被摄体的亮度低且颜色的变化小。通过图13显而易 见，在进行参考图4所述的图像恢复处理的情况下，相比参考图20E所述的状 态，色感几乎没有改变。

如上所述，通过根据ISO感光度设置色差判断阈值，可以对包含大量噪 声的图像进行适当的着色抑制处理。

尽管在参考图4所述的步骤S207中系统控制器110输出与噪声量相关的 ISO感光度作为图像特征量，但代替图像特征量，可以输出与图像恢复滤波 器的特性有关的特性特征量。

图14是示出G成分和R成分中所使用的恢复增益的特性的图。

参考图14，增益R和增益G分别表示G成分和R成分所使用的恢复增益的 最大值。通常，随着恢复增益变大，噪声成分也被放大。因此，在该示例中， 根据恢复增益的大小来设置系数α。

图15是示出最大恢复增益和参数Pgain之间的关系的图。

如图15所示，在最大恢复增益等于“1”的情况下，参数Pgain等于“1”，并 且随着最大恢复增益增大，参数Pgain线性增大。将图14所示的增益R和增益 G中的较大一个设置为最大恢复增益，并且根据图15所示的关系来获得与最 大恢复增益相对应的参数Pgain。用参数Pgain替代系数α，并且使用等式(15) 和(16)来分别确定第二色差判断阈值Th1r和Th1b。

此外，针对根据ISO感光度所设置的系数α，根据以下的等式(27)来计算 系数α'，并且通过用系数α'替代系数α，可以通过等式(15)和(16)来分别确定 第二色差判断阈值Th1r和Th1b。

α'＝α×Pgain...(27)

通过如此根据恢复增益的大小进行着色抑制处理，可以减少由于着色抑 制处理而容易发生色感的变化的区域中的色感的变化。

如上所述，在第一实施例中，根据预定条件来设置色差判断阈值，由此 可以适当地抑制图像恢复处理所引起的着色。

接着，将说明作为配备有根据本发明第二实施例的图像处理设备的摄像 设备的照相机。除以下所述的图像恢复处理器外，根据第二实施例的照相机 具有与图1所示的照相机相同的结构。

图16是作为配备有根据第二实施例的图像处理设备的摄像设备的照相 机的图像处理器104中所包括的图像恢复处理器的框图。在图16中，利用相 同的附图标记来表示与图3所示的图像恢复处理器111的组件相同的组件，并 且省略了针对这些组件的说明。

在图16所示的图像恢复处理器中，不使用图像恢复滤波器的ISO感光度 或特性作为特征量信息，而是从图像获得特征量，并且根据所获得的特征量 来设置系数α。

图16所示的图像恢复处理器包括恢复前像素插值部(R)1013、恢复前像 素插值部(B)1014和图像特征量计算部1015(作为与图3的实施例的不同之 处)。恢复前像素插值部(R)1013和恢复前像素插值部(B)1014以与恢复前像 素插值部(G)1001对G成分所进行的处理相同的方式来对R成分和G成分进行 像素插值处理。

将进行了像素插值的从恢复前像素插值部(G)1001、恢复前像素插值部 (R)1013和恢复前像素插值部(B)1014所输出的RGB信号(R信号、G信号、B 信号)输入至图像特征量计算部1015。图像特征量计算部1015基于RGB信号 来计算各像素的色相、饱和度和亮度。图像特征量计算部1015使用预定的转 换公式来将色相、饱和度和亮度转换成HSB颜色空间。

图17A～17C是分别示出图像的色相、饱和度和亮度与参数Ph、Ps和Pb之 间的各关系的示例的图。

如图17A～17C所示，随着色相从值0开始增加，参数Ph减小，并且达到 Ph＝1。之后，即使在色相增加的情况下，在色相的一定范围内，参数Ph也 保持处于Ph＝1。在色相进一步增加得超过该范围的情况下，参数Ph线性增 大。

对于饱和度，即使在饱和度从0开始增加的情况下，参数Ps也保持处于 固定值，但在饱和度达到预定值的情况下，参数Ps开始逐渐减小为Ps＝1。 对于亮度，参数Pb相对于亮度以与Ps相对于饱和度的方式基本相同的方式进 行改变。

图像特征量计算部1015从图17A～17C所示的示出图像的色相、饱和度和 亮度与参数Ph、Ps和Pb之间的关系的图分别获得与色相、饱和度和亮度相对 应的参数Ph、Ps和Pb。然后，图像特征量计算部1015使用所获得的参数Ph、 Ps和Pb来根据以下的等式(28)计算参数Phsb作为图像特征量。

Phsb＝Ph×Ps×Pb...(28)

像素值调整部(R)1010和像素值调整部(B)1011分别通过用参数Phsb替 代参数α并且使用等式(15)和(16)来确定第二色差判断阈值Th1r和Th1b。

可选地，像素值调整部(R)1010和像素值调整部(B)1011可以以第一实施 例所述的方式来根据ISO感光度计算系数α。然后，像素值调整部(R)1010和 像素值调整部(B)1011分别可以通过以下的等式(29)基于系数α来计算系数 α'，并且使用等式(15)和(16)基于系数α'来计算第二色差判断阈值Th1r和 Th1b。

α'＝α×Phsb...(29)

如上所述，通过根据图像的色相、饱和度和亮度进行着色抑制处理，可 以以使诸如人类肤色等的色感的变化明显的颜色专门化的方式来减少着色 抑制处理中的色感的变化。

尽管在图像恢复处理之后进行图像显影时进行颜色再现处理，但图像恢 复处理所引起的色差的变化如何促成最终图像的色感根据颜色再现处理而 改变。因此，在颜色再现处理中，可以根据敏感地影响最终图像的色感的变 化的颜色(颜色空间中的特定区域)来设置色差判断阈值。

此外，尽管以上说明了噪声成分是着色抑制处理中的色感的变化的原 因，但对进行了白平衡处理的图像进行图像恢复处理，因而噪声成分因白平 衡处理中所使用的RGB增益值而改变。这意味着噪声成分的大小随着颜色而 改变。因此，可以根据因白平衡处理而导致噪声增加的颜色来设置色差判断 阈值。

在上述示例中，图像特征量计算部1015基于色相、饱和度和亮度来计算 图像特征量。另一方面，在计算图像特征量时，可以使用表示边缘部中的像 素值变化量的大小的边缘强度。注意，可以通过例如向图像应用已知的差分 滤波器来确定边缘强度。

图18是示出边缘强度和参数Pedge之间的关系的示例的图。

如图18所示，参数Pedge随着边缘强度的增加而逐渐减小。图像特征量 计算部1015根据图18所示的边缘强度和参数Pedge之间的关系来确定依赖于 边缘强度的参数Pedge作为图像特征量。

接着，像素值调整部(R)1010和像素值调整部(B)1011分别通过用参数 Pedge替代参数α并且使用等式(15)和(16)来确定第二色差判断阈值Th1r和 Th1b。

可选地，如以下的等式(30)所示，像素值调整部(R)1010和像素值调整部 (B)1011可以通过将上述等式(29)所计算出的参数α'乘以参数Pedge来计算参 数α”。然后，像素值调整部(R)1010和像素值调整部(B)1011可以分别使用等 式(15)和(16)基于系数α”来计算第二色差判断阈值Th1r和Th1b。

α”＝α'×Pedge...(30)

考虑到在图像恢复处理中在失焦物体上发生的着色主要在边缘部上变 得明显这一事实，可以根据边缘强度来设置第二色差判断阈值Th1r和Th1b。 如此，可以进行如下的处理：抑制边缘部中的着色的发生，并且减少着色抑 制处理所引起的平坦部中的色感的变化。

尽管在上述示例中第一色差判断阈值Th0r和Th0b始终等于0，但第一色 差判断阈值Th0r和Th0b并非必须等于0。

图19是示出作为配备有根据第二实施例的图像处理设备的摄像设备的 照相机所使用的色差判断阈值的图。

参考图19，与使用系数α所设置的第二色差判断阈值Th1r和Th1b相同， 基于第一色差判断阈值Th0r和Th0b所用的系数来确定第一色差判断阈值 Th0r和Th0b。

通过如上设置第一色差判断阈值Th0r和Th0b，色差增加和减少的情况下 发生的色差抑制量的不同之处变小，因而色感的变化变小。在这种情况下， 这样减轻了图像恢复所引起的渗色校正的效果，因而期望通过考虑到拍摄所 使用的摄像光学系统的特性，以与根据上述边缘强度进行的阈值设置相组合 的方式来设置第一色差判断阈值Th0r和Th0b。

如上所述，同样在本发明的第二实施例中，可以适当地抑制图像恢复处 理所引起的着色。

在上述实施例中，尽管仅针对输入至各色差计算部的RGB成分中的G成 分进行像素插值，但可以通过针对所有的RGB成分进行像素插值来确定各像 素的色差。

如通过上述说明显而易见，在图3的例示示例中，恢复前像素插值部(G) 1001、第一色差计算部(R)1002和第一色差计算部(B)1003用作第一计算单 元，并且图像恢复滤波器应用部(G)1004、图像恢复滤波器应用部(R)1005 和图像恢复滤波器应用部(B)1006用作恢复处理单元。此外，恢复后像素插 值部(G)1007、第二色差计算部(R)1008和第二色差计算部(B)1009用作第二 计算单元，并且像素值调整部(R)1010和像素值调整部(B)1011用作校正单 元。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于 所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有 这类修改、等同结构和功能。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种 存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统 或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程 序的方法。

本申请要求2014年4月25日提交的日本专利申请2014-091349的优先权， 在此通过引用包含其全部内容。