图像信号处理装置、图像信号处理程序、图像信号处理方法

摘要

本发明提供图像信号处理装置、图像信号处理程序、图像信号处理方法。图像信号处理装置具有：第1灰度校正部(1002)，其对来自CCD(102)和A/D转换部(104)的数字化的图像信号进行空间变化的灰度转换处理，由此生成第1图像信号；第2灰度校正部(1003)，其对来自CCD(102)和A/D转换部(104)的数字化的图像信号进行空间不变的灰度校正处理，由此生成第2图像信号；以及合成部(1004)，其设定第1图像信号的合成比率(R1)和第2图像信号的合成比率(R2)，根据所设定的合成比率(R1、R2)，对第1图像信号和第2图像信号进行合成。

说明书

技术领域

本发明涉及用于对来自摄像元件的数字化的图像信号进行图像信号处理的图像信号处理装置、图像信号处理程序、图像信号处理方法。

背景技术

对图像信号进行各种图像信号处理，其中之一是灰度转换处理。

该灰度转换处理包含如下处理：在图像信号是数字化的信号的情况下，在转换前后比特数变化的处理和比特数不变化的处理。其中，例如在比特数不变化的处理中，进行灰度转换时，产生灰度值被解压的亮度区域和灰度值被压缩的亮度区域。而且，灰度值被压缩的亮度区域的灰度特性减弱，特别地，在高亮度区域中产生白斑，在低亮度区域中产生黑斑，其成为画质方面的课题。

针对这种课题，例如在日本特开平5-64075号公报中记载了如下技术：针对同一摄影场景取得曝光量不同的多个图像，通过曝光量少的图像中的对应区域来置换曝光量多的图像中的高亮度区域的技术，或者，通过曝光量多的图像中的对应区域来置换曝光量少的图像中的低亮度区域的技术。而且，通过使用这种技术，能够抑制白斑区域和黑斑区域的产生，并改善画质。

并且，例如在日本专利第3465226号中记载了如下技术：作为空间变化的灰度转换技术的一例，对图像的纹理进行解析，根据解析结果将图像分割为多个区域，针对每个区域使用独立的灰度特性进行灰度转换。由此，即使是明暗比大的场景，也能够良好地抑制白斑和黑斑区域。

但是，在日本特开2005-303802号公报中记载了如下技术：估计噪声量，根据估计出的噪声量进行噪声降低处理。在该公报所记载的噪声量的估计技术中，不仅根据信号电平来估计噪声量，而且进一步根据针对摄影而动态变化的ISO灵敏度，针对每个颜色信号进行估计。

但是，在上述日本特开平5-64075号公报所记载的技术中，由于是强行合成曝光量不同的多个图像的技术，所以，产生灰度的不连续性。进而，在使用单一摄像元件取得图像的情况下，必须调整曝光量并进行多次摄像，所以，在动态被摄体等的摄影中难以使用。

并且，在上述日本专利第3465226号所记载的技术中，由于是对所拍摄的图像进行解析并自动进行灰度转换的技术，所以，无法针对每个图像人为地调整灰度特性，难以像期望的那样控制改善效果。

发明内容

本发明是鉴于上述情况而完成的，其目的在于，提供如下的图像信号处理装置、图像信号处理程序、图像信号处理方法：能够降低白斑和黑斑等并改善画质，能够控制画质改善的程度。

为了达成上述目的，本发明的图像信号处理装置对来自摄像元件的数字化的图像信号进行图像信号处理，该图像信号处理装置具有：第1灰度转换处理单元，其对上述图像信号进行空间变化的灰度转换处理，由此生成第1图像信号；第2灰度转换处理单元，其对上述图像信号进行空间不变的灰度校正处理，由此生成第2图像信号；以及合成单元，其对上述第1图像信号和上述第2图像信号进行合成。

并且，本发明的图像信号处理程序用于使计算机对来自摄像元件的数字化的图像信号进行图像信号处理，该图像信号处理程序用于使计算机执行以下步骤：第1灰度转换处理步骤，在该步骤中，对上述图像信号进行空间变化的灰度转换处理，由此生成第1图像信号；第2灰度转换处理步骤，在该步骤中，对上述图像信号进行空间不变的灰度校正处理，由此生成第2图像信号；以及合成步骤，在该步骤中，对上述第1图像信号和上述第2图像信号进行合成。

进而，本发明的图像信号处理方法用于对来自摄像元件的数字化的图像信号进行图像信号处理，该图像信号处理方法具有以下步骤：第1灰度转换处理步骤，在该步骤中，对上述图像信号进行空间变化的灰度转换处理，由此生成第1图像信号；第2灰度转换处理步骤，在该步骤中，对上述图像信号进行空间不变的灰度校正处理，由此生成第2图像信号；以及合成步骤，在该步骤中，对上述第1图像信号和上述第2图像信号进行合成。

附图说明

图1是示出本发明的实施方式1的图像信号处理装置的结构的框图。

图2是示出上述实施方式1的图像信号判断部的结构的一例的框图。

图3是示出上述实施方式1的γ特性数据的线图。

图4是示出在上述实施方式1中根据亮度值来线性改变合成比率R1ij、R2ij的例子的线图。

图5是示出上述实施方式1的特定亮度区域检测部的结构的一例的框图。

图6是示出上述实施方式1的灰度转换部的结构的一例的框图。

图7是示出上述实施方式1的合成部的结构的一例的框图。

图8是示出在上述实施方式1中根据亮度值来非线性改变合成比率R1ij、R2ij的例子的线图。

图9是示出在上述实施方式1中根据亮度值来线性改变合成比率R1ij、R2ij并降低暗部噪声的例子的线图。

图10是示出上述实施方式1的图像信号处理程序的处理的流程图。

图11是示出上述实施方式1的图10的步骤S2中的高亮度信号的检测处理的详细情况的流程图。

图12是示出上述实施方式1的图10的步骤S6中的合成处理的详细情况的流程图。

图13是示出本发明的实施方式2的图像信号处理装置的结构的框图。

图14是示出上述实施方式2的特定亮度区域检测部的结构的一例的框图。

图15是示出上述实施方式2的灰度转换部的结构的一例的框图。

图16是示出上述实施方式2的第2灰度校正部的结构的一例的框图。

图17是示出在上述实施方式2中通过对制图γ特性数据和显示装置用γ特性数据进行合成而得到的γ特性数据的线图。

图18是示出在上述实施方式2中存在高亮度图像信号和低亮度图像信号双方时的合成比率的设定例的线图。

图19是示出在上述实施方式2中仅存在低亮度图像信号时的合成比率的设定例的线图。

图20是示出在上述实施方式2中仅存在高亮度图像信号时的合成比率的设定例的线图。

图21是示出上述实施方式2的颜色偏差降低部的结构的一例的框图。

图22是示出上述实施方式2的图像信号处理程序的处理的流程图。

图23是示出上述实施方式2的图22的步骤S22中的高、低亮度信号的检测处理的详细情况的流程图。

具体实施方式

下面，参照附图说明本发明的实施方式。

[实施方式1]

图1～图12示出本发明的实施方式1，图1是示出图像信号处理装置的结构的框图。

该图像信号处理装置构成为具有：镜头系统100、光圈101、作为摄像元件的CCD 102、放大部103、A/D转换部104、缓存部105、图像信号判断部106、灰度转换部107、作为画质劣化信息取得单元和画质校正单元的噪声降低部108、显示部109、ROM 110、控制部111、以及作为阈值设定单元的阈值输入单元的外部I/F部112。即，本实施方式的图像信号处理装置构成为具有镜头系统100、光圈101、CCD 102、放大部103、A/D转换部104等的摄像部的摄像装置。

经由镜头系统100、光圈101、CCD 102拍摄并输出的模拟图像信号通过放大部103放大。由该放大部103放大的模拟图像信号通过A/D转换部104转换为数字信号，并转送到缓存部105。

缓存部105经由图像信号判断部106、灰度转换部107、噪声降低部108与显示部109连接。ROM 110与图像信号判断部106、灰度转换部107、噪声降低部108连接。

控制部111例如由微型计算机等构成，与放大部103、A/D转换部104、缓存部105、图像信号判断部106、灰度转换部107、噪声降低部108、显示部109、ROM 110、外部I/F部112双向连接，并对它们进行控制。

这里，外部I/F部112是具有电源开关、快门按钮等的接口。

接着，沿着图像信号流，说明图1所示的图像信号处理装置的作用。

当经由外部I/F部112按下快门按钮后，摄像装置即该图像信号处理装置如以下说明的那样进行摄影所涉及的各种处理。

镜头系统100在CCD 102的摄像面上形成被摄体的光学像。

光圈101通过规定由镜头系统100成像的被摄体光束的通过范围，变更在CCD 102的摄像面上形成的光学像的明亮度。

CCD 102对所形成的光学像进行光电转换，作为模拟图像信号输出。此时输出的模拟图像信号是进行了公知的相关双重取样等的信号。

另外，在本实施方式中，作为CCD 102，假设在前面配置了拜耳(Bayer)型的原色滤色器的单板CCD。因此，在该假设下，从CCD 102输出的图像信号是由R(红)、G(绿)、B(蓝)三种成分构成的彩色图像信号。

放大部103根据控制部111的控制，放大来自CCD 102的模拟图像信号。

A/D转换部104将由放大部103放大的模拟图像信号转换为数字图像信号，并转送到缓存部105。

缓存部105存储从A/D转换部104转送的图像信号。

图像信号判断部106从ROM 110中读出用于判定图像信号是否是高亮度图像信号的阈值(高亮度阈值)。然后，图像信号判断部106根据所读出的高亮度阈值，判定从缓存部105转送的图像信号中是否存在高亮度图像信号，生成高亮度判定结果。

然后，图像信号判断部106向灰度转换部107转送高亮度判定结果和图像信号(另外，在图1和其他各框图中，粗实线所示的信号至少包含图像信号，但是有时也包含图像信号以外的信号。)。

灰度转换部107根据转送来的高亮度判定结果，对该图像信号进行与图像信号对应的灰度转换处理，向噪声降低部108转送处理后的图像信号。

噪声降低部108对转送来的图像信号进行噪声降低处理，向显示部109转送处理后的图像信号。

显示部109根据转送来的图像信号进行显示。

接着，图2是示出图像信号判断部106的结构的一例的框图。

该图像信号判断部106构成为具有：亮度信号转换部401以及作为合成比率设定单元的特定亮度区域检测部402。

缓存部105经由亮度信号转换部401、特定亮度区域检测部402与灰度转换部107连接。ROM 110与特定亮度区域检测部402连接。控制部111与亮度信号转换部401、特定亮度区域检测部402双向连接，并对它们进行控制。

在本实施方式中，亮度信号转换部401根据从缓存部105以像素单位转送来的像素位置(i，j)(这里，i表示图像信号的横向的坐标值，j表示图像信号的纵向的坐标值。)的RGB图像信号(Rij：R信号、Gij：G信号、Bij：B信号)，如以下式1所示，针对每个像素计算亮度值Kij。

[式1]

Kij＝A1×Rij+A2×Gij+A3×Bij

这里，A1、A2、A3是在计算亮度值Kij时分别与R信号Rij、G信号Gij、B信号Bij相乘的规定的常数。

接着，特定亮度区域检测部402从ROM 110中读出用于判断高亮度图像信号的高亮度阈值，对所读出的高亮度阈值和从缓存部105以像素单位转送来的亮度值Kij进行比较。特定亮度区域检测部402在亮度值Kij大于高亮度阈值的情况下，判断为该像素的图像信号是高亮度图像信号。特定亮度区域检测部402针对图像所包含的全部像素进行这种比较，对判断为是高亮度图像信号的像素的数量进行计数。然后，特定亮度区域检测部402对针对全部像素进行了处理后的计数器值和从ROM 110中读出的规定阈值进行比较，在计数器值大于规定阈值的情况下，将图像中存在高亮度图像信号作为高亮度判定结果，在计数器值小于等于规定阈值的情况下，将图像中不存在高亮度图像信号作为高亮度判定结果。

然后，特定亮度区域检测部402向灰度转换部107转送高亮度判定结果和图像信号。

另外，在上述中，预先在ROM 110中存储用于判断高亮度图像信号的高亮度阈值，特定亮度区域检测部402从ROM 110中读出该高亮度阈值并使用，但是不限于此，也可以指定高亮度阈值。这里，作为指定高亮度阈值的单元的例子，可以列举用户经由外部I/F部112手动设定的手段、和根据显示部109所包含的显示装置的γ特性等自动设定的手段。

这里，作为手动设定的手段，用户可以经由外部I/F部112手动设定期望的高亮度阈值，或者，也可以是如下手段：在ROM 110中预先准备多个高亮度阈值，用户经由外部I/F部112指定这些高亮度阈值内的任一个。

并且，在采用自动设定高亮度阈值的手段的情况下，考虑如以下图5所示那样构成特定亮度区域检测部402。

图5是示出特定亮度区域检测部402的结构的一例的框图。

该特定亮度区域检测部402构成为具有：γ(伽马)特性数据提取部4021、作为阈值设定单元的高亮度区域阈值检测部4022、以及作为特定亮度区域检测单元的高亮度区域判断部4023。

亮度信号转换部401经由γ特性数据提取部4021、高亮度区域阈值检测部4022、高亮度区域判断部4023与灰度转换部107连接。ROM 110与γ特性数据提取部4021、高亮度区域阈值检测部4022、高亮度区域判断部4023连接。控制部111与γ特性数据提取部4021、高亮度区域阈值检测部4022、高亮度区域判断部4023双向连接，并对它们进行控制。

并且，设ROM 110预先存储多种γ特性数据。

当进行空间不变的灰度转换时，有时产生转换前不是白斑的图像信号在转换后成为白斑的现象。其原因是，例如在使用后述图3所示的灰度转换曲线(γ特性数据)的情况下，高亮度区域中的γ特性数据的梯度大致水平，所以，当对该高亮度区域的图像信号进行灰度转换时，转换后几乎没有浓淡变化。因此，如果检测到灰度转换曲线的斜率小的部分，则能够自动指定高亮度阈值。

参照图3说明图5所示的特定亮度区域检测部402的基于这种原理的作用。这里，图3是示出γ特性数据的线图。

首先，γ特性数据提取部4021根据控制部111的控制，从ROM 110中提取与显示部109所包含的规定的显示装置对应的γ特性数据。然后，γ特性数据提取部4021向高亮度区域阈值检测部4022转送所提取的γ特性数据和来自亮度信号转换部401的亮度值Kij。

接着，高亮度区域阈值检测部4022从ROM 110中读出判定为是白斑的规定角度ΔTH。然后，高亮度区域阈值检测部4022根据来自γ特性数据提取部4021的γ特性数据和从ROM 110读出的角度ΔTH，如以下说明的那样，计算关注点的倾斜角度Δ。

这里，例如在进行从8比特(256灰度)的图像信号到8比特的图像信号的灰度转换的情况下，与显示装置对应的γ特性数据成为与0～255的输入电平对应的256点的数据。另外，输出电平与输入电平同样，也是0～255。

现在，按照从小到大的顺序设第x个输入电平为Nxi，与该输入电平Nxi对应的输出电平为Nxo，设(Nxi，Nxo)为关注点。进而，设与最大输入电平255对应的输出电平为N255o，设(255，N255o)为最大点。

此时，如以下的式2所示，一边按照输入电平从大到小的顺序移动关注点，一边计算通过关注点和最大点的直线的倾斜角度Δ。

[式2]

Δ＝arctan{(N255o-Nxo)/(255-Nxi)}

然后，将根据关注点的移动而依次计算出的倾斜角度Δ(式2)首次小于从ROM 110读出的规定角度ΔTH时的关注点的输入电平，设为高亮度阈值STh。

然后，高亮度区域阈值检测部4022向高亮度区域判断部4023转送检测到的高亮度阈值STh和经由γ特性数据提取部4021转送的亮度值Kij。

高亮度区域判断部4023将以像素单位转送来的亮度值Kij与转送来的高亮度阈值STh进行比较，在亮度值Kij大于高亮度阈值STh的情况下，判断为该像素的图像信号是高亮度图像信号。

高亮度区域判断部4023针对图像所包含的全部像素进行这种比较，对判断为是高亮度图像信号的像素的数量进行计数。然后，特定亮度区域检测部402对针对全部像素进行了处理后的计数器值和从ROM 110中读出的规定阈值进行比较，在计数器值大于规定阈值的情况下，将图像中存在高亮度图像信号作为高亮度判定结果，在计数器值小于等于规定阈值的情况下，将图像中不存在高亮度图像信号作为高亮度判定结果。

然后，高亮度区域判断部4023向灰度转换部107转送高亮度判定结果和经由亮度信号转换部401、γ特性数据提取部4021、高亮度区域阈值检测部4022依次转送来的图像信号。进而，高亮度区域判断部4023还根据需要向灰度转换部107转送高亮度阈值STh。

另外，将与γ特性数据对应的由上述各输入电平和各输出电平构成的斜率Δ的信息预先保存在ROM 110中，在自动指定阈值时，从ROM 110中以升序读出各斜率Δ信息，在小于认定为是白斑的角度的斜率首次出现的情况下，也可以将与该斜率Δ对应的输入值设定为阈值。

并且，也可以构成为，将基于与不同显示装置对应的γ特性数据的阈值预先保存在ROM 110中，在对图像信号进行处理时，提取基于与规定显示装置对应的γ特性数据的阈值。

接着，图6是示出灰度转换部107的结构的一例的框图。

该灰度转换部107构成为具有：缓存部1001、作为第1灰度转换处理单元的第1灰度校正部1002、作为第2灰度转换处理单元的第2灰度校正部1003、作为合成单元的合成部1004、以及RAM 1005。

图像信号判断部106与缓存部1001和RAM 1005连接。缓存部1001与第1灰度校正部1002和第2灰度校正部1003连接。第1灰度校正部1002和第2灰度校正部1003与合成部1004连接。第2灰度校正部1003和合成部1004与噪声降低部108连接。RAM 1005与第1灰度校正部1002、第2灰度校正部1003、合成部1004连接。ROM 110与第2灰度校正部1003和合成部1004连接。

控制部111与缓存部1001、第1灰度校正部1002、第2灰度校正部1003、合成部1004以及RAM 1005双向连接，并对它们进行控制。

来自图像信号判断部106的图像信号保存在缓存部1001中，来自图像信号判断部106的高亮度判定结果保存在RAM 1005中。并且，在从图像信号判断部106转送高亮度阈值STh的情况下，该高亮度阈值STh也保存在RAM 1005中。

灰度转换部107根据控制部111的控制，从RAM 1005中提取高亮度判定结果，判定是否存在高亮度图像信号。然后，灰度转换部107在判定为存在高亮度图像信号的情况下，根据控制部111的控制，向第1灰度校正部1002和第2灰度校正部1003转送缓存部1001内的图像信号。另一方面，灰度转换部107在判定为不存在高亮度图像信号的情况下，根据控制部111的控制，仅向第2灰度校正部1003转送缓存部1001内的图像信号。

作为具体的处理，第1灰度校正部1002进行例如上述日本专利第3465226号所记载的空间变化的灰度转换处理。另外，空间变化的灰度转换处理是指如下的处理：针对作为处理对象的图像的每个像素或每个区域(以下有时将它们统称为“每个区域”)确定灰度转换的特性，使用针对该每个区域确定的灰度转换的特性，对各区域进行灰度转换。在本实施方式中，第1灰度校正部1002通过以下具体说明的手法，进行空间变化的灰度转换处理。

即，首先，第1灰度校正部1002最初针对每个区域生成亮度直方图。接着，第1灰度校正部1002决定用于确定亮度直方图的平滑化程度的剪辑值，根据该剪辑值对上述亮度直方图进行剪辑，进而，根据剪辑后的亮度直方图生成累计直方图。最后，第1灰度校正部1002将累计直方图作为表现灰度转换的特性的灰度转换曲线，生成基于该灰度转换曲线的灰度转换数据。然后，针对所输入的图像信号的每个区域，使用每个区域的灰度转换数据进行灰度转换处理。然后，第1灰度校正部1002向合成部1004转送灰度转换处理后的图像信号。

并且，第2灰度校正部1003从ROM 110中提取与显示部109的显示装置对应的γ特性数据，针对从缓存部1001转送来的图像信号进行空间不变的灰度转换处理。另外，空间不变的灰度转换处理是指如下的处理：针对作为处理对象的图像，不针对每个区域确定灰度转换的特性，而是使用与区域无关的固定的灰度转换的特性，对图像进行灰度转换。第2灰度校正部1003根据控制部111的控制，在存在高亮度图像信号的情况下，向合成部1004转送处理后的图像信号，在不存在高亮度图像信号的情况下，向噪声降低部108转送处理后的图像信号。

合成部1004使用从第1灰度校正部1002转送来的空间变化的灰度转换图像和从第2灰度校正部1003转送来的空间不变的灰度转换图像，进行图像合成处理，向噪声降低部108转送合成后的图像信号。

图7是示出合成部1004的结构的一例的框图。

该合成部1004构成为具有：缓存部901、缓存部902、作为合成比率设定单元和合成比率计算单元的合成比率设定部903、以及混合部904。

第1灰度校正部1002经由缓存部901与混合部904连接。第2灰度校正部1003经由缓存部902和合成比率设定部903与混合部904连接。混合部904与噪声降低部108连接。ROM 110与合成比率设定部903连接。RAM 1005与合成比率设定部903和混合部904连接。

控制部111与缓存部901、缓存部902、合成比率设定部903、混合部904双向连接，并对它们进行控制。

从第1灰度校正部1002转送来的空间变化的灰度转换处理后的图像信号(以下适当地称为“第1图像信号”)被存储在缓存部901中。

并且，从第2灰度校正部1003转送来的空间不变的灰度转换处理后的图像信号(以下适当地称为“第2图像信号”)被存储在缓存部902中。

合成比率设定部903设定对第1图像信号和第2图像信号进行合成时的比率、即第1图像信号的合成比率R1和第2图像信号的合成比率R2。这里，能够通过各种方法进行合成比率R1和合成比率R2的设定。

首先，作为设定这些合成比率R1和合成比率R2的第1方法，列举变动地设定合成比率R1、R2的方法。该方法是如下的方法：合成比率设定部903根据控制部111的控制，从RAM 1005中提取上述这种高亮度阈值STh(参照图3)，根据该高亮度阈值STh来设定合成比率R1和合成比率R2。

具体而言，列举如下手段：在通过高亮度区域判断部4023判断为存在高亮度图像信号时，根据图像中的高亮度区域的面积和整个图像的面积之间的比率，来设定合成比率R1、R2。这里，面积不需要是实际的面积，也可以代用高亮度区域所包含的像素的像素数和整个图像所包含的像素的像素数。即，在本实施方式中，只要将整个图像信号中输入亮度值大于高亮度阈值STh的像素的计数数看作高亮度区域的面积，将整个图像信号所包含的全部像素的计数数看作整个图像的面积即可。这样，在根据高亮度区域的面积和整个图像的面积之间的比率来设定合成比率R1、R2的情况下，例如可以根据式3、式4所表现的关系来设定合成比率R1、R2。

[式3]

R1＝T×(Sh/Sa)

[式4]

R2＝1-R1

这里，Sh表示高亮度区域的面积，Sa表示整个图像的面积，T表示常数(0≤T≤1)，设R1满足条件“0≤R1≤1”，R1和R2满足条件“R1+R2＝1”(因此，R2满足条件“0≤R2≤1”)。

另外，在上述中，根据式3和式4求出合成比率，但是，当然不限于此，只要是能够根据高亮度区域的面积和整个图像的面积之间的比率来设定合成比率的关系式，则也可以根据其他关系式来设定合成比率。

并且，作为变动地设定合成比率R1和合成比率R2的其他方法，可以列举使用根据处理对象的图像信号的特性而确定的变动的合成比率的方法。

接着，作为设定合成比率R1和合成比率R2的第2方法，列举固定地设定合成比率R1、R2的方法。

作为该方法，例如可以列举如下方法：在ROM 110中存储预先确定的固定的合成比率R1、R2，从ROM 110中读出该合成比率R1、R2进行使用。

或者，用户例如也可以经由外部I/F部112来设定合成比率。此时，用户能够经由外部I/F部112自由地设定合成比率，也可以在ROM 110中预先存储多组合成比率，用户经由外部I/F部112指定这些多组合成比率中的一组来进行设定。该情况下，存在如下优点：易于人为地控制使用空间变化的灰度转换处理的灰度的改善效果。

接着，混合部904使用由合成比率设定部903(如上所述变动地或固定地)设定的合成比率R1、R2，例如如式5所示，对第1图像信号和第2图像信号进行合成。

[式5]

Fij＝R1×Mij+R2×Nij

这里，Mij是第1图像信号的像素位置(i，j)的亮度值，Nij是第2图像信号的像素位置(i，j)的亮度值，Fij是合成后的图像信号的像素位置(i，j)的亮度值。

这样，使用合成比率R1、R2对第1图像信号和第2图像信号进行合成，由此，能够确保高亮度区域的灰度。

另外，在上述中，根据式5进行合成，但是不限于此，只要使用由合成比率设定部903设定的合成比率R1、R2，则也可以根据其他关系式进行合成。

而且，在上述中，示出针对图像信号的全部像素设定统一的(空间不变的)合成比率的例子，但是不需要限定于此。例如，也可以针对构成图像信号的各个像素设定不同的(空间变化的)合成比率。

作为针对每个像素设定不同的合成比率的具体例子，可以列举根据亮度值来改变合成比率R1、R2的例子。参照图4对其进行说明。这里，图4是示出根据亮度值来线性改变合成比率R1ij、R2ij的例子的线图。

另外，这里说明的合成比率是针对每个像素位置(i，j)而不同的合成比率，所以，通过合成比率R1ij来表记像素位置(i，j)的合成比率R1，通过合成比率R2ij来表记像素位置(i，j)的合成比率R2。并且，在图7所示的结构中，输入到合成比率设定部903的亮度值是进行了空间不变的灰度转换处理的亮度值，通过Pij来表记该亮度值。

图4所示的合成比率R1ij、R2ij的设定例如下所述。

首先，在亮度值Pij大于高亮度阈值STh的情况下，将空间变化的灰度转换图像的合成比率R1ij设定为T，将空间不变的灰度转换图像的合成比率R2ij设定为(1-T)(这里，T是大于等于0且小于等于1的常数)。即，针对由亮度值大于高亮度阈值STh的像素构成的图像信号区域，使用合成比率T对第1图像信号和第2图像信号进行合成。

与此相对，在亮度值Pij小于等于高亮度阈值STh的情况下，合成比率R1ij设定为随着图像信号的亮度值增大而递增(参照图4和式6)，合成比率R2ij设定为随着图像信号的亮度值增大而递减(参照图4和式7)。但是，此时，合成比率R1ij的最小值(对应于亮度值0)设定为(1-T)，合成比率R2ij的最大值(对应于亮度值0)设定为T。

[式6]

R1ij＝(1-T)+{(2T-1)/STh}×Pij

[式7]

R2ij＝1-R1ij

另外，在式6和式7中，设定为合成比率R1ij、R2ij根据亮度值线性递增或递减，但是不一定必须这样设定。即，只要设定为随着亮度值增大，第1图像信号(对应于空间变化)的合成比率R1ij增大、第2图像信号(对应于空间不变)的合成比率R2ij减小，则能够使用适当的曲线等。

例如，也可以是合成比率R1ij相对于亮度值的增加而非线性递增，合成比率R2ij相对于亮度值的增加而非线性递减。图8示出这种设定的具体例子。这里，图8是示出根据亮度值来非线性改变合成比率R1ij、R2ij的例子的线图。在该图8所示的例子中，合成比率R1ij在递增区域中为上凸的函数形状，合成比率R2ij在递减区域中为下凸的函数形状。进而，在该图8所示的例子中，与亮度值0对应的合成比率R1ij的最小值为0，与亮度值0对应的合成比率R2ij的最大值为1。并且，当亮度值Pij大于高亮度阈值STh时，与图4所示的例子相同。

这样，在根据亮度值针对每个像素来设定合成比率R1ij和合成比率R2ij的情况下，存在如下优点：能够根据亮度值灵活地确保各亮度区域的灰度。

另外，在上述中，根据进行了空间不变的灰度转换处理的亮度值Pij，来计算每个像素的合成比率R1ij、R2ij，但是不限于此，例如，也可以根据由上述亮度信号转换部401如式1所示那样计算出的灰度转换处理前的亮度值Kij，来计算每个像素的合成比率R1ij、R2ij。

并且，上述空间变化的灰度转换处理无法人为地调整每个区域的灰度特性，所以，当例如应用于图像的低亮度区域时，可能强调暗部的噪声电平。参照图9说明用于对其进行改善的合成比率的设定例。这里，图9是示出根据亮度值来线性改变合成比率R1ij、R2ij并降低暗部噪声的例子的线图。

在该图9所示的例子中，设定低亮度阈值STl，在亮度值Pij小于该低亮度阈值STl的情况下，将合成比率R1ij设定为0并将合成比率R2ij设定为1。即，针对由亮度值小于低亮度阈值STl的像素构成的图像信号区域，不使用空间变化的灰度转换处理后的图像信号，而仅将空间不变的灰度转换处理后的图像信号作为灰度转换的结果输出。另外，关于低亮度阈值STl，可以在ROM 110中保存预先设定的值并根据需要读出，也可以由用户设定期望的值，或由用户从几个候选中选择值。

并且，当亮度值Pij大于高亮度阈值STh时，与图4所示的例子相同。

然后，在亮度值Pij大于等于低亮度阈值STl且小于等于高亮度阈值STh的情况下，使用式8、式9来计算合成比率R1ij、R2ij。

[式8]

R1ij＝T×{(Pij-STl)/(STh-STl)}

[式9]

R2ij＝1-R1ij

另外，与上述同样，式8、式9所示的合成比率R1ij的递增和合成比率R2ij的递减不一定必须是线性的。

进而，在上述中，说明了以图像整体或像素单位设定合成比率R1、R2的例子，但是不限于此。例如，将图像信号分割为多个区域，针对分割后的每个区域计算亮度平均值或亮度中间值。然后，考虑通过规定值去除亮度平均值或亮度中间值，将其结果设定为合成比率R1，将1-R1设定为合成比率R2。然后，针对每个区域，对空间变化的灰度转换处理后的图像信号使用合成比率R1，并且对空间不变的灰度转换处理后的图像信号使用合成比率R2，对图像信号进行合成即可。这样，也可以以区域单位进行图像信号的合成。

混合部904使用由合成比率设定部903设定的合成比率R1ij、R2ij，例如如式10所示，对第1图像信号Mij和第2图像信号Nij进行合成。

[式10]

Fij＝R1ij×Mij+R2ij×Nij

然后，混合部904根据控制部111的控制，向噪声降低部108转送合成后的图像信号。

然后，噪声降低部108通过噪声检测单元来计算估计为从合成部1004或第2灰度校正部1003转送来的图像信号所包含的噪声量(噪声电平)，根据计算出的噪声量，通过噪声降低单元对该图像信号进行噪声降低处理。这里，噪声降低部108例如使用上述日本特开2005-303802号公报所记载的公知技术，针对每个像素估计噪声量，来进行噪声降低处理。

另外，在上述中，说明了使包含镜头系统100、光圈101、CCD 102、放大部103、A/D转换部104在内的摄像部一体化的结构的图像信号处理装置，但是，作为图像信号处理装置，不需要限定为这种结构，摄像部也可以分开设置。即，也可以是如下的图像信号处理装置：从记录介质中读出由分开设置的摄像部拍摄并以未处理的RAW数据的形式记录在存储卡等记录介质中的图像信号，并对其进行处理。但是，此时，摄影时的信息(ISO灵敏度、白平衡系数等)记录在标题部等中。另外，不限于经由记录介质从分开设置的摄像部向图像信号处理装置传送各种信息，也可以经由通信线路等进行。

进而，在上述中，将基于硬件的处理作为前提，但是，不需要限定于这种结构。例如，能够将来自CCD 102的信号作为保持未处理状态的RAW数据记录在存储卡等记录介质中，并且，将来自控制部111的摄影时的信息(ISO灵敏度、白平衡系数等)作为标题信息记录在记录介质中。然后，使计算机执行另外的软件即图像信号处理程序，使计算机读取记录介质的信息，并进行处理。与上述同样，不限于经由记录介质从摄像部向计算机传送各种信息，也可以经由通信线路等进行。

图10是示出图像信号处理程序的处理的流程图。

开始该处理后，首先，读入图像信号和上述标题信息等，并且，还读入该图像信号处理程序预先具有的γ特性数据等信息(步骤S1)。该处理在摄像装置即图像信号处理装置中，相当于拍摄被摄体并取得图像信号的处理。

接着，检测所读入的图像信号中是否存在高亮度图像信号(步骤S2)。该处理相当于上述特定亮度区域检测部402进行的处理。

接着，根据步骤S2的检测结果，判定图像信号中是否存在高亮度图像信号(步骤S3)。该处理相当于灰度转换部107和控制部111进行的处理。

这里，在判定为存在高亮度图像信号的情况下，对图像信号进行空间变化的第1灰度校正处理(步骤S4)。该处理相当于第1灰度校正部1002进行的处理。

接着，使用在步骤S1中读入的γ特性数据，对图像信号进行空间不变的第2灰度校正处理(步骤S5)。该处理相当于第2灰度校正部1003进行的处理。

另外，这里先进行第1灰度校正处理，后进行第2灰度校正处理，但是，也可以是相反顺序，也可以同时并列进行第1灰度校正处理和第2灰度校正处理。

然后，对通过步骤S4得到的第1图像信号和通过步骤S5得到的第2图像信号进行合成(步骤S6)。该处理相当于合成部1004进行的处理。

并且，在步骤S3中判定为不存在高亮度图像信号的情况下，使用在步骤S1中读入的γ特性数据，对图像信号进行空间不变的第2灰度校正处理(步骤S7)。该处理与步骤S5的处理相同，也相当于第2灰度校正部1003进行的处理。

在步骤S6的处理或步骤S7的处理结束后，进行公知的噪声降低处理(步骤S8)。该处理相当于噪声降低部108进行的处理。

然后，输出噪声降低后的图像信号，显示在显示装置上，或保存在存储卡等中(步骤S9)，结束该处理。

接着，图11是示出图10的步骤S2中的高亮度信号的检测处理的详细情况的流程图。

开始该处理后，首先，提取与规定的显示装置对应的γ特性数据(步骤S101)。该处理相当于γ特性数据提取部4021进行的处理。

接着，如图3所示，将与γ特性数据对应的倾斜角度Δ(式2)首次小于认定为是白斑的规定的角度ΔTH时的输入电平，作为高亮度阈值(图3所示的STh)(步骤S102)。该处理相当于高亮度区域阈值检测部4022进行的处理。

接着，对图像所包含的全部像素的亮度值和高亮度阈值进行比较，对亮度值大于高亮度阈值的像素(判定为高亮度图像信号的像素)的数量进行计数(步骤S103)。

然后，将高亮度图像信号的计数数与规定阈值进行比较，在大于规定阈值的情况下，判断为图像中存在高亮度图像信号。与此相对，在高亮度图像信号的计数数小于规定阈值的情况下，判断为图像中不存在高亮度图像信号(步骤S104)。这些步骤S103和步骤S104的处理相当于高亮度区域判断部4023进行的处理。

该步骤S104的处理结束后，然后返回图10所示的处理。

另外，这里说明了自动设定高亮度阈值的例子，但是，也可以通过用户输入来手动设定。此时，代替图11的步骤S101和步骤S102的处理，进行高亮度阈值的手动输入处理即可。

接着，图12是示出图10的步骤S6中的合成处理的详细情况的流程图。

开始该处理后，首先，提取通过步骤S2检测到的高亮度图像信号的阈值、高亮度区域的面积(高亮度区域的像素数)、整个图像区域的面积(整个图像区域的像素数)、通过步骤S4的处理得到的空间变化的灰度转换处理后的图像、通过步骤S5的处理得到的空间不变的灰度转换处理后的图像等的信息(步骤S111)。

接着，根据通过步骤S111提取出的信息，例如使用上述式6和式7来计算合成比率R1ij和合成比率R2ij(步骤S112)。该处理相当于合成比率设定部903进行的处理。

进而，使用通过步骤S112计算出的合成比率R1ij、R2ij，例如使用上述式10，对空间变化的灰度转换处理后的图像和空间不变的灰度转换处理后的图像进行合成(步骤S113)。该处理相当于混合部904进行的处理。

然后，向后级的噪声降低处理输出合成后的图像(步骤S114)，该处理后返回图10所示的处理。

另外，上述这种技术能够应用于图像信号是静态图像信号的情况和图像信号是动态图像信号的情况的任意情况。

并且，在上述中，说明了图像信号处理装置、图像信号处理程序，但是不限于此，也可以是用于进行上述这种处理的图像信号处理方法。

根据这种实施方式1，在存在高亮度信号的情况下，针对原图像信号，针对每个区域(每个像素或每个像素区域)进行空间变化的灰度转换处理，所以，能够以不压缩的方式保持属于高亮度区域的像素或像素区域的灰度特性。并且，在不存在高亮度信号的情况下，仅进行空间不变的灰度转换处理，所以，能够降低消耗功率，并使处理高速化。

进而，实质上针对图像信号的高亮度区域使用与该高亮度区域对应的空间变化的灰度转换处理的结果，但是，针对高亮度区域以外的区域使用对空间变化的灰度转换图像和空间不变的灰度转换图像进行合成后的结果，所以，在保持高亮度区域的灰度的同时，从低亮度区域伸长到中亮度区域的灰度，能够得到反映了灰度再现特性的图像。

然后，在根据图像中的高亮度区域的面积和整个图像的面积之间的比率来设定对空间变化的灰度转换图像和空间不变的灰度转换图像进行合成时的合成比率的情况下，能够进行基于图像中包含高亮度部分的程度的适当的合成。

而且，在针对每个像素或每个区域来设定合成比率的情况下，能够进行基于各个图像部分的适当的合成。

[实施方式2]

图13～图23示出本发明的实施方式2，图13是示出图像信号处理装置的结构的框图。在该实施方式2中，对与上述实施方式1相同的部分标注同一标号并省略说明，主要仅说明不同点。

该实施方式2构成为，在实施方式1的图1所示的图像信号处理装置中，将噪声降低部108置换为作为画质劣化信息取得单元和画质校正单元的颜色偏差降低部208。其他基本结构与上述实施方式1相同。

图像信号判断部106经由灰度转换部107和颜色偏差降低部208与显示部109连接。ROM 110与图像信号判断部106、灰度转换部107、颜色偏差降低部208连接。

控制部111与放大部103、A/D转换部104、缓存部105、图像信号判断部106、灰度转换部107、颜色偏差降低部208、显示部109、ROM 110以及外部I/F部112双向连接，并对它们进行控制。

接着，沿着图像信号流，说明图13所示的图像信号处理装置的作用。

当经由外部I/F部112按下快门按钮后，通过镜头系统100、光圈101、CCD 102进行摄像，输出图像信号并通过放大部103放大，通过A/D转换部104转换为数字信号。另外，在本实施方式中，也假设上述影像信号是由R、G、B三种成分构成的彩色图像信号。

来自A/D转换部104的图像信号被转送到缓存部105并存储。

图像信号判断部106针对从缓存部105转送来的图像信号，根据规定的高亮度阈值判定是否存在高亮度图像信号，并且，根据规定的低亮度阈值判定是否存在低亮度图像信号，求出高低亮度判定结果。即，本实施方式的图像信号判断部106不仅判定有无高亮度图像信号，还判定有无低亮度图像信号。另外，根据γ特性数据，通过与上述实施方式1大致相同的技术自动指定高亮度阈值和低亮度阈值。但是，用户也可以通过外部I/F部112自由设定高亮度阈值和低亮度阈值，用户也可以通过外部I/F部112从在ROM 110中预先准备的多个高亮度阈值和多个低亮度阈值中各指定一个，这与上述实施方式1相同。然后，图像信号判断部106向灰度转换部107转送图像信号和高低亮度判定结果。

灰度转换部107根据转送来的高低亮度判定结果，对该图像信号进行与图像信号对应的灰度转换处理，向颜色偏差降低部208转送处理后的图像信号。

颜色偏差降低部208对转送来的图像信号进行颜色偏差降低处理，向显示部109转送处理后的图像信号。

显示部109根据转送来的图像信号进行显示。

接着，图像信号判断部106的结构基本上与上述实施方式1的图2所示的图像信号判断部106的结构相同。但是，在图像信号判断部106内设置的特定亮度区域检测部402的结构与上述实施方式1不同，所以参照图14进行说明。

图14是示出特定亮度区域检测部402的结构的一例的框图。

该特定亮度区域检测部402构成为具有：γ特性数据提取合成部4121、作为阈值设定单元的高低亮度区域阈值检测部4122、作为特定亮度区域检测单元的高低亮度区域判断部4123。

亮度信号转换部401经由γ特性数据提取合成部4121、高低亮度区域阈值检测部4122、高低亮度区域判断部4123与灰度转换部107连接。ROM 110与γ特性数据提取合成部4121、高低亮度区域阈值检测部4122、高低亮度区域判断部4123连接。

控制部111与γ特性数据提取合成部4121、高低亮度区域阈值检测部4122、高低亮度区域判断部4123双向连接，并对它们进行控制。

如上所述，当进行空间不变的灰度转换时，有时产生转换前不是白斑的图像信号在转换后成为白斑的现象，在实施方式1中，改善了这种现象。与此相对，在该实施方式2中，其目的在于，进一步改善在空间不变的灰度转换前不是黑斑的图像信号在转换后成为黑斑的现象。

这里，产生白斑或黑斑的原因是，例如在使用后述图17所示的灰度转换曲线(γ特性数据)的情况下，与高亮度部的灰度特性区域和低亮度部的灰度特性区域对应的γ特性数据的梯度大致水平，所以，在进行灰度转换后，几乎没有与这些部分对应的图像信号的浓淡变化。这里，图17是示出通过对制图γ特性数据和显示装置用γ特性数据进行合成而得到的γ特性数据的线图。而且，在该图17所示的γ特性数据的情况下，高亮度部图像信号成为白斑、低亮度部图像信号成为黑斑。为了改善这种高亮度部和低亮度部的图像信号的灰度特性，首先，需要检测用于识别高亮度区域和低亮度区域的高亮度阈值和低亮度阈值。

沿着图14说明这种特定亮度区域检测部402的作用。

γ特性数据提取合成部4121从ROM 110中提取适于图像处理的γ特性数据(制图γ特性数据)、以及适于通过显示部109所包含的显示装置显示图像的γ特性数据，对这些γ特性数据进行合成，生成图17所示的γ特性数据，向高低亮度区域阈值检测部4122转送所生成的γ特性数据。这里，制图γ特性数据是用于调整图像的明亮度和对比度的变化的灰度转换数据。

高低亮度区域阈值检测部4122从ROM 110中提取认定为是白斑的角度ΔHTH和认定为是黑斑的角度ΔLTH。然后，高低亮度区域阈值检测部4122根据所提取的认定为是白斑的角度ΔHTH和从γ特性数据提取合成部4121转送的图17所示的γ特性数据，首先，如以下的式11所示，计算与高亮度阈值STh对应的斜率ΔH。

[式11]

ΔH＝arctan{(H255o-Hxo)/(255-Hxi)}

这里，按照从小到大的顺序设第x个输入电平为Hxi，与该输入电平Hxi对应的输出电平为Hxo，设(Hxi，Hxo)为关注点。进而，设与最大输入电平255对应的输出电平为H255o，设(255，H255o)为最大点。然后，如式11所示，一边按照输入电平从大到小的顺序移动关注点，一边计算通过关注点和最大点的直线的倾斜角度ΔH，将根据关注点的移动而依次计算出的倾斜角度ΔH首次小于从ROM 110读出的规定角度ΔHTH时的关注点的输入电平，设为高亮度阈值STh。

接着，高低亮度区域阈值检测部4122根据所提取的认定为是黑斑的角度ΔLTH和从γ特性数据提取合成部4121转送的图17所示的γ特性数据，如以下的式12所示，计算与低亮度阈值STl对应的斜率ΔL。

[式12]

ΔL＝arctan(Lxo/Lxi)

这里，按照从小到大的顺序设第x个输入电平为Lxi，与该输入电平Lxi对应的输出电平为Lxo，设(Lxi，Lxo)为关注点。进而，最小点为(0，0)。然后，如式12所示，一边从最大点向输入电平减小的方向依次(即按照输入电平从大到小的顺序)移动关注点，一边计算通过最小点和关注点的直线的倾斜角度ΔL，将根据关注点的移动而依次计算出的倾斜角度ΔL首次小于从ROM 110读出的规定角度ΔLTH时的关注点的输入电平，设为低亮度阈值STl。

然后，高低亮度区域阈值检测部4122向高低亮度区域判断部4123转送这样估计出的高亮度阈值STh和低亮度阈值STl、以及图像信号。

另外，这里，高低亮度区域阈值检测部4122根据合成后的γ特性数据来计算高亮度阈值STh和低亮度阈值STl，但是不限于此。例如，当然可以构成为，在ROM 110中预先保存与合成后的γ特性数据对应的高亮度阈值STh和低亮度阈值STl，对图像信号进行处理时，从ROM 110中提取高亮度阈值STh和低亮度阈值STl。

高低亮度区域判断部4123根据转送来的高亮度阈值STh，通过高亮度计数器对全部图像信号中的高亮度图像信号的数量进行计数，并且，根据转送来的低亮度阈值STl，通过低亮度计数器对全部图像信号中的低亮度图像信号的数量进行计数。这里，在亮度值大于高亮度阈值STh的情况下，进行作为高亮度图像信号的计数，在亮度值小于低亮度阈值STl的情况下，进行作为低亮度图像信号的计数。

然后，高低亮度区域判断部4123对针对全部像素进行了处理后的高亮度计数器值和从ROM 110中读出的规定阈值(高亮度图像信号阈值)进行比较，在高亮度计数器值大于规定的高亮度图像信号阈值的情况下，判定为图像中存在高亮度图像信号，在高亮度计数器值小于等于规定的高亮度图像信号阈值的情况下，判定为图像中不存在高亮度图像信号。

进而，高低亮度区域判断部4123对针对全部像素进行了处理后的低亮度计数器值和从ROM 110中读出的规定阈值(低亮度图像信号阈值)进行比较，在低亮度计数器值大于规定的低亮度图像信号阈值的情况下，判定为图像中存在低亮度图像信号，在低亮度计数器值小于等于规定的低亮度图像信号阈值的情况下，判定为图像中不存在低亮度图像信号。

高低亮度区域判断部4123将这些有无存在高亮度图像信号和有无存在低亮度图像信号作为高低亮度判定结果。

然后，高低亮度区域判断部4123向灰度转换部107转送该高低亮度判定结果、高亮度阈值STh和低亮度阈值STl、以及图像信号。

图15是示出灰度转换部107的结构的一例的框图。

该灰度转换部107的结构与上述实施方式1的图6所示的灰度转换部107大致相同，但是不同点在于，将作为第2灰度转换处理单元的第2灰度校正部1003置换为作为第2灰度转换处理单元的第2灰度校正部1103。

缓存部1001与第1灰度校正部1002和第2灰度校正部1103连接。第1灰度校正部1002和第2灰度校正部1103与合成部1004连接。第2灰度校正部1103和合成部1004与颜色偏差降低部208连接。RAM 1005与第1灰度校正部1002、第2灰度校正部1103、合成部1004连接。ROM110与第2灰度校正部1103和合成部1004连接。

控制部111与第2灰度校正部1103双向连接，并对其进行控制。

来自图像信号判断部106的图像信号保存在缓存部1001中，来自图像信号判断部106的高亮度阈值、低亮度阈值、高低亮度判定结果保存在RAM 1005中。

灰度转换部107根据控制部111的控制，从RAM 1005中提取高低亮度判定结果，判定是否存在高亮度图像信号或低亮度图像信号。然后，灰度转换部107在判定为存在高亮度图像信号和低亮度图像信号的至少一方的情况下，根据控制部111的控制，向第1灰度校正部1002和第2灰度校正部1103转送缓存部1001内的图像信号。另一方面，灰度转换部107在判定为不存在高亮度图像信号和低亮度图像信号双方的情况下，根据控制部111的控制，仅向第2灰度校正部1103转送缓存部1001内的图像信号。

第1灰度校正部1002根据控制部111的控制，与上述实施方式1同样，针对从缓存部1001转送来的图像信号进行空间变化的灰度转换处理。然后，第1灰度校正部1002向合成部1004转送灰度转换处理后的图像信号。另外，在判定为不存在高亮度图像信号和低亮度图像信号双方的情况下，控制为不从缓存部1001向该第1灰度校正部1002转送图像信号，所以，该第1灰度校正部1002不进行处理。

并且，第2灰度校正部1103从ROM 1005中提取规定的制图γ特性数据、以及适于通过显示部109的显示装置显示图像的γ特性数据，进而，对这些γ特性数据进行合成，生成合成后的γ特性数据。然后，第2灰度校正部1103使用合成后的γ特性数据，针对从缓存部1001转送来的图像信号进行空间不变的灰度转换处理。

第2灰度校正部1103在判定为存在高亮度图像信号和低亮度图像信号的至少一方的情况下，根据控制部111的控制，向合成部1004转送处理后的图像信号。并且，第2灰度校正部1103在判定为不存在高亮度图像信号和低亮度图像信号双方的情况下，根据控制部111的控制，向颜色偏差降低部208转送处理后的图像信号。

这里，参照图16说明第2灰度校正部1103的更详细的结构和作用。图16是示出第2灰度校正部1103的结构的一例的框图。

该第2灰度校正部1103构成为具有γ特性数据合成部2001和γ校正部2002。

缓存部1001经由γ特性数据合成部2001和γ校正部2002与合成部1004连接。γ校正部2002还与颜色偏差降低部208连接。ROM 110与γ特性数据合成部2001和γ校正部2002连接。RAM 1005与γ校正部2002连接。控制部111与γ特性数据合成部2001和γ校正部2002双向连接，并对它们进行控制。

γ特性数据合成部2001从ROM 110中提取规定的制图γ特性数据、以及与规定的显示装置对应的γ校正数据，对他们进行合成，生成例如图17所示的合成后的γ特性数据。γ特性数据合成部2001向γ校正部2002转送合成后的γ特性数据。

γ校正部2002使用从γ特性数据合成部2001转送来的γ特性数据，针对从γ特性数据合成部2001转送来的图像信号进行γ校正处理。

γ校正部2002进一步根据控制部111的控制，从RAM 1005中提取高低亮度判定结果，判定是否存在高亮度图像信号和低亮度图像信号的至少一方。然后，γ校正部2002在判定为存在高亮度图像信号和低亮度图像信号的至少一方的情况下，向合成部1004转送处理后的图像信号。另一方面，γ校正部2002在判定为不存在高亮度图像信号和低亮度图像信号的双方的情况下，向颜色偏差降低部208转送处理后的图像信号。

合成部1004使用从第1灰度校正部1002转送来的空间变化的灰度转换处理后的图像(第1图像信号)和从第2灰度校正部1103转送来的空间不变的灰度转换处理后的图像(第2图像信号)，进行图像合成处理，向颜色偏差降低部208转送合成后的图像信号。

这里，合成部1004的更详细的结构与上述实施方式1的图7相同，所以，参照该图7说明本实施方式的合成部1004。

在本实施方式中，不仅检测高亮度区域，还检测低亮度区域，所以，合成部1004根据高亮度阈值STh和低亮度阈值STl，如图18～图20所示，设定基于对第1图像信号和第2图像信号进行合成时的每个像素的亮度值的变动的合成比率。

即，首先，合成比率设定部903从RAM 1005中提取高低亮度判定结果。然后，在所提取的高低亮度判定结果表示存在高亮度图像信号和低亮度图像信号的双方的情况下，合成比率设定部903进一步从RAM1005中提取高亮度阈值STh和低亮度阈值STl，如图18所示，变动地设定合成比率。

这里，图18是示出存在高亮度图像信号和低亮度图像信号双方时的合成比率的设定例的线图。在该图18中，实线表示空间变化的灰度处理图像(第1图像信号)的合成率，虚线表示空间不变的灰度处理图像(第2图像信号)的合成率。

在该图18所示的例子中，在图像信号小于低亮度阈值STl和图像信号大于高亮度阈值STh这两种情况下，将第1图像信号的合成比率设定为1，并且，将第2图像信号的合成比率设定为0。

另一方面，在图像信号值大于等于低亮度阈值STl且小于等于高亮度阈值STh的情况下，基本上，将第1图像信号的合成比率设定为0，并且，将第2图像信号的合成比率设定为1。但是，在低亮度阈值STl和高亮度阈值STh中，为了避免灰度转换的方式急剧变化的情况，在低亮度侧设置缓和宽度IntvL的缓和区域，在高亮度侧设置缓和宽度IntvH的缓和区域，空间变化的灰度处理图像和空间不变的灰度处理图像连续变化，在画质上不会产生破绽。

即，合成比率设定部903从ROM 110中提取预先保存在该ROM 110中的规定的缓和宽度IntvL的数据，根据亮度值Pij，如式13所示，通过线性插值来设定缓和宽度IntvL的缓和区域中的第1图像信号的合成比率R3ij，并且，如式14所示，通过线性插值来设定第2图像信号的合成比率R4ij。

[式13]

R3ij＝{IntvL-(Pij-STl)}/IntvL

[式14]

R4ij＝1-R3ij

这里，式13所示的R3ij和式14所示的R4ij被定义在(STl+IntvL)＞Pij≥STl的范围内，在计算式14时，使用条件式R3ij+R4ij＝1。

进而，合成比率设定部903从ROM 110中提取预先保存在该ROM110中的规定的缓和宽度IntvH的数据，根据亮度值Pij，如式15所示，通过线性插值来设定缓和宽度IntvH的缓和区域中的第1图像信号的合成比率R5ij，并且，如式16所示，通过线性插值来设定第2图像信号的合成比率R6ij。

[式15]

R5ij＝{(Pij-STh+IntvH)/IntvH}

[式16]

R6ij＝1-R5ij

这里，式15所示的R5ij和式16所示的R6ij被定义在STh≥Pij＞(STh-IntvH)的范围内，在计算式16时，使用条件式R5ij+R6ij＝1。

另外，作为计算这些式13～式16的前提，条件式(STh-IntvH)＞(STl+IntvL)当然成立。

而且，在(STl+IntvL)≤Pij≤(STh-IntvH)的区域中，将第1图像信号的合成比率设定为0，将第2图像信号的合成比率设定为1。

这里，缓和宽度IntvL、IntvH的数据不限于使用固定值，用户也可以通过外部I/F部112自由设定，或者，用户也可以经由外部I/F部112从在ROM 110中预先准备的多个缓和宽度数据中指定期望的缓和宽度数据。

并且，在从RAM 1005中提取的高低亮度判定结果表示仅存在低亮度图像信号而不存在高亮度图像信号的情况下，合成比率设定部903从RAM 1005中提取低亮度阈值STl，如图19所示，变动地构成可变合成比率。

这里，图19是示出仅存在低亮度图像信号时的合成比率的设定例的线图。在该图19中，实线表示空间变化的灰度处理图像(第1图像信号)的合成率，虚线表示空间不变的灰度处理图像(第2图像信号)的合成率。

在该图19所示的例子中，在亮度值Pij小于低亮度阈值STl的情况下，将第1图像信号的合成比率设定为1，并且，将第2图像信号的合成比率设定为0。

并且，在(STl+IntvL)＞Pij≥STl的区域中，如式13所示，设定第1图像信号的合成比率R3ij，并且，如式14所示，设定第2图像信号的合成比率R4ij。

进而，在Pij≥(STl+IntvL)的区域中，将第1图像信号的合成比率设定为0，将第2图像信号的合成比率设定为1。

而且，在从RAM 1005中提取的高低亮度判定结果表示仅存在高亮度图像信号而不存在低亮度图像信号的情况下，合成比率设定部903从RAM 1005中提取高亮度阈值STh，如图20所示，变动地构成可变合成比率。

这里，图20是示出仅存在高亮度图像信号时的合成比率的设定例的线图。在该图20中，实线表示空间变化的灰度处理图像(第1图像信号)的合成率，虚线表示空间不变的灰度处理图像(第2图像信号)的合成率。

在该图20所示的例子中，在亮度值Pij大于高亮度阈值STh的情况下，将第1图像信号的合成比率设定为1，并且，将第2图像信号的合成比率设定为0。

并且，在STh≥Pij＞(STh-IntvH)的区域中，如式15所示，设定第1图像信号的合成比率R5ij，并且，如式16所示，设定第2图像信号的合成比率R6ij。

进而，在Pij≤(STh-IntvH)的区域中，将第1图像信号的合成比率设定为0，将第2图像信号的合成比率设定为1。

另外，在上述中，说明了合成比率设定部903变动地设定合成比率的例子，但是，与上述实施方式1同样，也可以使用固定的合成比率。此时，既可以使用存储在ROM 110中的固定值，也可以由用户指定合成比率。后者的情况下，用户能够经由外部I/F部112自由地设定合成比率，也可以在ROM 110中预先存储多组合成比率，用户经由外部I/F部112指定这些多组合成比率中的一组来进行设定。该情况下，存在如下优点：易于人为地控制使用空间变化的灰度转换处理的灰度的改善效果。

合成比率设定部903向混合部904转送如上所述设定的合成比率数据和来自缓存部902的图像信号。

如上所述，混合部904例如根据式10，针对每个像素对第1图像信号和第2图像信号进行合成。然后，混合部904根据控制部111的控制，向颜色偏差降低部208转送合成后的图像信号。

颜色偏差降低部208针对从合成部1004或第2灰度校正部1103转送的图像信号，进行公知的颜色偏差降低处理(颜色偏差校正处理)。图21是示出颜色偏差降低部208的结构的一例的框图。

该颜色偏差降低部208构成为具有作为画质劣化信息取得单元和颜色偏差检测单元的颜色偏差检测部701、以及作为画质校正单元和颜色偏差校正单元的颜色偏差去除部702。

灰度转换部107经由颜色偏差检测部701、颜色偏差去除部702与显示部109连接。ROM 110与颜色偏差检测部701连接。

控制部111与颜色偏差检测部701、颜色偏差去除部702双向连接，并对它们进行控制。

颜色偏差检测部701将从灰度转换部107的合成部1004或第2灰度校正部1103转送来的RGB图像信号转换为例如YCrCb信号，针对亮度信号Y计算色度抑制增益。

然后，颜色偏差检测部701向颜色偏差去除部702转送亮度信号Y和色差信号CrCb、以及所计算的色度抑制增益。

颜色偏差去除部702使用色度抑制增益，对色差信号CrCb进行色度抑制处理，将亮度信号Y和色度抑制处理后的色差信号CrCb再次转换为RGB信号。通过进行这种颜色偏差降低处理，能够降低由于灰度转换而产生的颜色偏差、或由于对空间变化的灰度转换的结果和空间不变的灰度转换的结果进行合成而产生的颜色偏差。

然后，颜色偏差去除部702向显示部109转送颜色偏差降低后的图像信号。

另外，在上述实施方式1中，作为改善图像信号的画质劣化的手段，列举了噪声降低的例子，在该实施方式2中，列举了颜色偏差降低的例子，但是不限于此。例如，在图像是动态图像的情况下，在帧之间产生不连续性，可能将其观察为动态图像的闪烁。为了应对这种情况，例如可以进行以下式17所示的公知的闪烁降低处理。

[式17]

Q’ij＝Qij×V1+Qbij×V2+Qfij×V3

在该式17中，Qij是对象图像信号中的像素位置(i，j)的亮度值，Qbij是前一帧图像信号中的像素位置(i，j)的亮度值，Qfij是后一帧图像信号中的像素位置(i，j)的亮度值，Q’ij是合成后的图像信号中的像素位置(i，j)的亮度值，V1是针对Qij的合成率，V2是针对Qbij的合成率，V3是针对Qfij的合成率，是满足归一化的条件式V1+V2+V3＝1的合成率。

另外，在本实施方式中，与上述实施方式1同样，也可以是分开设置摄像部的图像信号处理装置，也可以是图像信号处理方法，也可以使计算机执行图像信号处理程序来进行同样的处理。

图22是示出图像信号处理程序的处理的流程图。

开始该处理后，首先，读入图像信号和上述标题信息等，并且，还读入该图像信号处理程序预先具有的适于图像处理的γ特性数据(制图γ特性数据)、以及适于通过规定的显示装置显示图像的γ特性数据等信息(步骤S21)。该处理在摄像装置即图像信号处理装置中，相当于拍摄被摄体并取得图像信号的处理。

接着，检测所读入的图像信号中是否存在高亮度图像信号和所读入的图像信号中是否存在低亮度图像信号(步骤S22)。该处理相当于上述特定亮度区域检测部402进行的处理。

接着，根据步骤S22的检测结果，判定图像信号中是否存在高亮度图像信号和低亮度图像信号的至少一方(步骤S23)。该处理相当于灰度转换部107和控制部111进行的处理。

这里，在判定为存在高亮度图像信号和低亮度图像信号的至少一方的情况下，对图像信号进行空间变化的第1灰度校正处理(步骤S24)。该处理相当于第1灰度校正部1002进行的处理。

接着，对在步骤S21中读入的适于图像处理的γ特性数据(制图γ特性数据)和适于通过规定的显示装置显示图像的γ特性数据进行合成，使用合成后的γ特性数据，对图像信号进行空间不变的第2灰度校正处理(步骤S25)。该处理相当于第2灰度校正部1103进行的处理。

另外，这里先进行第1灰度校正处理，后进行第2灰度校正处理，但是，也可以是相反顺序，也可以同时并列进行第1灰度校正处理和第2灰度校正处理。

然后，对通过步骤S24得到的第1图像信号和通过步骤S25得到的第2图像信号进行合成(步骤S26)。该处理相当于合成部1004进行的处理。

并且，在步骤S23中判定为高亮度图像信号和低亮度图像信号都不存在的情况下，对在步骤S21中读入的适于图像处理的γ特性数据(制图γ特性数据)和适于通过规定的显示装置显示图像的γ特性数据进行合成，使用合成后的γ特性数据，对图像信号进行空间不变的第2灰度校正处理(步骤S27)。该处理与步骤S25的处理相同，也相当于第2灰度校正部1103进行的处理。

在步骤S26的处理或步骤S27的处理结束后，进行公知的颜色偏差降低处理(步骤S28)。该处理相当于颜色偏差降低部208进行的处理。

然后，输出颜色偏差降低后的图像信号，显示在显示装置上，或保存在存储卡等中(步骤S29)，结束该处理。

接着，图23是示出图22的步骤S22中的高、低亮度信号的检测处理的详细情况的流程图。

开始该处理后，首先，适于图像处理的γ特性数据(制图γ特性数据)和适于通过规定的显示装置显示图像的γ特性数据进行合成(步骤S201)。该处理相当于γ特性数据提取合成部4121进行的处理。

接着，如图17所示，将与合成后的γ特性数据对应的倾斜角度ΔH(式11)首次小于认定为是白斑的规定的角度ΔHTH时的输入电平，设定为高亮度阈值(图8所示的STh)，并且，将与合成后的γ特性数据对应的斜率ΔL(式12)首次小于认定为是黑斑的规定的角度ΔLTH时的输入电平，设定为低亮度阈值(图8所示的STl)(步骤S202)。该处理相当于高低亮度区域阈值检测部4122进行的处理。

接着，对图像所包含的全部像素的亮度值和高亮度阈值进行比较，对亮度值大于高亮度阈值的像素(判定为高亮度图像信号的像素)的数量进行计数，并且，对图像所包含的全部像素的亮度值和低亮度阈值进行比较，对亮度值小于低亮度阈值的像素(判定为低亮度图像信号的像素)的数量进行计数(步骤S203)。

然后，将高亮度图像信号的计数数与规定阈值(高亮度图像信号阈值)进行比较，在大于规定阈值的情况下，判断为图像中存在高亮度图像信号，在小于规定阈值的情况下，判断为图像中不存在高亮度图像信号，并且，将低亮度图像信号的计数数与规定阈值(低亮度图像信号阈值)进行比较，在大于规定阈值的情况下，判断为图像中存在低亮度图像信号，在小于规定阈值的情况下，判断为图像中不存在低亮度图像信号(步骤S204)。这些步骤S203和步骤S204的处理相当于高低亮度区域判断部4123进行的处理。

该步骤S204的处理结束后，然后返回图22所示的处理。

另外，这里说明了自动设定高亮度阈值和低亮度阈值的例子，但是，也可以通过用户输入来手动设定。此时，代替图23的步骤S201和步骤S202的处理，进行高亮度阈值和低亮度阈值的手动输入处理即可。

根据这种实施方式2，发挥与上述实施方式1大致相同的效果，并且，在存在高亮度信号和低亮度信号的至少一方的情况下，针对原图像信号，针对每个区域(每个像素或每个像素区域)进行空间变化的灰度转换处理，所以，能够以不压缩的方式保持属于高亮度区域或低亮度区域的像素或像素区域的灰度特性。并且，在不存在高亮度信号和低亮度信号的双方的情况下，仅进行空间不变的灰度转换处理，所以，能够降低消耗功率，并使处理高速化。

进而，实质上针对图像信号的高亮度区域使用与该高亮度区域对应的空间变化的灰度转换处理的结果，实质上针对图像信号的低亮度区域使用与该低亮度区域对应的空间变化的灰度转换处理的结果，但是，针对高亮度区域和低亮度区域以外的区域使用对空间变化的灰度转换图像和空间不变的灰度转换图像进行合成后的结果，所以，在保持高亮度区域和低亮度区域的灰度的同时，解压中亮度区域的灰度，能够得到反映了灰度再现特性的图像。

另外，本发明不限于上述实施方式，在实施阶段，在不脱离其主旨的范围内能够变形结构要素并具体化。并且，通过上述实施方式所公开的多个结构要素的适当组合，可以形成各种发明。例如，可以从实施方式所示的全部结构要素中删除几个结构要素。进而，也可以适当组合不同实施方式中的结构要素。这样，在不脱离发明主旨的范围内，当然能够进行各种变形和应用。