摄像装置、图像处理装置、记录有图像文件的记录介质、记录方法、图像再现方法以及程序

摘要

提供能够以更高画质使RAW数据显影的摄像装置、图像处理装置、记录图像文件的记录介质、记录方法、图像再现方法以及程序。具有：摄像部(11)，其生成图像数据，该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的；以及图像文件生成部(194)，其生成图像文件，该图像文件将摄像部(11)生成的图像数据和与摄像部(11)的置换像素的位置有关的位置信息对应起来记录。

说明书

技术领域

本发明涉及通过对被摄体摄像并进行光电转换来生成电子图像数据的摄像装置、 对图像数据实施图像处理的图像处理装置、记录有图像文件的记录介质、图像数据的 记录方法、记录图像数据的图像文件的图像再现方法以及程序。

背景技术

近年来，在数字相机或数字摄像机等摄像装置中，已知通过RAW数据的形式将 摄像结果记录于存储卡等记录介质中的技术。这里，RAW数据是从摄像元件得到的 摄像结果的图像数据，是未执行γ校正处理、白平衡调整处理和频率特性的校正处理 等用于显示摄像结果的一系列画质校正处理的画质校正前的图像数据。作为记录这种 RAW数据的摄像装置，已知将画质校正前的RAW数据与确定摄影时的画质校正处 理的画质指定信息对应起来记录的摄像装置(参照专利文献1)。

现有技术文献

专利文献

专利文献1日本特开2007-334708号公报

发明内容

发明要解决的课题

然而，在上述专利文献1中记录的RAW数据例如是使用周边的其他像素的图像 数据对摄像元件的像素缺陷进行插值后得到的数据。因此，如果通过个人计算机等其 他图像处理装置对记录于记录介质中的RAW数据进行显示用的画质校正处理并显 影，则其制约会影响画质。

本发明就是鉴于上述情况而完成的，其目的在于提供一种能够以更高画质对 RAW数据进行显影的摄像装置、图像处理装置、图像文件、记录方法以及程序。

用于解决课题的手段

为了解决上述课题，达成目的，本发明的摄像装置的特征在于，具有：摄像部， 其生成图像数据，该图像数据是将从多个像素分别输出的多个电信号中的从作为置换 对象的置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的 电信号而得到的；以及图像文件生成部，其生成图像文件，该图像文件将所述摄像部 生成的所述图像数据和与所述摄像部的所述置换像素的位置有关的位置信息对应起 来记录。

此外，本发明的摄像装置的特征在于，在上述发明中，所述置换像素是以下像素 中的任意一种以上的像素：像素存在缺陷的缺陷像素；检测该摄像装置的焦点时使用 的检测用像素；具有与构成图像的像素不同的滤色器(用于检测特定的波长的BPF (Band Pass Filter：带通滤波器)等)的像素；在边缘提取中提取出的提取像素；以 及使用其他图像数据对像素信号进行补充校正的校正对象的校正像素。近年来，摄像 元件中存在具有各种功能的结构，并非所有像素都能用于摄像，因此需要在图像化时 事先把握不用于图像形成的像素数据、不适于使用的像素数据、图像用以外的像素数 据。在把握了以上情况后，能够进行校正、代用或置换而再现良好的图像。

此外，本发明的摄像装置的特征在于，在上述发明中，所述校正像素是用于调整 摄影参数的专用功能像素或与根据摄影条件确定的图像区域相当的像素。

此外，本发明的图像处理装置对由具有摄像部的摄像装置生成的图像文件实施图 像处理，该摄像部具有多个像素，其特征在于，该图像处理装置具有图像处理部，该 图像处理部取得图像文件，根据由取得的所述图像文件记录的位置信息对图像数据进 行画质校正处理，生成处理图像数据，其中，所述图像数据由所述摄像部生成，并且 是将从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同 的摄像用像素的电信号而得到的，所述图像文件将所述图像数据和与所述摄像部的所 述置换像素的位置有关的所述位置信息对应起来记录。

此外，本发明的图像处理装置的特征在于，在上述发明中，还具有显示部，该显 示部再现显示与所述处理图像数据对应的处理图像。

此外，本发明的记录介质记录由具有摄像部的摄像装置生成的图像文件，该摄像 部具有多个像素，其特征在于，所述图像文件记录如下内容：图像数据，其由所述摄 像部生成，并且是将从作为置换对象的置换像素输出的电信号置换为同时或在不同定 时得到的不同的摄像用像素的电信号而得到的；以及位置信息，其与所述摄像部的所 述置换像素的位置有关。

此外，本发明的记录方法是由具有摄像部的摄像装置执行的记录方法，该摄像部 具有多个像素，其特征在于，执行如下步骤：摄像步骤，生成图像数据，该图像数据 是将从多个像素分别输出的多个电信号中的从作为置换对象的置换像素输出的电信 号置换为同时或在不同定时得到的不同的摄像用像素的电信号而得到的；以及图像文 件生成步骤，生成图像文件，该图像文件将在所述摄像步骤中生成的所述图像数据和 与所述摄像步骤中的所述置换像素的位置有关的位置信息对应起来记录。

此外，本发明的图像再现方法是由进行图像文件的图像再现的图像再现设备执行 的图像再现方法，该图像文件记录图像数据，其特征在于，该图像再现方法具有以下 步骤：取得步骤，取得与置换像素的位置有关的置换对象像素信息，该置换像素是构 成对应于所述图像数据的图像、且被置换为其他像素的像素；确定步骤，根据在所述 取得步骤中取得的所述置换对象像素信息，由从构成对应于所述图像数据的图像的多 个像素中分别输出的多个电信号确定所述置换像素；生成步骤，通过从所述多个图像 分别输出的多个电信号对在所述确定步骤中确定出的所述置换像素进行插值并生成 插值图像数据；以及再现步骤，对在所述生成步骤中生成的所述插值图像数据进行再 现。

此外，本发明的程序的特征在于，使具有具备多个像素的摄像部的摄像装置执行 如下步骤：摄像步骤，生成图像数据，该图像数据是将从多个像素分别输出的多个电 信号中的从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的 不同的摄像用像素的电信号得到的；以及图像文件生成步骤，生成图像文件，该图像 文件将在所述摄像步骤中生成的所述图像数据和与所述摄像步骤中的所述置换像素 的位置有关的位置信息对应起来记录。

发明的效果

根据本发明，图像文件生成部生成图像文件，该图像文件将RWA数据和与插值 像素或置换像素的位置有关的位置信息对应起来记录，因此具有如下效果：在对RAW 数据进行显示用的画质校正处理时，能够增加再现时的自由度并以高画质进行显影。

附图说明

图1是表示本发明的第1实施方式的摄像装置的功能结构的框图。

图2是表示本发明的第1实施方式的摄像装置的摄像部的受光部和垂直模拟加法 电路的结构的一例的电路图。

图3是说明本发明的第1实施方式的摄像装置的AF信号计算部进行的瞳分割相 位差法的概要的示意图。

图4是表示根据本发明的第1实施方式的摄像装置的AF信号计算部进行的瞳分 割相位差法而由摄像部得到的图像信号的图。

图5是说明本发明的第1实施方式的摄像装置的AF信号计算部进行的其他的瞳 分割相位差法的概要的示意图。

图6是说明本发明的第1实施方式的摄像装置的摄像部的像素排列的图。

图7是说明本发明的第1实施方式的摄像装置的摄像部进行的像素的插值方法的 图。

图8是表示本发明的第1实施方式的摄像装置的图像文件生成部生成的图像文件 的结构的一例的图。

图9是表示本发明的第1实施方式的摄像装置执行的处理的概要的流程图。

图10是表示图9的动态图像时像素读出处理的概要的流程图。

图11是示意性表示通过其他图像处理装置对由本发明的第1实施方式的摄像装 置拍摄到的RAW数据进行显影时的像素的图像数据的图。

图12是表示本发明的第2实施方式的摄像装置的功能结构的框图。

图13是表示本发明的第2实施方式的摄像装置执行的处理的概要的流程图。

图14是表示本发明的第2实施方式的摄像装置的显示部显示的图像的一例的图。

图15是表示本发明的第2实施方式的摄像装置进行的HDR摄影的图像的一例的 图。

图16是表示本发明的第2实施方式的摄像装置进行的HDR摄影的图像的另一例 的图。

图17是表示本发明的第2实施方式的摄像装置的图像文件生成部生成的图像文 件的一例的图。

图18是示意性表示通过其他图像处理装置对由本发明的第2实施方式的摄像装 置拍摄到的RAW数据进行显影时的像素的图像数据的图。

图19是表示本发明的第2实施方式的变形例的摄像装置的图像文件生成部生成 的图像文件的一例的图。

具体实施方式

以下，参照附图，说明用于实施本发明的方式(以下，称作“实施方式”)。此外， 本发明不限于该实施方式。进而，在附图的描述中，对于相同的部分赋予同一符号。

(第1实施方式)

图1是表示本发明的第1实施方式的摄像装置的功能结构的框图。图1所示的摄 像装置1具有主体部10和更换镜头部20，该更换镜头部20可自由拆装于主体部10 上，从规定的视野区域会聚光。

主体部10具有摄像部11、主体通信部12、时钟部13、操作输入部14、记录部 15、记录介质16、显示部17、触摸面板18、控制部19。

摄像部11通过CCD或CMOS传感器等摄像元件构成。摄像部11既可以是如具 有拜尔排列的摄像元件那样从1个像素输出1个数据的摄像元件，也可以是具有层叠 型的受光部且从1个像素输出RGB这样的多个数据的摄像元件。摄像部11在控制部 19的控制下进行驱动。摄像部11经由快门(未图示)通过多个像素的受光面接受来 自更换镜头部20的被摄体的光，生成光电转换后的电信号作为画质校正前的图像数 据(RAW数据)。具体而言，摄像部11生成图像数据并将该图像数据输出给控制部 19，其中，该图像数据是将从多个像素分别输出的多个电信号中的从作为置换对象的 置换像素输出的电信号置换为同时或在不同定时得到的不同的摄像用像素的电信号 而得到的。此时，摄像部11将与置换像素和对置换像素进行插值后的摄像用像素各 自的位置有关的位置信息(地址信息)输出给控制部19。这里，置换像素指的是像 素存在缺陷的缺陷像素、检测摄像装置1的焦点时的检测用像素(以下，称作“AF 像素”)、为了获得光源的特性和被摄体的颜色特性等而具有与构成图像的像素不同的 滤色器(用于检测特定的波长的BPF等)的像素、使用在光学黑体提取中提取的OB 图像和在边缘提取时提取的提取像素以及其他图像数据对像素信号进行补充校正的 校正对象的校正像素中的任意一种像素。这里，校正像素是用于调整摄影参数的专用 功能像素或与根据摄影条件确定的图像区域相当的像素。此外，摄影参数是曝光值、 快门速度、ISO灵敏度和白平衡。此外，摄影条件是被摄体深度信息、被摄体的亮度 信息和被摄体的颜色信息。近些年来，摄像元件存在具有各种功能的结构，并非所有 像素都能够用于摄像，因此需要在图像化时预先把握不用于图像形成的像素数据、不 适于使用的像素数据、图像用以外的像素数据。在把握了以上内容的基础上，能够进 行校正、代用或置换而再现良好图像。此外，还可能存在由于摄影光学系统的问题而 优选不使用的像素，因此优选这种像素在再现时不直接使用该信号，而进行校正、代 用或置换。

下面说明摄像部11的详细结构。摄像部11具有受光部111、垂直模拟加法电路 112、水平数字加法电路113、AF用存储器114。

受光部111上呈矩阵状配置多个像素，接收来自更换镜头部20的被摄体的光并 进行光电转换，输出电信号。

垂直模拟加法电路112从受光部111中相加并读出2个行的像素的值，将该2个 行的加法像素值输出给水平数字加法电路113。

水平数字加法电路113在2个列上将从垂直模拟加法电路112输入的2个行的加 法像素值相加，将4像素的加法像素值作为动态图像摄像时的加法像素值输出给控制 部19，并且作为AF像素的像素值输出给AF用存储器114并记录。

图2是表示受光部111和垂直模拟加法电路112的结构的一例的电路图。受光部 111由呈矩阵状配置的多个像素构成，图2中仅示出受光部111中的同色的2行的2 个像素P(虚线)的结构。

如图2所示，各像素P通过光电二极管PD、转发晶体管T1、浮动扩散FD、重 置晶体管T2、放大晶体管T3构成。光电二极管PD根据接收的光产生电荷。光电二 极管PD中产生的电荷被转发晶体管T1转发给浮动扩散FD并被蓄积。通过重置晶 体管T2设定浮动扩散FD的重置和蓄积期间，基于浮动扩散FD的信号电荷的电压 被放大晶体管T3放大。

行选择开关T4基于行选择信号而接通、断开，经由列线(Column line)CA将 来自放大晶体管T3的信号电流输出给CDS电路11a。1列的所有行选择开关T4与共 同的列线CA连接，同一行的所有行选择开关T4同时接通，从而从同一行的全部像 素P经由各列线CA将信号供给到各CDS电路11a。

如上构成的像素P在静态图像摄影时，通过未图示的垂直扫描电路按照每条线选 择性接通行选择开关T4。此外，像素P在动态图像摄像时，通过垂直扫描电路接通 每条线的同一色的2行的行选择开关T4。由此，像素P在动态图像摄影时，经由列 线CA输出同一色的2行的像素P的像素值。

CDS电路11a去除同一色的2行的像素值的重置噪声而进行输出。CDS电路11a 的输出经由晶体管T5蓄积于电容器C1中。在动态图像摄像时，在电容器C1中蓄积 2像素的像素值之和的电荷。电容器C1的蓄积电荷经由放大器11b被供给给模拟数 字转换部(ADC)11c，并被转换为数字信号后输出给控制部19。这样，从设置于各 列线CA上的ADC11c输出同色的2行的像素P的加法像素值。另外，各ADC11c 的输出通过未图示的水平扫描电路被依次输出。

另外，为了简化受光部111的结构，并且使处理变得高速，需要使各像素的结构 和读出的步骤等在像素间共同化。因此，摄像部11在动态图像摄影时，仅输出同色 的2行的像素P的加法像素值，无法输出单一的像素P的像素值。此外，摄像部11 在动态图像摄影时，在通过水平扫描电路完成了2行的像素P的读出后，进行下2 行的像素P的读出。另外，每当2行的像素P的读出结束时，都重置这些行的各像素 P。

返回图1，继续说明摄像装置1的结构。

主体通信部12是用于进行与安装于主体部10上的更换镜头部20的通信的通信 接口。主体通信部12还包括与更换镜头部20的电触点。

时钟部13具有计时功能和摄影日期时间的判定功能。时钟部13为了对由摄像部 11摄像的图像数据附加日期时间数据而向控制部19输出日期时间数据。

操作输入部14具有：电源开关，其作为操作输入用的用户接口，将摄像装置1 的电源状态切换为接通状态或断开状态；释放开关，其受理用于赋予静态图像摄影的 指示的静态图像释放信号的输入；模式转盘开关，其切换摄像装置1中设定的各种摄 影模式；操作开关，其切换摄像装置1的各种设定；选单开关，其将摄像装置1的各 种设定显示于显示部17上；再现开关，其将与记录于记录介质16的图像数据对应的 图像显示于显示部17上；以及动态图像开关，其受理用于赋予动态图像摄影的指示 的动态图像释放信号的输入。释放开关能够通过来自外部的按压而进退。释放开关在 被半按下的情况下，被输入指示摄影准备动作的第1释放信号。与此相对，在全部按 下释放开关的情况下，被输入指示静态图像摄影的第2释放信号。

记录部15是使用易失性存储器和非易失性存储器构成的。记录部15暂时记录经 由控制部19从摄像部11输入的图像数据和摄像装置1的处理中的信息。此外，记录 部15记录用于使摄像装置1动作的各种程序、摄像程序和程序的执行中使用的各种 数据和各种参数。此外，记录部15记录用于确定摄像装置1的制造编号。

记录介质16是使用从摄像装置1的外部安装的存储卡等构成的。记录介质16 经由存储器I/F(未图示)以自由拆装的方式安装于摄像装置1。在控制部19的控 制下，在记录介质16中写入记录图像数据的图像文件，或读出记录于记录介质16 的图像文件图像数据。此外，在本第1实施方式中，图像文件记录图像数据和与摄像 部11的置换像素的位置有关的位置信息，其中，该图像数据由摄像部11生成，并且 是将从作为置换对象的置换像素输出的电信号置换为同时或在不同定时得到的不同 的摄像用像素的电信号而得到的。

显示部17是使用由液晶或有机EL(Electro Luminescence)等构成的显示面板构 成的。显示部17显示与图像数据对应的图像。这里，图像的显示包括将刚刚完成摄 影后的图像数据显示规定时间(例如3秒)的记录浏览显示、再现记录于记录介质 16的图像数据的再现显示和按照时间序列依次显示与由摄像部11连续生成的图像数 据对应的实时取景图像的实时取景显示等。此外，显示部17适当显示摄像装置1的 操作信息和与摄影有关的信息。

触摸面板18设置于显示部17的显示画面上。触摸面板18检测来自外部的物体 的触摸，输出与检测的触摸位置对应的位置信号。此外，触摸面板18可以检测用户 根据在显示部17上显示的信息而接触的位置，按照该检测到的接触位置受理指示由 摄像装置1进行的动作的指示信号的输入。通常，作为触摸面板18，具有电阻膜方 式、静电电容方式、光学方式等。在本第1实施方式中，能够应用任意的方式的触摸 面板。

控制部19是使用CPU(Central Processing Unit)等构成的。控制部19按照从操 作输入部14或触摸面板18输入的指示信号，向构成摄像装置1的各部分进行控制信 号和各种数据的发送，从而总括地控制摄像装置1的动作。

下面说明控制部19的详细结构。控制部19具有AF信号计算部191、图像处理 部192、图像压缩解压缩部193、图像文件生成部194、记录控制部195。

AF信号计算部191根据从摄像部11输入的图像数据取得规定的区域的像素的图 像信号，根据取得的图像信号的相位差，生成基于瞳分割相位差法的AF信号。AF 信号计算部191经由主体通信部12将AF信号输出给更换镜头部20。另外，后面叙 述AF信号计算部191的瞳分割相位差法的详细情况。

图像处理部192生成处理图像数据，该处理图像数据是对从摄像部11输入的图 像数据(RAW数据)进行包括画质校正处理的各种图像处理后得到的。具体地，图 像处理部192对图像数据进行至少包含调整图像的明亮度的增益处理、校正灰度的灰 度校正处理、边缘处理、平滑化处理、白平衡处理、色校正处理、噪声减少处理、γ 校正处理和对应于摄影模式的色相校正处理在内的图像处理，生成显示用或记录用的 处理图像数据。这里，图像模式是通过人物摄影(肖像摄影)、风景摄影、夜景摄影 等场景来校正显影的图像的画质的模式。另外，在本第1实施方式中，图像处理部 192作为图像处理装置发挥功能。

图像压缩解压缩部193按照规定的形式压缩由图像处理部192实施了图像处理的 处理图像数据，将该压缩后的压缩图像数据输出给记录介质16。这里，作为规定的 形式，具有JPEG(Joint Photographic Experts Group：联合图像专家小组)方式、 MotionJPEG方式和MP4(H.264)方式等。此外，图像压缩解压缩部193取得记录 于记录介质16的图像数据(压缩图像数据)，将取得的图像数据解压缩并输出给图像 文件生成部194或记录部15。

图像文件生成部194生成图像文件，该图像文件将画质校正前的图像数据(RAW 数据)、处理图像数据和压缩图像数据与摄影信息对应起来记录，该跟摄影信息包含： 与摄像部11的置换像素和对置换像素进行插值后的摄像用像素各自的位置有关的位 置信息(地址信息)或表示包含各自的位置的范围的范围信息、摄像装置1的摄影模 式、图像处理部192的图像处理参数。另外，后面叙述图像文件生成部194生成的图 像文件的详细情况。这里，由于是补充不足的像素信息，因而使用了“插值”这一用 语，也可以将进行的处理改说为“置换”。

记录控制部195将图像文件生成部194生成的图像文件记录于记录介质16中。 此外，记录控制部195使图像文件生成部194生成对应于从操作输入部14或触摸面 板18输入的指示信号的内容的图像文件。具体而言，记录控制部195使图像文件生 成部194生成将RAW数据与摄影信息对应起来记录的图像文件并将其记录于记录介 质16中。

还可以在具有以上的结构的主体部10上进一步设置声音输入输出部、向被摄体 发出辅助光(闪光)的辅助光发光部、具有经由因特网与外部的图像处理装置进行双 向通信的功能的通信部等。

接着，说明更换镜头部20。更换镜头部20具有光学系统21、驱动部22、镜头 通信部23、操作部24、镜头记录部25、镜头控制部26。

光学系统21是使用一个或多个透镜和光圈构成的。光学系统21从规定的视野区 域聚集光。光学系统21具有使视场角改变的光学变焦功能和使焦点改变的对焦功能。

驱动部22是使用DC电机或步进电机等构成的，通过使光学系统21的透镜在光 轴O1上移动，从而进行光学系统21的焦点位置和视场角等的变更。此外，驱动部 22驱动光学系统21的光圈。

镜头通信部23是在更换镜头部20连接于主体部10时，用于与主体部10的主体 通信部12进行通信的通信接口。

操作部24是设置于更换镜头部20的透镜镜筒的周围的环，受理开始光学系统 21的光学变焦的操作的操作信号的输入或指示光学系统21的焦点位置的调整的指示 信号的输入。另外，操作部24可以是按压式的开关等。

镜头记录部25是使用Flash存储器构成的，记录用于分别确定光学系统21的位 置和动作的控制用程序、光学系统21的镜头特性、焦距、亮度级数和各种参数。

镜头控制部26是使用CPU等构成的。镜头控制部26根据操作部24的操作信号 或来自主体部10的指示信号控制更换镜头部20的动作。具体地，镜头控制部26根 据操作部24的操作信号驱动驱动部22进行光学系统21的焦点对准、变焦变更或光 圈值的变更。此外，镜头控制部26在更换镜头部20安装于主体部10时，将更换镜 头部20的焦点位置信息、焦距和识别更换镜头部20的固有信息等发送给主体部10。

接着，说明上述AF信号计算部191使用的瞳分割相位差法。图3是说明AF信 号计算部191使用的瞳分割相位差法的概要的示意图。

如图3所示，从被摄体Z1经由各光路射入摄像装置1的光学像通过光学系统21 而在摄像部11的摄像元件的入射面上成像。作为AF检测用的像素(以下，称作AF 像素)构成2个摄像部(例如，R摄像部和L摄像部)，将各光路在射出瞳例如分割 为右方向和左方向，将来自右方向的光(右光)和来自左方向的光(左光)分别射入 R摄像部11_R和L摄像部11_L。具体地，如放大图3所示的摄像部11的一部分所示， 通过使R摄像部11_R、L摄像部11_L相对于光学系统21的光轴偏心，从而能够使右光 和左光分别射入R摄像部11_R、L摄像部11_L中。

在焦点对准的情况下，来自被摄体的同一点的光射入R摄像部11_R、L摄像部11_L。 因此，通过在水平方向上配置的AF检测用的多个R摄像部11_R得到的图像信号与通 过多个L摄像部11_L得到的图像信号相同。

与此相对，在未对焦的情况下，来自被摄体的同一点的光会射入根据焦点的偏移 量而偏移后的位置的R摄像部11_R和L摄像部11_L中。因此，如图4所示，通过在水 平方向上配置的AF检测用的多个R摄像部11_R得到的图像信号(实线)L₁与通过多 个L摄像部11_L得到的图像信号(虚线)L₂的相位错开，该相位的偏移量对应于焦点 的偏移量。这样，AF信号计算部191根据由R摄像部11_R、L摄像部11_L得到的图像 信号L₁和图像信号L₂的相位差，生成驱动焦点调整用的镜头的驱动信号，经由主体 通信部12输出给更换镜头部20，从而能够实现摄像装置1的自动对焦。

另外，在图3中，示出了为了使AF像素和摄像用像素(通常像素)的结构共同 化，通过仅具有R摄像部11_R的像素(以下，称作R像素)和仅具有L摄像部11_L的像素(以下，称作L像素)构成AF像素的例子。另外，AF信号计算部191也可 以如图5所示，省略L像素，仅使用R像素作为AF像素，对通过多个摄像用像素(以 下，也称作N像素)得到的图像信号的相位和通过R摄像部11_R得到的图像信号的 相位进行比较，从而生成焦点调整用的驱动信号。

接着，详细说明摄像部11的像素排列。图6是说明摄像部11的像素排列的图。 在图6中，较密的影线表示配置蓝色的滤色器的蓝色的像素，较粗的影线表示配置红 色的滤色器的红色的像素，无底色处表示配置绿色的滤色器的绿色的像素，具有切边 的框表示AF像素。另外，在图6中，作为像素排列举例说明的是拜尔排列，例如也 可以应用于蜂窝排列。

如图6所示，在拜尔排列中，以水平和垂直2×2像素为单位重复相同的排列。 即，2×2像素中斜向配置蓝和红的像素，剩余的斜向的2个像素配置绿的像素。在 图6中，A～G的符号用于指定像素，像素R是AF检测用的R像素。另外，在图3 的像素R的位置配置用于获得绿色的像素的绿色的滤色器。

摄像部11在静态图像摄影时将从各像素读出的信号直接用作摄像图像的各像素 值，在摄像后进行像素插值。另一方面，摄像部11在动态图像摄像时，将同色的4 个像素的像素值相加，从而生成该颜色的1个像素。例如，摄像部11将绿色的像素 D～G相加生成绿色的1个像素，将像素A、B、R、C相加生成该生成的像素的相邻 像素。这对于其他颜色而言也相同。然而，像素R并非N像素，因此若直接使用像 素A、B、R、C构成1个像素，则会产生画质劣化。于是，在本第1实施方式中， 摄像部11利用其他的像素对AF像素插值，从而生成图像数据(RAW数据)。

图7是说明摄像部11执行的像素的插值方法的图。另外，在图7中，说明了仅 使用R像素作为AF像素的例子，然而在仅使用L像素作为AF像素的情况下，以及 使用R、L像素双方作为AF像素的情况下同样能够应用。

如图7所示，摄像部11在进行动态图像摄像的情况下，为了高速进行通过同色 的2行的2列像素生成1个像素的处理，在从受光部111中读出图像信号时，将同色 的2行的像素相加并读出。在通过A～G、R表示像素A～G、R的像素值的情况下， 如图7(a)和图7(b)所示，对于绿色的像素，输出加法像素值(D+F)、(E+G)、…、 (A+R)、(B+C)、…。进而，对于从摄像部11读出的加法像素值，进行同色的2 列的像素加法，从而如图7(c)和图7(d)所示，可获得加法像素值(D+E+F+G)、 …、(A+B+R+C)、··。另外，如上所述，像素R是输出仅基于从射出瞳的右方 向射入的光的像素值的R像素。

在本第1实施方式中，1个像素由R摄像部11_R和L摄像部11_L构成，若能够将 R摄像部11_R的像素值与L摄像部11_L的像素值相加，则能够根据这种AF像素获得 与N像素同等的像素值。即，在像素R的位置上，不仅设有R摄像部11_R还设有L 摄像部11_L的情况下，估计L摄像部11_L的像素值，在对像素R的像素值上加入估计 出的L摄像部11_L的像素值，从而能够求出在像素R的位置上构成N像素的情况下 的像素值。

另外，摄像部11在动态图像摄像时，为进行高速处理，进行上述加法读出，在 动态图像摄像时无法进行从受光部111中读出单独的像素的像素值等加法读出以外 的读出。因此，摄像部11既无法直接读出像素R的像素值，也无法直接求出像素R 的2倍的像素值作为像素R的位置的N像素的值。因此，像素R的位置(参照图6) 是被像素D～G围出的中央的位置，将在该位置构成N像素时的像素值估计为加法 像素值(D+E+F+G)/4。进而，R摄像部11_R与L摄像部11_L的像素值为大致相 同的值，设这些像素值的和为N像素的像素值，将加法像素值(D+E+F+G)/8 作为像素R的位置的L摄像部11_L的像素值(图7(c))。这样，摄像部11将在加法 像素值(A+B+R+C)上加入作为L摄像部11_L的像素值的加法像素值(D+E+F +G)/8而得到的值，作为用N像素构成所有像素A、B、R、C的情况下的加法像 素值(图7(d))。

另一方面，摄像部11为了进行动态图像摄像时的AF处理，需要求出像素R的 像素值(R摄像部的像素值)。图像处理部192从摄像部11输出加法像素值(A+R)， 根据该加法像素值(A+R)估计并减去像素A的像素值，从而获得像素R的像素值。 像素A是与由像素D～G围出的中央的像素接近的同色像素，因此将像素A的像素 值估计为加法像素值(D+E+F+G)/4。这样，摄像部11通过加法像素值(A+R) -加法像素值(D+E+F+G)/4来求出像素R的像素值(图7(e))。

接着，说明图像文件生成部194生成的图像文件。图8是表示图像文件生成部 194生成的图像文件的结构的一例的图。

图8所示的图像文件F100是通过以EXIF为基准的格式记录RAW数据的文件， 与EXIF同样地设有文件头，通过IFD(Image File Directory)被分配各种数据。

这里，图像文件F100在文件先头的字段F1中记录主图像数据的再现所需的信息 (主图像数据IFD0)、该主图像数据的摄影时的信息(摄影信息IFD1)。在本第1实 施方式中，向主图像数据分配RAW数据DR，主图像数据的摄影时的信息被分配用 于确定在RAW数据的摄影时使用的摄像装置1的信息、摄影条件的信息。具体而言， 被分配EXIF的对应的信息，还被分配光圈、对焦距离、快门速度等的信息、图像处 理部192的画质校正模式等的信息和图像处理的参数以及文件名、用户名等EXIF中 定义的信息。

此外，图像文件F100的字段F2被分配由图像压缩解压缩部193生成的以JPEG 格式进行了数据压缩的缩略图图像数据，在字段F3记录由该摄像装置1的制造商独 自定义的信息(平文部制造商信息IFD)。图像文件F100的这些先头3个字段F1～ F3是通过EXIF的格式生成的，因而形成为通过能够处理EXIF的文件的各种应用也 能够再现分配给主图像数据的RAW数据。

接着，图像文件F100被分配主图像数据的摄影时的图像处理信息DS0A。具体 而言，在字段F4中记录RAW数据DR的摄影时的摄像装置1的光圈的设定(例如， 0EV，-1EV等的设定)、快门速度、摄影模式等。此外，依次记录在摄影时得到的具 体的参数。在本第1实施方式中，作为参数，首先记录再现摄影时的图像处理所需的 参数，然后记录各种在局部切取RAW数据DR时使用的基准的参数(以下，称作“切 取用基准信息”)。

即，图像文件F100在字段F5上记录再现摄影时的图像处理所需的参数(以下， 称作“图像处理信息”)。因此，关于光圈，在先头侧的字段F4上例如记录为0EV， 在接下来的字段F5的图像处理信息DS0A上记录具体的光圈值5.6等。此外，关于 画质校正模式，在先头侧的字段F4上记录自动白平衡调整模式、人物摄影的摄影模 式等，此外，在字段F5的图像处理信息DS0A上记录该自动白平衡调整模式的各色 信号的增益、对应于摄影模式的颜色校正的参数等。

此外，图像文件F100在字段F6上设定各种的切取用基准信息DS0B。具体而言， 在字段F6记录根据对焦调整检测的摄影时的对焦位置信息。这里，摄影时的对焦位 置信息是在RAW数据DR的图像上对焦的区域的位置信息。此外，记录通过摄影时 的对焦搜索处理检测到的背景的对焦位置信息。在字段F6上记录摄影时检测到的脸 部的位置信息。在摄像装置1中，摄影时使用脸部的模板检测由控制部19拍摄脸部 的区域，将检测到该脸部的区域设定给该脸部位置的信息。另外，摄像装置1在用户 选择人物摄影的摄影模式的情况下，以使得检测到该脸部的区域对焦的方式进行对焦 调整，取得RAW数据DR。另外，在未检测到脸部的情况下，在脸部的位置信息上 记录该情况。

此外，图像文件F100记录逆光位置的信息。这里，逆光位置的信息是在摄像结 果中表示逆光的部分的位置信息，在进行对焦搜索时检测摄像结果的各部的对焦位 置，根据该对焦位置的检测结果，检测被判断为对1个物体进行了摄影、并且对焦位 置越位于身前侧则亮度级别越低的区域，将该检测到的区域的位置信息设定给逆光位 置的信息。图像文件F100还记录饱和位置的信息。这里，饱和位置的信息是根据该 摄像装置1的动态范围而使得亮度级别饱和的区域的位置。摄像装置1在摄影时使光 圈可变，判定相对于该光圈的变化的各部分的亮度级别的变化，检测饱和的区域。另 外，将该检测到的区域的位置信息设定为该饱和位置的信息。此外，图像文件F100 记录摄影时的光轴中心的位置信息。这里，光轴中心的位置信息是根据用于确定镜头 中所设置的镜头机种的信息而设定的。另外，根据这些逆光位置信息、饱和位置信息、 光轴中心位置信息，也无法检测对应的位置信息的情况下，分别记录该情况。图像文 件F100接下来被依次分配其他的各种参数，形成该主图像数据的摄影时的摄影信息 DS0。

此外，图像文件F100接着记录编辑处理的摄影信息DS1、DS2、···。这里， 编辑处理的摄影信息DS1、DS2、···是在编辑处理中设定的摄影信息，是与分配 给摄影时的摄影信息DS0的再现摄影时的图像处理信息DS0A对应地设定的。关于 摄影信息DS1、DS2、···，对分配给摄影时的摄影信息DS0的字段F4上的光圈 的设定、快门速度、摄影模式等摄影信息追加履历的信息，形成先头侧的字段F7。 此外，履历的信息是将各摄影信息DS1、DS2、···设定到图像文件F100时的日期 时间的信息。进而，图像文件F100在字段F8上记录与被分配给前一个字段F7的摄 影信息对应的具体的图像处理信息。

此外，图像文件F100在字段F9上记录与摄像部11的受光部111的AF像素的 位置有关的AF像素的位置信息、和与对AF像素进行插值后的摄像用像素有关的位 置信息。

此外，图像文件F100在该编辑处理的摄影信息DS1、DS2、···的区域后接着 被分配缩略图图像数据DT的再现所需的信息，在进一步接下来的字段上被分配缩略 图图像数据DT。此外，被分配作为主图像数据的RAW数据DR。在图像文件F100 中，形成为能够在接着该主图像数据之后，追加与分配给摄影时的摄影信息DS0的 切取用基准信息(字段F6)DS0B对应的信息即在编辑处理时设定的切取用基准信息。 另外，该追加的信息为与摄影时的摄影信息DS0同样的字段结构，并且与编辑处理 时的摄影信息DS1、···同样地设定履历的信息。

这里，图像文件F100的RAW数据DR的数据量占据整体的数据量的95〔％〕 左右，但是，由于该RAW数据DR被分配给文件的末尾，因而仅再现从文件先头处 开始的5〔％〕左右，就能够取得缩略图图像数据DT、摄影信息DS0、编辑处理的 摄影信息DS1～DS2等。

这样，在按照图8所示的格式，图像文件生成部194在图像文件F100中记录摄 像结果的情况下，基于记录控制部195的指示，通过从摄像部11输出的RAW数据 DR、从记录控制部195输出的摄影信息DS和缩略图图像数据DT、由图像压缩解压 缩部193生成的基于JPEG的缩略图图像数据DT等，生成该图像文件F100的数据 并输出给记录介质16。

接着，说明摄像装置1执行的处理。图9是表示摄像装置1执行的处理的概要的 流程图。

如图9所示，在对摄像装置1接通电源后，控制部19判断摄像装置1是否被设 定为摄影模式(步骤S101)。在控制部19判断为摄像装置1被设定为摄影模式的情 况下(步骤S101：“是”)，摄像装置1转移至后述的步骤S102。与此相对，在控制部 19判断为摄像装置1未被设定为摄影模式的情况下(步骤S101：“否”)，摄像装置1 转移至后述的步骤S122。

在步骤S102中，控制部19使摄像部11执行摄像，使显示部17显示对应于从摄 像部11输入的图像数据的实时取景图像。此时，图像处理部192对来自摄像部11的 图像数据实施与显示部17的显示像素数对应的间隔处理，然后向显示部17输出。

接着，在由操作输入部14输入了指示动态图像摄影的指示信号的情况下(步骤 S103：“是”)，摄像装置1执行在动态图像摄影时从摄像部11中每次同时读出2行的 动态图像时像素读出处理(步骤S104)。

图10是表示动态图像时像素读出处理的概要的流程图。如图10所示，摄像部 11将上述图7所示的用于进行运算的变量L、M、N初始化为0(步骤S201)。

接着，摄像部11通过垂直模拟加法电路112，将隔着1行的2行的2个像素相 加(步骤S202)。由此，例如可得到图6的绿色像素D、F的加法像素值(D+F)、 像素E、G的加法像素值(E+G)、…。

此后，在2行的2个像素为包含AF像素的2个像素的情况下(步骤S203：“是”)， 摄像部11使变量L增加1(L＝L+1)(步骤S204)，将加法像素值S1(L)＝(A +R)暂时记录于AF用存储器114中(步骤S205)。在步骤S205之后，摄像部11 转移至步骤S206。

在2行的2个像素并非具有AF像素的2个像素的情况下(步骤S203：“否”)， 在受光部111的所有列的处理未结束的情况下(步骤S206：“否”)，摄像部11变更 受光部111的列(步骤S207)，返回步骤S202。与此相对，在受光部111的所有列的 处理结束的情况下(步骤S206：“是”)，摄像部11转移至步骤S208。

接着，摄像部11通过水平数字加法电路113将间隔1列的4个像素相加(步骤 S208)。由此，例如将加法像素值(D+F)与加法像素值(E+G)相加。

此后，在相加的4个像素包围AF像素的情况下(步骤S209：“是”)，摄像部11 使变量M增加1(步骤S210)，将加法像素值S2(M)＝(D+E+F+G)暂时记录 于AF用存储器114中(步骤S211)。由此，包围AF像素的所有4个像素的加法像 素值被存储于AF用存储器114中。在步骤S211之后，摄像部11转移至步骤S212。

在相加的4个像素不包围AF像素的情况下(步骤S209：“否”)，摄像部11转移 至步骤S212。

接着，在相加的4个像素包围AF像素的情况下(步骤S212：“是”)，摄像部11 使变量N增加1(步骤S213)，将4个像素的加法结果(A+B+R+C)代入加法像 素值S3(N)中(步骤S214)。

此后，摄像部11对S3(N)加入S2(M)/8(例如，参照图7(d)，得到右边 的加法像素值(步骤S215)。在步骤S215之后，摄像部11转移至步骤S216。

在步骤S212中，在相加的4个像素不包含AF像素的情况下(步骤S212：“否”)， 摄像部11转移至步骤S216。

接着，在受光部111的所有行都结束的情况下(步骤S216：“是”)，摄像装置1 返回图9的主程序。与此相对，在受光部111的所有行未结束的情况下(步骤S216： “否”)，摄像部11变更受光部111的行(步骤S217)，返回步骤S202。

返回图9，继续进行步骤S105转移的说明。在步骤S105中，控制部19使由同 一色的4个像素包围的像素为AF像素时的4个像素的加法像素值S2(J)变为1/4， 从而估计AF像素由N像素构成时的像素值N(J)。

接着，AF信号计算部191从包含R像素的2个像素的加法值S1(J)中减去R 像素由N像素构成时的像素值N(J)(参照图7(e))，从而估计R像素的像素值R (J)(步骤S106)。

此后，AF信号计算部191从AF像素由N像素构成时的像素值N(J)中减去 AF像素由R像素构成时的像素值R(J)，从而估计AF像素由L像素构成时的像素 值L(J)(步骤S107)。

接着，AF信号计算部191检测通过估计出的多个像素值R(J)而得到的图像信 号与通过估计出的多个像素值L(J)而得到的图像信号之间的相关性(步骤S108)， 并且检测通过估计出的多个像素值R(J)而得到的图像信号与通过估计出的多个像 素值N(J)而得到的图像信号之间的相关性(步骤S109)。

此后，镜头控制部26根据从AF信号计算部191输入的AF信号，驱动驱动部 22，从而通过相关性较高的一方进行光学系统21的焦点对准(步骤S110)。具体而 言，AF信号计算部191在焦点对准的相位差检测中采用可获得较高相关性的组合。 例如，AF信号计算部191在通过像素值R(J)得到的图像信号与通过多个像素值L (J)得到的图像信号的相关性较高的情况下，检测通过像素值R(J)得到的图像信 号与通过多个像素值L(J)得到的图像信号之间的相位差，根据检测到的相位差生 成用于驱动控制更换镜头部20的AF信号并输出给镜头控制部26。该AF信号被输 出给镜头控制部26，镜头控制部26驱动驱动部22，进行光学系统21的焦点对准。

接着，图像处理部192使用所取得的每个坐标的颜色数据信息即焦点对准后的4 个加法像素值，生成动态图像摄像时的图像，在实施了规定的图像处理后，将对应于 处理图像数据的图像显示于显示部17上(步骤S111)。此外，图像压缩解压缩部193 对图像处理部192生成的处理图像数据实施编码处理，然后将其记录于记录部152 中(步骤S111)。

此后，在经由操作输入部14被输入了结束动态图像摄影的指示信号的情况下(步 骤S112：“是”)，摄像装置1转移至后述的步骤S117。与此相对，在未经由操作输入 部14被输入结束动态图像摄影的指示信号的情况下(步骤S112：“否”)，摄像装置1 返回步骤S105，继续进行动态图像摄影。

在步骤S103中，在不存在来自操作输入部14的指示动态图像摄影的指示信号的 情况下(步骤S103：“否”)，当被输入了指示静态图像摄影的指示信号时(步骤S113： “是”)，摄像装置1执行自动调整焦点的AF处理(步骤S114)，执行静态图像摄影 (步骤S115)。此时，控制部19将从摄像部11输入的图像数据(RAW数据DR)记 录于记录部15中。

接着，图像处理部192从记录部15取得图像数据，对取得的图像数据实施包括 AF像素的插值在内的图像处理并生成处理图像数据(步骤S116)。

此后，图像文件生成部194生成图像文件，该图像文件将记录于记录部15中的 RAW数据DR和处理图像数据、与跟由图像处理部192实施了插值处理的摄像部11 的AF像素的位置有关的AF像素的位置信息以及跟用于对AF像素进行插值的摄像 用像素的位置有关的置换像素的位置信息对应起来记录(步骤S117)，并将生成的图 像文件记录于记录介质16中(步骤S118)。由此，如图11所示，摄像装置1为了对 应于实时取景图像而生成高速的图像数据，但是，通过记录为RAW数据DR，在通 过其他的图像处理装置例如计算机对RAW数据DR进行显影时，通过使用AF像素 的位置信息和置换了AF像素的摄像用像素的位置信息，能够生成进行了更为自然且 准确的插值或置换和合成的图像。另外，与静态图像摄影同样地，图像文件生成部 194将记录于记录部15中的动态图像数据与AF像素的位置信息和插值像素的信息对 应起来，生成图像文件。

接着，控制部19使显示部17对与所记录的处理图像数据对应的图像进行记录浏 览显示(步骤S119)。

此后，在摄像装置1的电源断开的情况下(步骤S120：“是”)，摄像装置1结束 本处理。与此相对，在摄像装置1的电源未断开的情况下(步骤S120：“否”)，摄像 装置1转移至步骤S121。

接着，控制部19根据从操作输入部14输入的指示信号，受理将摄像装置1的模 式变更为摄影模式或再现模式的操作(步骤S121)。在步骤S121之后，摄像装置1 返回步骤S101。

在步骤S113中，在未经由操作输入部14输入指示静态图像摄影的指示信号的情 况下(步骤S113：“否”)，摄像装置1转移至步骤S120。

接着，说明摄像装置1未被设定为摄影模式的情况(步骤S101：“否”)。这种情 况下，当摄像装置1被设定为再现模式时(步骤S122：“是”)，控制部19使显示部 17显示记录于记录介质16上的图像文件的一览显示(步骤S123)。具体地，控制部 19使显示部17显示与图像文件中包含的图像数据对应的缩略图图像的一览显示。

在选择了图像文件的情况下(步骤S124：“是”)，控制部19使显示部17再现与 所选择的图像文件的图像数据对应的图像(步骤S125)。此时，图像处理部192使用 记录于图像文件的RAW数据DR和插值像素的位置信息进行图像处理，从而进行图 像数据的显影。由此，在本第1实施方式中，图像处理部192作为图像处理装置发挥 功能。此后，摄像装置1返回步骤S122。

在步骤S124中，未在规定时间(例如3秒)内选择图像文件的情况下(步骤S124： “否”)，摄像装置1转移至步骤S126。

接着，在从操作输入部14输入了结束再现模式的指示信号的情况下(步骤S126： “是”)，摄像装置1转移到步骤S120。与此相对，在未经由操作输入部14输入结束 再现模式的指示信号的情况下(步骤S126：“否”)，摄像装置1返回步骤S123。

在步骤S122中，在摄像装置1未被设定为再现模式的情况下(步骤S122：“否”)， 摄像装置1返回步骤S101。

根据以上说明的本第1实施方式，图像文件生成部194生成图像文件F100，该 图像文件F100将由摄像部11生成的画质校正前的图像数据和与摄像部11的AF像 素以及对插值像素进行插值的摄像用像素(N像素)各自的位置有关的位置信息对应 起来记录，因此，能够在对RAW数据DR进行显示用的画质校正处理的后处理中以 高画质对图像进行显影。

进而，根据本第1实施方式，为进行动态图像时的高速处理，在从具有AF像素 的摄像部11中将多个像素的像素值相加后输出的情况下，也能够通过简单的运算处 理，估计AF像素为通常像素时的加法像素值，能够获得高画质的动态图像。此外， 这种情况下，通过简单的运算处理，能够取得AF像素的像素值，高精度地进行焦点 对准。另外，简单的运算处理指的是如下处理，即根据要进行相加的多个像素是包含 AF像素的像素还是包围AF像素的像素，从而分别存储加法结果，对所存储的加法 结果进行简单的四则运算，能够实现高速处理。

此外，在本第1实施方式中，图像处理部192根据AF像素的位置信息和对AF 像素进行插值的摄像用像素的位置信息，进行RAW数据DR的画质校正处理，生成 处理图像数据，但是，例如也能够应用在边缘提取时提取的提取像素。这种情况下， 图像处理部192根据提取像素的位置信息，减小插值像素的权重，关注其周围的像素， 由此能够以更高画质显影图像。进而，在一般的噪声减少处理中，判断平坦部和边缘 部，然而也能够根据提取像素的位置信息变更此时的判断基准。其结果，能够防止图 像处理部192的噪声减少处理导致的不必要的画质劣化。

此外，在本第1实施方式中，说明了仅使用R像素作为AF像素的例子，然而同 样能够应用于仅使用L像素的情况以及使用R、L像素双方的情况。

此外，在本第1实施方式中，说明了使用具有接收来自水平左右方向的光的L 摄像部11_L、R摄像部11_R的像素作为AF像素的例子，然而针对使用具有接收来自 垂直上下方向的光的2个摄像部的像素作为AF像素的例子，也同样能够应用，这是 不言自明的。

此外，在本第1实施方式中，作为RAW数据记录了画质校正前的图像数据，但 也可以记录对置换像素插值后的图像数据作为RAW数据，还可以将置换前的(画质 校正前的)置换像素的数据另外记录于图像文件中。由此，可任意选择是否对RAW 数据DR进行显示用的画质校正处理。可通过各种方法进行校正、代用、置换，能够 实现与摄像装置同等的画质，并且在具有另行进行显示用的画质校正处理的后处理的 情况下，能够使用这些信息以更高画质显影。这里，仅说明了置换像素的数据的情况， 但是，不仅能够通过其他像素置换，还能够根据图像的图案类推并进行校正，将这些 情况一并用置换这一用语进行表现。

此外，在本第1实施方式中，校正了对焦用的像素(AF像素)，然而还存在将曝 光调整用像素嵌入摄像元件中的例子以及嵌入闪光灯的光量控制用的像素、后述的校 正曝光的像素的例子，它们都与本实施例同样，该像素并非用于摄影和再现显示用图 像的像素或像素数据，无法直接使用，需要上述校正、代用、置换处理。因而，使文 件具备表示该像素的位置的信息，对于在后工序中进行处理时而言是很重要的。不仅 如此，还可以将进行何种置换和校正的信息放入文件。还可以使其具备例如图7的置 换规则、置换用像素的信息。通过制定这种共同规则，能够在再现时在再现装置中实 施最佳的图像处理。尤其在存在文件的转交和传输的情况下，需要通过不同的设备再 现，该设备可能是PC或智能手机或TV，因而可以根据这些再现设备情况，进行最 佳的图像调整。

(第2实施方式)

接着，说明本发明的第2实施方式。本第2实施方式的摄像装置的结构与上述第 1实施方式的摄像装置不同。因此，在本第2实施方式中，在说明摄像装置的结构之 后，说明本第2实施方式的摄像装置执行的处理。另外，以下，对与上述第1实施方 式相同的结构赋予同一符号进行说明。

图12是表示本发明的第2实施方式的摄像装置的功能结构的框图。图12所示的 摄像装置200具有主体部210、更换镜头部20。

主体部210具有摄像部11、主体通信部12、时钟部13、操作输入部14、记录部 15、记录介质16、显示部17、触摸面板18、被摄体分析部211、控制部212。

被摄体分析部211经由控制部212根据由摄像部11生成的图像数据分析作为插 值对象的摄像部11的像素区域。具体地，被摄体分析部211根据在图像数据中包含 的亮度信息，分析被摄体的亮度和曝光状态、例如曝光值极限状态(过度曝光)、曝 光不足状态(曝光不足)或适当曝光状态的像素区域，将该分析结果输出给控制部 212。

控制部212是使用CPU等构成的。控制部212根据从操作输入部14或触摸面板 18输入的指示信号，对构成摄像装置200的各部分进行控制信号和各种数据的转发， 从而总括地控制摄像装置200的动作。

说明控制部212的详细结构。控制部212具有AF信号计算部191、图像处理部 192、图像压缩解压缩部193、图像文件生成部194、记录控制部195、图像合成部213。

图像合成部213在摄像装置200以HDR(High Dynamic Range)摄影模式进行摄 影的情况下，根据被摄体分析部211的分析结果和从摄像部11输入的图像数据，生 成放大了动态范围的图像数据。具体地，图像合成部213使用从摄像部11输入的2 个图像数据、例如在一部分像素动态透镜饱和的图像数据(过度曝光图像)和在一部 分像素产生噪声的图像数据(曝光不足图像)，利用其他像素置换产生噪声的像素或 饱和的像素，从而生成调整了动态透镜的图像数据。

下面说明具有以上的结构的摄像装置200执行的处理。图13是表示摄像装置200 执行的处理的概要的流程图。

如图13所示，在摄像装置200被设定为摄像模式的情况下(步骤S301：“是”)， 控制部212经由主体通信部12和镜头通信部23与更换镜头部20进行镜头通信(步 骤S302)。

接着，控制部212使摄像部11执行摄像，使显示部17显示与从摄像部11输入 的图像数据对应的实时取景图像(步骤S303)。此时，图像处理部192在对来自摄像 部11的图像数据实施了与显示部17的显示像素数对应的间隔处理后，将其输出给显 示部17。

接着，控制部212判断是否从显示部17的画面外进行了滑动触摸或半按下了操 作输入部14的释放开关(步骤S304)。具体而言，控制部212根据触摸面板18从显 示部17的画面外检测触摸位置，判定该触摸位置是否产生了时间性的变化，从而判 断是否被进行了滑动触摸。在控制部212判断为从显示部17的画面外进行了滑动触 摸或半按下了操作输入部14的释放开关的情况下(步骤S304：“是”)，摄像装置200 转移至后述的步骤S305。与此相对，在控制部212判断为未从显示部17的画面外滑 动触摸或半按下操作输入部14的释放开关的情况下(步骤S304：“否”)，摄像装置 200转移至后述的步骤S312。

在步骤S305中，控制部212使显示部17显示用于调整生成HDR图像时的动态 透镜的HDR条M1。具体如图14所示，控制部212将HDR条M1重叠显示于显示 部17显示的实时取景图像W_n(n＝自然数)上。进而，控制部212使显示部17将对 HDR图像的生成进行重置的重置图标A1重叠于实时取景图像W_n上进行显示。HDR 条M1例如显示受理指示曝光过度侧的图像数据的指示信号的输入的条位置上端图 标Y1、和受理指示曝光不足侧的图像数据的指示信号的输入的条位置下端图标Y2。

接着，在经由触摸面板18对条位置上端图标Y1进行滑动操作的情况下(步骤 S306：“是”)，以+侧的图像数据作为合成图像的基准，按照滑动的移动距离使曝光 量增减(步骤S307)，将HDR的合成图像显示于显示部17上(步骤S308)。例如图 15所示，图像合成部213将+侧的图像W_h1作为合成图像的基准，按照滑动的移动 距离将彼此合成的图像W_h1和图像W_u1的曝光量增减为适当，生成合成图像W_n+1。 在步骤S308之后，摄像装置200转移至后述的步骤S312。

在未经由触摸面板18对条位置上端图标Y1进行滑动操作的情况下(步骤S306： “否”)，在经由触摸面板18对条位置下端图标Y2进行滑动操作时(步骤S309：“是”)， 以-侧的图像数据作为合成图像的基准，按照滑动的移动距离使曝光量增减(步骤 S310)，将HDR的合成图像显示于显示部17上(步骤S311)。例如图16所示，图像 合成部213以-侧的图像W_umax为合成图像的基准，按照滑动的移动距离将彼此合成 的图像W_hmax和图像W_umax的曝光量增减为适当，生成合成图像W_n+2。在步骤S311 之后，摄像装置200转移至后述的步骤S312。

在步骤S309中，在未经由触摸面板18对条位置下端图标Y2进行滑动操作的情 况下(步骤S309：“否”)，摄像装置200转移至步骤S312。

接着，控制部212判断是否是触摸了重置图标A1的情况、或在显示部17进行 了实时取景图像的显示后不存在触摸操作(步骤S312)。在由控制部212判断为触摸 了重置图标A1的情况下，或在显示部17进行了实时取景图像的显示后不存在触摸 操作的情况下(步骤S312：“是”)，摄像装置200转移至步骤S313。与此相对，在由 控制部212判断为未触摸重置图标A1的情况下，或在显示部17进行了实时取景图 像的显示后存在触摸操作的情况下(步骤S312：“否”)，摄像装置200转移至步骤S314。

在步骤S313中，图像合成部213将根据适当曝光的图像数据按照±2级进行了 调整的2个图像数据合成起来，生成合成图像。此时，图像合成部213也可以合成适 当曝光的图像数据、-2阶段的曝光的图像数据和+2阶段的曝光的图像数据这3个图 像数据，生成合成图像。

接着，在不存在操作输入部14的释放开关的半按下操作或触摸，在显示部17 上显示了HDR条M1后，经过了规定时间(例如3秒)的情况下(步骤S314：“是”)， 控制部212将HDR条M1从显示部17的实时取景图像中删除(步骤S315)。在步骤 S315之后，摄像装置200转移至步骤S316。与此相对，在不存在操作输入部14的释 放开关的半按下操作或触摸，在显示部17上显示了HDR条M1之后，未经过规定时 间(例如3秒)的情况下(步骤S314：“否”)，摄像装置200执行AE、AF处理(步 骤S316)。

接着，在经由操作输入部14的释放开关输入了第2释放信号的情况下(步骤 S317：“是”)，摄像装置200执行静态图像摄影(步骤S318)。此时，控制部212将 从摄像部11输入的2个图像数据(RAW数据DR)记录于记录部15中。

此后，图像文件生成部194生成图像文件，该图像文件将记录于记录部15的校 正前的2个图像数据(RAW数据DR)和作为RAW数据DR的由图像合成部213生 成的HDR图像RAW数据、与在HDR图像RAW数据中彼此将像素相加并进行插值 的像素的位置信息对应起来记录(步骤S319)。具体如图17所示，图像文件生成部 194制作图像文件。在该图像文件的F200中，在字段F9上储存校正前的2个RAW 数据(第1RAW数据、第2RAW数据)和HDR图像数据。进而，在字段F9上记录 与在HDR图像RAW数据上彼此将像素相加并置换的像素的位置有关的位置信息。

接着，图像文件生成部194将生成的图像文件记录于记录介质16中(步骤S320)。 由此，如图18所示，摄像装置200为了对应于实时取景图像而生成高速的图像数据， 但是，通过记录为RAW数据DR，从而在利用其他的图像处理装置、例如计算机使 用RAW数据DR对HDR图像显影时，通过使用置换像素的位置信息((图18(a)～ 图18(c))，从而能够生成进行了更为自然且准确的置换、合成、校正等图像处理的 HDR图像(图18(d))。

此后，在摄像装置200的电源断开的情况下(步骤S321：“是”)，摄像装置200 结束本处理。相对于此，在摄像装置200的电源未断开的情况下(步骤S321：“否”)， 摄像装置1返回步骤S301。

在步骤S301中，摄像装置200未设定为摄影模式的情况下(步骤S301：“否”)， 在摄像装置200设定为再现模式时(步骤S322：“是”)，控制部212使显示部17再 现记录于记录介质16中的图像文件的图像数据(步骤S323)。此时，图像处理部192 可以根据储存于图像文件中的2个RAW数据和置换像素的位置信息，生成HDR图 像。由此，不必进行摄影，因此即使图像处理的时间比摄影时长，也能增长图像处理 的时间，能够生成进行了更为自然且正确的置换和合成等图像处理的HDR图像(例 如参照图18)。

接着，在经由操作输入部14变更了图像的情况下(步骤S324：“是”)，控制部 212向记录介质16记录的下一个图像文件变更(步骤S325)，摄像装置200转移至步 骤S321。相对于此，在未经由操作输入部14变更图像的情况下(步骤S324：“否”)， 摄像装置1转移至步骤S321。

在步骤S322中，摄像装置200未设定为再现模式的情况下(步骤S322：“否”)， 摄像装置200转移至步骤S321。

根据以上说明的本第2实施方式，图像文件生成部194生成图像文件F200，该 图像文件F200将由摄像部11生成的画质校正前的图像数据和与摄像部11的图像处 理的校正像素以及置换了校正像素的其他摄像用像素各自的位置有关的位置信息对 应起来，因此在对RAW数据DR进行显示用的画质校正处理时能够以高画质显影。

此外，在本第2实施方式中，将第1RAW数据和第2RAW数据记录于1个图像 文件中，而例如图19所示，也可以将记录介质16中的第1RAW数据和第2RAW数 据的图像文件的指定信息对应起来记录于记录了HDR的RAW数据DR的图像文件 F300中。由此，能够减小1个图像文件的容量。

此外，在本第2实施方式中，生成了图像文件F200，该图像文件F200将摄像部 11的图像处理的校正像素和与置换了校正像素的其他摄像用像素各自的位置有关的 位置信息对应起来，然而也可以将表示画质校正前的校正必要图像部的数据(表示像 素的数据)记录为RAW数据，还可以在画质校正后将表示校正后的图像部的数据(表 示像素的数据)记录为RAW数据。还可以并非按照每个像素进行记录，而是将表示 区域的数据另行记录于图像文件中。这样，只要记录了已校正的部分和需要校正的部 分，就能够通过各种方法进行该部分的画质的校正、图像的代用、数据置换，能够实 现与摄像装置不同的画质。

此外，在本第2实施方式中，说明的是置换像素的数据的情况，然而不仅可以通 过其他的像素进行置换，还能够根据图像的图案进行类推并校正，将这样的情况也一 并用置换这一用语来表现。这里，校正的是HDR用的图像部分，而此外也可以通过 能够校正需要置换的图像部分的方式进行记录。无论何种情况，都与本实施例同样地， 该像素并非为进行摄影和再现用图像而能够直接使用的像素数据，需要进行上述的校 正、代用、置换处理。因而，使文件具备表示该像素的位置的信息对于在后工序中处 理该文件时而言是很重要的。不仅如此，还可以将进行何种置换和校正的信息放入文 件中。可以使其具有置换规则、置换用像素的信息。通过制定这种共同规则，从而能 够在再现装置进行再现时实施最佳的图像处理。尤其在存在文件的转交和传输的情况 下，使用不同的设备进行再现，而该不同的设备或为PC或为智能手机或为TV，因 而可以根据这些再现设备的情况，进行最佳的图像调整。

此外，在本发明中，还可以通过进行记录图像数据的图像文件的图像再现的图像 再现设备执行处理。具体而言，图像生成设备执行如下步骤：取得步骤，取得与置换 像素的位置有关的置换对象像素信息，该置换像素是构成对应于图像数据的图像、且 被置换为其他像素的像素；确定步骤，根据在取得步骤中取得的置换对象像素信息， 根据从构成与图像数据对应的图像的多个像素中分别输出的多个电信号来确定置换 像素；生成步骤，通过从多个图像分别输出的多个电信号对在确定步骤中确定的置换 像素进行插值，并生成插值图像数据；以及再现步骤，对在生成步骤中生成的插值图 像数据进行再现。由此，在对RAW数据进行显示用的画质校正处理时，能够增加再 现时的自由度，并以高画质再现图像。进而，通过对已校正的部分和需要校正的部分 进行插值，从而能够通过各种方法进行该部分的画质的校正、图像的代用、数据置换， 能够通过不同于摄像装置的画质进行再现。这里，图像生成设备是摄像装置、包含智 能手机的便携设备、平板型便携设备等电子设备、具有头戴式显示器和PC等的显示 监视器的信息处理装置。

此外，在本发明中，图像处理部被组装入控制部中，例如也可以独立设置图像处 理部。进而，还可以设置多个图像处理部(图像引擎)。

此外，在本发明中，图像处理部作为图像处理装置而组装入摄像装置内，但也可 以独立设置图像处理部。

此外，在本发明中，将图像文件记录于记录介质中，但也可以经由因特网将其输 出给其他的图像处理装置、例如具有图像处理部的移动电话和平板型便携设备等电子 设备。

此外，本发明的摄像装置除了可应用于紧凑型数字相机、数字单反相机以外，例 如还能用于可安装附件等的数字摄像机和具有摄影功能的移动电话和平板型便携设 备等的电子设备。

另外，在本说明书的流程图的说明中，使用“首先”、“此后”、“接着”等表现来 明确表示步骤间的处理的前后关系，而用于实施本发明所需要的处理的顺序并不由这 些表现而唯一地确定。即，在本说明书描述的流程图的处理的顺序可以在不产生矛盾 的范围内进行变更。

此外，由本发明的摄像装置和图像处理装置执行的程序是作为能够安装的形式或 能够执行的形式的文件数据，记录于CD-ROM、软盘(FD)、CD-R、DVD(Digital  Versatile Disk：数字通用光盘)、USB介质、闪存等计算机可读取的记录介质中提供 的。

此外，由本发明的摄像装置和图像处理装置执行的程序还可以构成为，储存于与 因特网等网络连接的计算机上，以经由网络下载的方式进行提供。进而，还可以构成 为将由本发明的摄像装置和图像处理装置执行的程序经由因特网等网络提供或发布。

这样，本发明还可包含以上未描述的各种实施方式，可以在由权利要求书确定的 技术思想的范围内进行各种设计变更等。

符号说明

1、200 摄像装置

10、210 主体部

11 摄像部

12 主体通信部

13 时钟部

14 操作输入部

15 记录部

16 记录介质

17 显示部

18 触摸面板

19、212 控制部

20 更换镜头部

21 光学系统

22 驱动部

23 镜头通信部

24 操作部

25 镜头记录部

26 镜头控制部

111 受光部

112 垂直模拟加法电路

113 水平数字加法电路

114 AF 用存储器

191 AF 信号计算部

192 图像处理部

193 图像压缩解压缩部

194 图像文件生成部

195 记录控制部

211 被摄体分析部

213 图像合成部

权利要求书(按照条约第19条的修改)

1.(修改后)一种摄像装置，其特征在于，具有：

摄像部，其具有由多个像素构成的摄像元件，以第一曝光条件摄像而生成第一图 像数据，并且以不同于所述第一曝光条件的第二曝光条件摄像而生成第二图像数据；

图像合成部，其根据所述第一图像数据和所述第二图像数据，生成放大了动态范 围后的合成图像数据；以及

图像文件生成部，其生成图像文件，该图像文件将所述第一图像数据、所述第二 图像数据、所述合成图像数据和位置信息对应起来记录，该位置信息与在所述图像合 成部生成所述合成图像时在对应于所述第一图像数据的第一图像和对应于第二图像 数据的第二图像中彼此进行了置换的像素的位置有关。

2.(修改后)根据权利要求1所述的摄像装置，其特征在于，

所述摄像装置还具有操作输入部，该操作输入部受理用于变更所述第一曝光条件 或所述第二曝光条件的指示信号的输入，

所述摄像部根据从所述操作输入部输入的所述指示信号，生成所述第一图像数据 和所述第二图像数据。

3.(删除)

4.(修改后)一种图像处理装置，其对具有摄像部的摄像装置生成的图像文件内 的图像数据实施图像处理，该摄像部具有由多个像素构成的摄像元件，其特征在于，

所述图像处理装置具有图像处理部，该图像处理部取得图像文件，根据由该图像 文件记录的位置信息，合成第一图像数据和第二图像数据，从而生成放大了动态范围 后的处理图像数据，其中，所述图像文件将所述摄像部以第一曝光条件摄像而生成的 所述第一图像数据、以不同于所述第一曝光条件的第二曝光条件摄像而生成的所述第 二图像数据、以及与在对应于所述第一图像数据的第一图像和对应于第二图像数据的 第二图像中能够彼此进行置换的像素的位置有关的位置信息对应起来记录。

5.(删除)

6.(修改后)一种记录介质，其记录由具有摄像部的摄像装置生成的图像文件， 该摄像部具有由多个像素构成的摄像元件，其特征在于，

所述图像文件记录如下内容：

由所述摄像部以第一曝光条件摄像而生成的第一图像数据；

以不同于所述第一曝光条件的第二曝光条件摄像而生成的第二图像数据；以及

与在对应于所述第一图像数据的第一图像和对应于第二图像数据的第二图像中 能够彼此进行置换的像素的位置有关的位置信息。

7.(修改后)一种由具有摄像部的摄像装置执行的记录方法，该摄像部具有由多 个像素构成的摄像元件，其特征在于，该记录方法具有：

第一生成步骤，以第一曝光条件摄像而生成第一图像数据；

第二生成步骤，以不同于所述第一曝光条件的第二曝光条件摄像而生成第二图像 数据；

图像合成步骤，根据所述第一图像数据和所述第二图像数据，生成放大了动态范 围后的合成图像数据；以及

图像文件生成步骤，生成图像文件，该图像文件将所述第一图像数据、所述第二 图像数据、所述合成图像数据和位置信息对应起来记录，该位置信息与在所述图像合 成部生成所述合成图像数据时在对应于所述第一图像数据的第一图像和对应于第二 图像数据的第二图像中彼此进行了置换的像素的位置有关。

8.(删除)

9.(修改后)一种程序，其特征在于，使具有摄像部的摄像装置执行如下步骤， 该摄像部具有由多个像素构成的摄像元件：

第一生成步骤，以第一曝光条件摄像而生成第一图像数据；

第二生成步骤，以不同于所述第一曝光条件的第二曝光条件摄像而生成第二图像 数据；

图像合成步骤，根据所述第一图像数据和所述第二图像数据，生成放大了动态范 围后的合成图像数据；以及

图像文件生成步骤，生成图像文件，该图像文件将所述第一图像数据、所述第二 图像数据、所述合成图像数据和位置信息对应起来记录，该位置信息与在所述图像合 成部生成所述合成图像数据时在对应于所述第一图像数据的第一图像和对应于第二 图像数据的第二图像中彼此进行了置换的像素的位置有关。

说明或声明(按照条约第19条的修改)

在权利要求1中，根据说明书[0121]～[0148]段以及图12～图19等，作成了摄像 装置的新独立权利要求。

在权利要求2中，根据说明书[0121]～[0148]段以及图12～图19等，作成了从属 于权利要求1的新从属权利要求。

删除了权利要求3。

在权利要求4中，根据说明书[0121]～[0148]段以及图12～图19等，作成了图像 处理装置的新独立权利要求。

删除了权利要求5。

在权利要求6中，根据说明书[0121]～[0148]段以及图12～图19等，作成了记录 介质的新独立权利要求。

在权利要求7中，根据说明书[0121]～[0148]段以及图12～图19等，作成了记录 方法的新独立权利要求。

删除了权利要求8。

在权利要求9中，根据说明书[0121]～[0148]段以及图12～图19等，作成了程序 的新独立权利要求。