图像处理系统、图像处理系统的工作方法、主机装置、程序、以及程序的制作方法

摘要

本发明提供一种不但没有损失基于由图像数据的传输产生的延迟所导致的用户的便利性，而且还能提高基于传输的图像数据所显示的图像的画质的技术。图像处理系统（1）具备：作为输出图像数据的主机装置的图像编码化装置（10）；以及作为具有显示基于从图像编码化装置（10）传输的图像数据的图像的显示部（34）的客户端装置的图像解码化装置（30），图像编码化装置（10）具有：根据图像处理系统（1）的工作状况（SA），将显示于显示部（34）的图像的画质进行控制的画质控制部（15），画质控制部（15），在由从图像编码化装置（10）向图像解码化装置（30）的图像数据的传输产生的图像显示的延迟被容许的工作状况，提高显示于显示部（34）的图像的画质。

说明书

技术领域

本发明涉及图像数据的传输技术。

背景技术

在两个装置之间传输图像数据的情况下，为了抑制传输频带，通常，在图像数据中，实施压缩处理（编码化处理）（例如，专利文献1）。作为对图像数据的压缩方式，例如，虽然采用H.264、MPEG（Moving Picture Experts Group：运动图像专家组）-4等的压缩方式，但是，由于这些压缩方式是不可逆的压缩方式，所以在接收了图像数据的装置中，基于扩展处理（expansion process）而得到的图像数据的图像，变为画质恶化的图像。

由图像数据的传输产生的延迟时间与传输的图像的画质相互具有相关关系，当缩短延迟时间时画质会恶化，当想要维持画质时延迟时间会变长。

（现有技术文献）

专利文献

专利文献1：特开平11-298890号公报。

发明内容

（本发明所要解决的问题）

在此，在装置之间的图像数据的传输中，存在由图像数据的传输所产生的延迟不被容许的情况。例如，在接收了图像数据的接收侧的装置中，在由视觉确认了图像的用户对接收侧的装置进行了某些输入操作的情况下，在将反映了该输入操作的图像从发送侧的装置取得并显示的系统中，从用户的便利性的观点出发，优选的是，对用户的输入操作的响应要快。

在这样的系统中，由于要进行抑制了由图像数据的传输产生的延迟时间的图像数据的传输，所以在接收侧的装置中，变为显示画质恶化的图像。

因此，本发明的目的在于，提供一种不但没有损失基于由图像数据的传输产生的延迟所导致的用户的便利性，而且还能提高基于传输的图像数据所显示的图像的画质的技术。

（用以解决问题的技术方案）

涉及本发明的图像处理系统的第一样式具备：主机装置，输出图像数据；以及客户端装置，具有显示基于从所述主机装置传输来的所述图像数据的图像的显示部，所述主机装置具有：画质控制单元，根据所述图像处理系统的工作状况，控制显示于所述显示部的图像的画质，在由从所述主机装置向所述客户端装置的图像数据的传输所产生的图像显示的延迟被容许的所述工作状况，所述画质控制单元提高显示于所述显示部的图像的画质。

另外，涉及本发明的图像处理系统的第二样式，为上述第一样式，其中，所述主机装置作为所述画质控制单元而具有:画质设定单元，根据所述工作状况，设定显示于所述显示部的图像的画质等级，并输出涉及设定的画质等级的画质信息；编码化条件设定单元，基于所述画质信息，设定编码化时的编码化条件；以及编码化单元，基于所述编码化条件，对所述图像数据实施编码化处理，在所述图像显示的延迟被容许的所述工作状况，所述画质设定单元输出提高所述画质等级的画质信息。

另外，涉及本发明的图像处理系统的第三样式，为上述第二样式，其中，所述编码化条件设定单元基于由所述画质设定单元输出的画质信息，特定图像数据的1帧内的区域即表示由编码化产生的产生编码量的管理范围的单位编码化区域，并将该单位编码化区域作为所述编码化条件进行输出，所述编码化单元具有：编码量控制单元，基于所述编码化条件决定将1帧量分割为多个区域而得到的1宏块左右的目标编码量，并控制量子化参数；以及量子化单元，使用根据所述量子化参数决定的量子化步骤进行量子化处理，并生成编码化的图像数据。

另外，涉及本发明的图像处理系统的第四样式，为上述第三样式，其中，所述编码量控制单元以该单位编码化区域的产生编码量收敛于该单位编码化区域的总目标编码量的方式，决定所述单位编码化区域中包含的1宏块左右的目标编码量。

另外，涉及本发明的图像处理系统的第五样式，为上述第二样式到上述第四样式的任一个，其中，所述客户端装置具有：解码化单元，对从所述主机装置传输来的图像数据，实施解码化处理，所述图像处理系统分别独立地按每一单位编码化区域依次进行所述编码化处理、从所述主机装置到所述客户端装置的图像数据的传输处理、所述解码化处理。

另外，涉及本发明的图像处理系统的第六样式，为上述第二样式到上述第五样式的任一个，其中，在所述图像显示的延迟被容许的所述工作状况中包含：在所述显示部显示视听目的的场景的状况。

另外，涉及本发明的图像处理系统的第七样式，为上述第六样式，其中，所述主机装置具有：存储部，存储用于再生所述视听目的的场景的程序，在所述程序中编入有提高所述画质等级的画质设定命令，当通过执行所述程序发行画质设定命令时，所述画质设定单元接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第八样式，为上述第七样式，其中，用于再生所述视听目的的场景的程序作为函数而构成，该函数的API（Application Program Interface）对程序设计员公开。

另外，涉及本发明的图像处理系统的第九样式，为上述第六样式，其中，所述主机装置具有：存储部，存储用于再生所述视听目的的场景的程序，在用于再生所述视听目的的场景的程序的源代码中，作为注释文记述有所述视听目的的场景名，涉及所述视听目的的场景名的注释文，通过在编译前进行预处理的预处理器，被置换为提高所述画质等级的画质设定命令的源代码，所述画质设定单元通过执行包含从所述源代码生成的目标代码的所述程序，接受发行的画质设定命令，并设定所述画质等级。

另外，涉及本发明的图像处理系统的第十样式，为上述第二样式到上述第五样式的任一个，其中，在所述图像显示的延迟被容许的所述工作状况中包含：对用视觉确认所述显示部的用户执行使思考时间成为必要的特定种类的应用软件的状况。

另外，涉及本发明的图像处理系统的第十一样式，为上述第十样式，其中，所述主机装置具有：存储部，存储使按照应用软件的种类的画质设定命令发行的函数，所述函数使用于所述特定种类的应用软件，在所述特定种类的应用软件中，作为该函数的自变量，设定有所述特定种类，所述画质设定单元当通过执行所述特定种类的应用软件发行提高所述画质等级的画质设定命令时，接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第十二样式，为上述第十一样式，其中，使按照应用软件的种类的画质设定命令发行的函数的API对程序设计员公开。

另外，涉及本发明的图像处理系统的第十三样式，为上述第十样式，其中，所述主机装置具有：存储部，存储在应用软件的初始化处理中执行的第一函数和使按照设定在该第一函数的自变量中的应用软件的种类的画质设定命令发行的第二函数，所述第一函数使用于所述特定种类的应用软件，在所述特定种类的应用软件中，作为所述第一函数的自变量，设定有所述特定种类，所述第二函数通过所述第一函数的执行而执行，所述画质设定单元当通过执行所述特定种类的应用软件发行提高所述画质等级的画质设定命令时，接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第十四样式，为上述第十三样式，其中，所述第一函数的API对程序设计员公开。

另外，涉及本发明的图像处理系统的第十五样式，为上述第十样式，其中，在所述特定种类的应用软件的源代码中，作为注释文记述有该特定种类，涉及所述特定种类的注释文，通过在编译前进行预处理的预处理器，被置换为提高所述画质等级的画质设定命令的源代码，所述画质设定单元通过执行包含从所述源代码生成的目标代码的所述特定种类的应用软件，接受发行的该画质设定命令，并设定所述画质等级。

另外，涉及本发明的图像处理系统的第十六样式，为上述第二样式到上述第五样式的任一个，其中，在所述图像显示的延迟被容许的所述工作状况中包含：所述主机装置读出数据的状况。

另外，涉及本发明的图像处理系统的第十七样式，为上述第十六样式，其中，所述主机装置具有：存储部，存储用于执行数据的读出的程序，在所述程序中编入有提高所述画质等级的画质设定命令，所述画质设定单元当通过执行所述程序发行画质设定命令时，接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第十八样式，为上述第十七样式，其中，用于执行数据的读出的程序作为函数而构成，该函数的API对程序设计员公开。

另外，涉及本发明的图像处理系统的第十九样式，为上述第十六样式到上述第十八样式的任一个，其中，在所述主机装置读出数据的状况中包含：从安装于该主机装置中的外部存储介质读出数据的状况。

另外，涉及本发明的图像处理系统的第二十样式，为上述第二样式到上述第五样式的任一个，其中，所述客户端装置具有：操作检测单元，检测对该客户端装置的用户的操作，在所述图像显示的延迟被容许的所述工作状况中包含：由所述操作检测单元检测的用户的操作量为规定量以下的状况。

另外，涉及本发明的图像处理系统的第二十一样式，为上述第二十样式，其中，所述客户端装置将由所述操作检测单元检测的信息作为操作信息向所述主机装置传输，所述画质设定单元在基于所述操作信息特定的未操作期间为规定期间以上的情况下，输出提高所述画质等级的画质信息。

另外，涉及本发明的图像处理系统的第二十二样式，为上述第二十样式或上述第二十一样式，其中，在所述操作检测单元中包含有感测由用户施加给所述客户端装置的运动的感测传感器，所述客户端装置将由所述感测传感器感测的信息包含在所述操作信息中向所述主机装置传输，所述画质制定单元在基于由所述感测传感器感测的信息特定的所述客户端装置的移动量经过规定时间而不变化的情况下，提高所述画质等级。

另外，涉及本发明的图像处理系统的第二十三样式，为上述第二十样式，其中，所述客户端装置将由所述操作检测单元检测的信息作为操作信息向所述主机装置传输，所述主机装置具有：操作监视单元，基于所述操作信息，监视对所述客户端装置的用户的操作，所述操作监视单元在用户的操作量为规定量以上的情况下，输出降低所述画质等级的画质设定命令，在用户的操作量比规定量少的情况下，输出提高所述画质等级的画质设定命令。

另外，涉及本发明的图像处理系统的第二十四样式，为上述第二样式到上述第二十三样式的任一个，其中，所述画质设定单元在比从所述图像显示的延迟被容许的工作状况向所述图像显示的延迟不被容许的工作状况进行变化的时点更前的时点，输出降低画质等级的画质信息。

另外，涉及本发明的图像处理系统的第二十五样式，为上述第二十样式到上述第二十四样式的任一个，其中，所述主机装置具有：存储部，在比从用户的操作不被要求的场景向用户的操作被要求的场景进行变更的场景变更时点更前的时点，存储用于执行规定的事件的程序，在所述程序中编入有降低所述画质等级的画质设定命令，所述画质设定单元当通过执行所述程序发行画质设定命令时，接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第二十六样式，为上述第二十五样式，其中，用于执行所述规定的事件的程序作为函数而构成，该函数的API对程序设计员公开。

另外，涉及本发明的图像处理系统的第二十七样式，为上述第二十样式到上述第二十四样式的任一个，其中，所述主机装置具有：存储部，存储执行从用户的操作不被要求的场景向用户的操作被要求的场景进行变更的场景变更时点的事件的程序，在执行所述场景变更时点的事件的程序的源代码中包含：在编译时，使降低所述画质等级的画质设定命令在所述场景变更时点的规定时间前配置的特殊命令，所述画质设定单元当通过执行包含由所述源代码的编译生成的目标代码的所述程序发行画质设定命令时，接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第二十八样式，为上述第二十七样式，其中，执行所述场景变更时点的事件的程序作为函数而构成，该函数的API对程序设计员公开。

另外，涉及本发明的图像处理系统的第二十九样式，为上述第二样式到上述第五样式的任一个，其中，所述客户端装置具有：操作检测单元，检测对该客户端装置的用户的操作，所述客户端装置将由所述操作检测单元检测的信息作为操作信息向所述主机装置传输，在所述图像显示的延迟被容许的所述工作状况中包含：在所述主机装置中以不受理基于所述操作信息的指示的方式被设定的状况。

另外，涉及本发明的图像处理系统的第三十样式，为上述第二十九样式，其中，所述主机装置具有：存储部，存储用于不受理基于所述操作信息的指示的程序，在所述程序中编入有提高所述画质等级的画质设定命令，所述画质设定单元当通过执行所述程序发行画质设定命令时，接受该画质设定命令并设定所述画质等级。

另外，涉及本发明的图像处理系统的第三十一样式，为上述第三十样式，其中，用于不受理基于所述操作信息的指示的程序作为函数而构成，该函数的API对程序设计员公开。

另外，涉及本发明的图像处理系统的第三十二样式，为上述第二样式到上述第五样式的任一个，其中，所述主机装置具有生成3D图像的图像生成单元，所述客户端装置具有：操作检测单元，检测对该客户端装置的用户的操作，在所述图像显示的延迟被容许的所述工作状况中包含：观看由所述图像生成单元生成的所述3D图像的视点位置移动的状况即在视点位置的移动前的规定期间中由所述操作检测单元未检测到用户的操作的状况。

另外，涉及本发明的图像处理系统的第三十三样式，为上述第三十二样式，其中，所述客户端装置将由所述操作检测单元检测的信息作为操作信息向所述主机装置传输，所述图像生成单元在生成3D图像时，在进行使所述视点位置连续地变化的取景变换的情况下，输出表示对所述画质设定单元进行视点位置的连续地变化的信号，所述画质设定单元在基于所述操作信息未检测到表示进行视点位置的连续地变化的信号的输入前的规定期间中的用户的操作时，输出提高所述画质等级的画质信息。

另外，涉及本发明的图像处理系统的第三十四样式，为上述第二样式到上述第五样式的任一个，其中，所述主机装置具有生成3D图像的图像生成单元，所述客户端装置具有：操作检测单元，检测对该客户端装置的用户的操作，所述客户端装置将由所述操作检测单元检测的信息作为操作信息向所述主机装置传输，所述图像生成单元，在生成3D图像时，在进行使所述视点位置连续地变化的取景变换的情况下，输出表示对所述画质设定单元进行视点位置的连续地变化的信号，所述画质设定单元在基于所述操作信息检测到表示进行视点位置的连续地变化的信号的输入前的规定期间中的用户的操作时，输出降低所述画质等级的画质信息。

另外，涉及本发明的图像处理系统的第三十五样式，为上述第一样式，其中，所述主机装置作为所述画质控制单元而具有：画质设定单元，根据所述工作状况，设定显示于所述显示部的图像的画质等级，并输出涉及设定的画质等级的画质信息；以及编码化单元，基于所述画质信息，对所述图像数据实施编码化处理，所述编码化单元具有：编码量控制单元，基于所述画质信息，特定图像数据的1帧内的区域即表示由编码化产生的产生编码量的管理范围的单位编码化区域，并基于所述单位编码化区域决定将1帧量分割为多个区域而得到的1宏块左右的目标编码量，并控制量子化参数；以及量子化单元，使用根据所述量子化参数决定的量子化步骤进行量子化处理，生成编码化的图像数据。

另外，涉及本发明的图像处理系统的第三十六样式，为上述第一样式，其中，所述主机装置作为所述画质控制单元而具有：延迟时间设定单元，根据所述工作状况，设定向所述显示部的图像显示的容许延迟时间，并输出涉及设定的容许延迟时间的延迟时间信息；以及编码化单元，基于所述延迟时间信息，对所述图像数据实施编码化处理，所述编码化单元具有：编码量控制单元，基于所述延迟时间信息，特定图像数据的1帧内的区域即表示由编码化产生的产生编码量的管理范围的单位编码化区域，并基于所述单位编码化区域决定将1帧量分割为多个区域而得到的1宏块左右的目标编码量，并控制量子化参数；以及量子化单元，使用根据所述量子化参数决定的量子化步骤进行量子化处理，生成编码化的图像数据。

另外，涉及本发明的主机装置的第一样式具备：输出单元，生成显示于客户端装置的显示部的图像的图像数据，并输出该图像数据；以及画质控制单元，根据包括所述主机装置和所述客户端装置的图像处理系统的工作状况，控制显示于所述显示部的图像的画质，所述画质控制单元在由从所述主机装置向所述客户端装置的图像数据的传输所产生的图像显示的延迟被容许的所述工作状况中，提高所述图像的画质。

另外，涉及本发明的图像处理系统的工作方法的第一样式，为如下图像处理系统的工作方法，该图像处理系统具备：主机装置，输出图像数据；以及，客户端装置，具有显示基于从该主机装置传输来的所述图像数据的图像的显示部，该图像处理系统的工作方法具有如下步骤：a）在所述主机装置中，把握所述图像处理系统的工作状况的步骤；b）在所述a）步骤中，在把握了由从所述主机装置向所述客户端装置的图像数据的传输所产生的图像显示的延迟被容许的工作状况的情况下，提高显示于所述显示部的图像的画质的步骤。

另外，涉及本发明的图像处理系统的工作方法的第二样式为上述工作方法的第一样式，其中，所述b）步骤包含：画质设定步骤，根据所述a）步骤中把握的工作状况，设定显示于所述显示部的图像的画质等级，输出涉及设定的画质等级的画质信息；编码化条件设定步骤，基于所述画质信息，设定编码化时的编码化条件；以及编码化步骤，基于所述编码化条件，对所述图像数据实施编码化处理，在所述画质设定步骤中，在所述图像显示的延迟被容许的所述工作状况中，输出提高所述画质等级的画质信息。

另外，涉及本发明的图像处理系统的工作方法的第三样式为上述工作方法的第二样式，其中，在所述编码化条件设定步骤中，基于所述b-1步骤中输出的画质信息，特定图像数据的1帧内的区域即表示由编码化产生的产生编码量的管理范围的单位编码化区域，并将该单位编码化区域作为所述编码化条件进行输出，所述编码化步骤包含：编码量控制步骤，基于所述编码化条件，决定将1帧量分割为多个区域而得到的1宏块左右的目标编码量，并控制量子化参数；以及量子化步骤，使用根据所述量子化参数决定的量子化步骤进行量子化处理，生成编码化的图像数据。

另外，涉及本发明的图像处理系统的工作方法的第四样式为上述工作方法的第三样式，其中，在所述编码量控制步骤中，以该单位编码化区域的产生编码量收敛于该单位编码化区域的总目标编码量的方式，决定所述单位编码化区域中包含的1宏块左右的目标编码量。

另外，涉及本发明的图像处理系统的工作方法的第五样式为上述工作方法的第二样式到上述工作方法的第四样式的任一个，其中，还具有：解码化步骤，对从所述主机装置传输来的图像数据，在所述客户端装置中实施解码化处理，在所述图像处理系统中，分别独立地按每一单位编码化区域依次进行所述编码化处理、从所述主机装置向所述客户端装置的图像数据的传输处理、所述解码化处理。

另外，涉及本发明的图像处理系统的工作方法的第六样式为上述工作方法的第二样式到上述工作方法的第五样式的任一个，其中，在所述画质设定步骤中，在比从所述图像显示的延迟被容许的工作状况向所述图像显示的延迟不被容许的工作状况进行变化的时点更前的时点，输出降低画质等级的画质信息。

另外，涉及本发明的程序的第一样式，使内置于具备输出图像数据的主机装置以及具有显示基于从该主机装置传输来的所述图像数据的图像的显示部的客户端装置的图像处理系统的所述主机装置中的计算机执行如下步骤，即，在由从所述主机装置向所述客户端装置的图像数据的传输所产生的图像显示的延迟被容许的所述图像处理系统的工作状况中，发行提高显示于所述显示部的图像的画质等级的画质设定命令的步骤；接受所述画质设定命令的发行并设定所述画质等级的步骤。

另外，涉及本发明的程序的制作方法的第一样式为如下的制作方法，该程序存储在具备输出图像数据的主机装置以及具有显示基于从该主机装置传输来的所述图像数据的图像的显示部的客户端装置的图像处理系统的所述主机装置的存储部，该程序的制作方法具备：将在用于再生视听目的的场景的程序的源代码中记述的、表示该视听目的的场景名的注释文，通过在编译前进行预处理的预处理器，置换为提高显示于所述显示部的图像的画质等级的画质设定命令的源代码的步骤；以及通过编译，从该源代码生成包含提高所述画质等级的画质设定命令的目标代码的程序的步骤。

另外，涉及本发明的程序的制作方法的第二样式为如下的制作方法，该程序存储在具备输出图像数据的主机装置以及具有显示基于从该主机装置传输来的所述图像数据的图像的显示部的客户端装置的图像处理系统的所述主机装置的存储部，该程序的制作方法具备：将所述特定种类的应用软件的源代码中记述的、表示该特定种类的注释文，提高在编译前进行预处理的预处理器，置换为提高显示于所述显示部的图像的画质等级的画质设定命令的源代码的步骤；以及通过编译，从该源代码生成包含提高所述画质等级的画质设定命令的目标代码的程序的步骤。

另外，涉及本发明的程序的制作方法的第三样式为如下的制作方法，该程序存储在具备输出图像数据的主机装置以及具有显示基于从该主机装置传输来的所述图像数据的图像的显示部的客户端装置的图像处理系统的所述主机装置的存储部，该程序的制作方法具备：将执行从用户的操作不被要求的场景向用户的操作被要求的场景进行变更的场景变更时点的事件的程序的源代码进行编译的步骤，在所述源代码中包含：通过执行所述步骤，使降低显示于所述显示部的图像的画质等级的画质设定命令在所述场景变更时点的规定时间前配置的特殊命令。

（发明效果）

根据本发明，不但没有损失基于由图像数据的传输产生的延迟所导致的用户的便利性，而且还能提高基于传输的图像数据所显示的图像的画质。

该发明的目的、特征、方式、以及优点，通过以下的详细说明和付加的附图，变得更加明显。

附图说明

图1是表示涉及本发明的实施方式的图像处理系统的概略结构的图。

图2是表示构成图像处理系统的图像编码化装置和图像解码化装置的具体结构的图。

图3是表示编码化部的结构的块图。

图4是表示画质模式与编码化条件的关系的表。

图5是用于说明图像编码化装置中的编码化处理的图。

图6是用于说明图像编码化装置中的编码化处理的图。

图7是用于说明图像编码化装置中的编码化处理的图。

图8是表示从图像编码化装置向图像解码化装置的图像数据的传输工作的图。

图9是游戏程序的设计例。

图10是游戏程序的设计例。

图11是游戏程序的设计例。

图12是用于说明直到场景变更时点，使画质模式转变到低画质侧的模式的手法的图。

图13是用于说明直到场景变更时点，使画质模式转变到低画质侧的模式的手法的图。

图14是表示涉及变形例的图像处理系统的具体结构的图。

图15是表示涉及变形例的图像处理系统的具体结构的图。

图16是表示游戏种类与画质等级的变化范围的关系的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

＜1．实施方式＞　　

[1-1. 概要]

图1是表示涉及本发明的实施方式的图像处理系统1的概略结构的图。

如图1所示，图像处理系统1具备：图像编码化装置10和图像解码化装置30。

图像处理系统1的图像编码化装置10，将在图像生成部11中生成的图像数据进行编码化。将由图像编码化装置10编码化的图像数据，通过有线通信或无线通信等的通信单元（输出单元），从图像编码化装置10向图像解码化装置30进行传输。将传输到图像解码化装置30的图像数据，在图像解码化装置30中进行解码化并显示于显示部34。

本实施方式的图像处理系统1具有将在显示部34中显示的图像的画质进行控制的画质控制部15。画质控制部15将图像处理系统1的工作状况SA进行检测，并根据检测出的工作状况SA，将显示于显示部34的图像的画质进行控制。

另外，在图像处理系统1中，将由用户（使用者）经由图像解码化装置30的操作部35输入的操作信息，通过上述通信单元从图像解码化装置30向图像编码化装置10进行传输，并在图像处理系统1中，执行根据操作信息的工作。

在图像处理系统1中，图像编码化装置10具有作为在系统内成为处理核心的主机装置的作用，图像解码化装置30具有利用由主机装置提供的功能或数据等进行工作的客户端装置的作用。为此，在图像处理系统1中，例如，也可以为对一个图像编码化装置10，设置了多个图像解码化装置30的样式，在这种情况下，成为从一个图像编码化装置10对多个图像解码化装置30，传输图像数据。

作为这样的图像处理系统1，例如，想定为游戏系统，在该游戏系统中，图像编码化装置10作为游戏机主体进行工作，图像解码化装置30作为操作终端机（简单地也称为“操作终端”或“终端”）进行工作。游戏的操作者，通过一边视觉确认显示于操作终端的显示部的图像，一边对操作终端给予指示操作，就能享受游戏。

下面，想定图像处理系统1为游戏系统的情况，对图像处理系统1进行详细地说明。另外，图像处理系统1，如游戏系统那样，除了对基于视觉确认了显示部的用户的操作的响应被要求的系统之外，还包含对朝向显示部的图像的显示，延时（延迟）不被容许的其它系统。

另外，在本说明书中，为了避免说明的无需的繁杂化，在不导致混淆的范围内，将图像的图像数据与图像本身表述为等同的“图像”。另外，将本说明书的“图像”作为包含静止图像和动态图像的概念进行使用。

[1-2. 构成]

接着，对构成图像处理系统1的图像编码化装置10和图像解码化装置30的具体结构进行详述。图2是表示构成图像处理系统1的图像编码化装置10和图像解码化装置30的具体结构的图。

如图2所示，图像编码化装置10具备：图像生成部11、整体控制部12、编码化部13、通信部14。

图像生成部11使用GPU（Graphic Processing Unit：图形处理单元）而构成，具有依次生成形成动态图像的图像的图像数据的功能。另外，GPU是与通用的CPU相比特别是在图像处理中进行了特殊化设计的半导体芯片，通常的CPU是在图像编码化装置10中另外安装有GPU。由图像生成部11生成的图像数据被输入到编码化部13。另外，图像生成部11使用在安装于图像编码化装置10的存储卡、CD-ROM等的外部存储介质（未图示）中存储的图像数据，也能生成动态图像的图像数据。

编码化部（也称为“编码器”）13对从图像生成部11输入的图像数据，实施规定的动态图像压缩方式的压缩处理（也称为“编码化处理”），来生成压缩图像数据。作为动态图像压缩方式，例如，采用H.264、MPEG（Moving Picture Experts Group）-2、MPEG-4等。另外，关于编码化部13的详细结构，在后面叙述。

由编码化部13生成的压缩图像数据被输入到通信部14，并通过通信部14向图像编码化装置10的外部进行传输。

整体控制部12由CPU、ROM以及RAM等（都未图示）构成，统一地控制图像编码化装置10和图像处理系统1的各工作。另外，特别是，整体控制部12通过由CPU执行存储于ROM的程序，功能性地实现画质设定部121和编码化条件设定部122。关于画质设定部121和编码化条件设定部122，在后面叙述。

另外，图像编码化装置10从图像解码化装置30接受由使用作为客户端装置的图像解码化装置30的用户（使用者）输入的操作信息，在整体控制部12中解析操作信息。整体控制部12实现响应于该操作信息的各种工作。

另一方面，图像解码化装置30具备：通信部31、整体控制部32、解码化部33、显示部34以及操作部35。

通信部31接收由图像编码化装置10传输的数据（传输数据），并将传输数据输出到整体控制部32或解码化部33。例如，将传输数据中包含的压缩图像数据，通过通信部31输出到解码化部33。

解码化部（也称为“解码器”）33对压缩图像数据实施扩展处理（也称为“解码化处理”），来取得图像数据。

解码化的图像数据在LCD（Liquid Crystal Display：液晶显示器）或有机EL显示器等的显示部34中显示。

整体控制部32由CPU、ROM以及RAM等（都未图示）构成，并统一地控制图像解码化装置30的各工作（例如，通信工作、解码化处理以及显示处理等）。

操作部35由方向选择键、按钮（push button）等构成，是用于使用户的指示操作输入到图像处理系统1的部件。即，操作部35作为检测对图像解码化装置30的用户的操作的操作检测单元而起作用。将使用操作部35输入的指示操作，在整体控制部32中进行解析，并将根据指示操作的操作信息输出到图像编码化装置10。

[1-3. 编码化部的详细结构]

接着，详细叙述图像编码化装置10的编码化部13。图3是表示编码化部13的结构的块图。

如图3所示，将从图像生成部11输出的图像数据，经由接口（I／F）部211存储到图像存储器（帧存储器）212。图像存储器212将图像数据按每一帧进行暂时地存储。

之后，通过存储器读出部213，以将图像分割为多个区域而得到的块（例如，16像素×16像素的块）为单位，从图像存储器212读出图像数据。将读出的块单位的图像数据（也称为“块图像数据”也称为）51输入到编码化部13（具体而言，差分计算部217、内预测部214以及间预测部215）。

这样，在图像编码化装置10中变为以块单位读出图像数据，并按每一块（也称为“宏块”或“压缩块”）实施编码化处理。

由图像编码化装置10的编码化部13执行的压缩处理大致地分为三个处理，即，大致区分为预测图像生成处理、残留误差信号编码化处理、局部解码处理。

预测图像生成处理通过由图3中的内预测部（intra－predication part）214、间预测部（inter－predication part）215、内／间切换部216构成的预测图像输出单元来实现。

内预测部214进行画面内预测而生成内预测图像。具体地说，内预测部214将块图像数据51和已编码化的数据的局部解码图像52作为输入，从成为候补的预测方向中决定编码化效率变为最佳的预测方向，并将内预测图像（内预测信号）和内预测信息（涉及预测方向的信息）作为内信息53而输出。

间预测部215进行画面间预测而生成间预测图像。具体地说，间预测部215将块图像数据51和已编码化的数据的局部解码图像作为输入，决定编码化效率变为最佳的运动矢量，并将间预测图像（间预测信号）和间预测信息（涉及运动矢量的信息）作为间信息54而输出。

内／间切换部216将内信息53、间信息54、以及块图像数据51作为输入，择一地选择内信息53和间信息54中的任一个并输出。内／间切换部216计算内预测图像与块图像数据51的差分值，以及间预测图像与块图像数据51的差分值。进而，内／间切换部216通过比较两个差分值，将内预测图像和间预测图像中与块图像数据之间的差分小的图像作为预测图像55输出到差分计算部217和加法计算部223。

另外，进而，内／间切换部216将涉及输出的预测图像55的预测信息56输出到熵编码化部221。即，在将内预测图像作为预测图像55进行输出的情况下，成为将内预测信息作为预测信息56进行输出，在将间预测图像作为预测图像55进行输出的情况下，成为将间预测信息作为预测信息56进行输出。

残留误差信号编码化处理由图3中的差分计算部217、正交变换部218、量子化部219、编码量控制部220以及熵编码化部221来实现。

差分计算部217在块图像数据51与预测图像55之间，计算像素值的差分，将差分结果的残留误差信号（差分信号）57输出到正交变换部218。

在正交变换部218中，进行所谓的离散余弦变换（DCT），残留误差信号57被正交变换为频率区域的DCT系数58。由该变换得到的DCT系数58被输入到量子化部219。

在量子化部219中，对DCT系数58进行量子化，DCT系数58被变换为量子化系数59。这样的量子化由通过使用由编码量控制部220决定的量子化步骤与DCT系数58相除来实现。将由量子化部219得到的量子化系数59输入到熵编码化部221和局部解码部222。

在熵编码化部221中，对从量子化部219输入的量子化系数59和从内／间切换部216输入的预测信息56，例如实施霍夫曼编码化等的可变长度编码化处理或算术编码化处理，来生成编码化数据60。编码化数据60暂时被存储在发送缓冲器（未图示）中之后，作为压缩图像数据输出到编码化部13的外部。另外，由于压缩图像数据中包含有编码化的预测信息56等的编码化时的信息，所以接收压缩图像数据，并且在重构图像的解码化装置中，通过使用编码化时的该信息，成为可解码化。

另外，熵编码化部221将生成的编码化数据的数据量（产生编码量）61及时地输出到编码量控制部220。

编码量控制部220决定量子化中使用的量子化步骤，并且作为将该量子化步骤作为量子化信息62输出到量子化部219的信息生成单元而起作用。量子化步骤表示量子化的粗糙度，量子化步骤越小，越能抑制画质的恶化，但是，编码量会变多。在编码量控制部220中，通过控制与量子化步骤具有规定的关系的量子化参数，导出量子化步骤。基于从整体控制部12的编码化条件设定部122输入的编码化条件进行量子化参数的设定控制。关于量子化参数的设定控制，在后面叙述。

另外，量子化参数是与量子化步骤具有规定的关系的变量，例如，在MPEG-2中，量子化参数与量子化步骤具有比例关系，在H.264中，量子化参数与量子化步骤的对数具有比例关系。

局部解码处理由图3中的局部解码部222、加法计算部223以及参照图像存储器224来实现。

在局部解码部222中，在对量子化系数59进行了反量子化处理之后，执行与DCT相反的计算（反DCT），并输出计算结果（重构的残留误差信号63）。在加法计算部223中，对局部解码部222的计算结果，进行使用了由内预测部214或间预测部215生成的预测图像55的加法处理，输出该加法结果的局部解码图像（也称为“参照图像”）52。将局部解码图像暂时存储在参照图像存储器224。

这样，编码化部13基于由图像生成部11生成的图像数据进行画面内预测或画面间预测，并将该图像数据进行编码化。

[1-4. 关于画质控制]

如上所述，图像处理系统1具有：根据图像处理系统1的工作状况，将显示于显示部34的图像的画质进行控制的画质控制部15。图4是表示画质模式与编码化条件的关系的表。

如图2所示，画质控制部15是通过整体控制部12中功能性实现的画质设定部121以及编码化条件设定部122与编码化部13的协同工作所实现的功能部。

具体地说，画质设定部121根据图像处理系统1的工作状况，将显示于显示部34的图像的画质等级进行设定。画质等级的设定，例如，通过变更涉及画质等级的模式（画质模式）来进行。在图像处理系统1中，作为画质模式的种类，例如，设置有高画质模式、中画质模式以及低画质模式的三种类，画质设定部121从这些多个种类的画质模式中选择一种类的画质模式。

画质模式的选择，反映图像处理系统1的工作状况来进行。在作为游戏系统的图像处理系统1中，以较低画质侧的模式（低画质模式或中画质模式）工作的情况较多，根据工作状况，从低画质侧的模式向较高画质侧的模式（高画质模式或中画质模式）转变。

从低画质侧的模式向高画质侧的模式转变时的、作为图像处理系统1的工作状况，例如，有（1）在显示部34显示视听目的场景的状况、（2）想定用户的输入操作少的状况、（3）图像编码化装置10正读入数据的状况、以及（4）在图像解码化装置30中实际上未进行基于用户的操作的状况。

（1）～（3）的各工作状况，通过发行在执行中的程序（在此为游戏程序）中编入的画质设定命令来把握。

具体地说，通过基于整体控制部12的CPU的程序的执行，当发行该程序中编入的画质设定命令时，画质设定部121根据画质设定命令，来变更画质模式。

（4）的工作状况是基于从图像解码化装置30输入的操作信息进行把握的状况，画质设定部121根据基于操作信息把握的用户的操作状况来变更画质模式。具体在后面叙述。

画质设定部121在图像编码化装置10启动时和画质模式变更时，将涉及目前的画质等级的信息（也称为“画质信息”）给编码化条件设定部122进行通知。在此，作为画质信息，使用画质模式。画质模式的通知，例如，使用对应于各画质模式被分配的标志。

编码化条件设定部122，基于从画质设定部121通知的目前的画质模式，设定编码化的条件（编码化条件）。编码化条件的设定，例如，能使用表示画质模式与编码化条件的关系的表来进行。在本实施方式中，如图4所示，例示了使用表TB1设定编码化条件的情况。当使用该表TB1设定编码化条件时，在目前的画质模式为高画质模式时，作为编码化条件设定条件EC1。另外，在目前是画质模式为中画质模式时，作为编码化条件设定条件EC2，在目前的画质模式为低画质模式时，作为编码化条件设定条件EC3。另外，编码化条件设定部122也被称为基于画质信息取得编码化中使用的编码化信息的编码化信息取得部。

当编码化条件的设定结束时，编码化条件设定部122将设定的编码化条件输出到编码化部13。

编码化部13基于从编码化条件设定部122输入的编码化条件，对图像数据进行编码化处理。

在此，详细叙述在图像编码化装置10中执行的编码化处理。图5～图7是用于说明图像编码化装置10中的编码化处理的图。

在图像编码化装置10中，基于从整体控制部12的编码化条件设定部122输入的编码化条件，变更单位编码化区域（单位编码化区域）进行编码化处理。

单位编码化区域是图像数据的1帧内的区域，表示进行编码化处理时的产生编码量的管理范围。例如，如图5所示，当1帧FR中的1／3的区域AE1变为编码化处理的处理单位时，1／3的帧区域AE1就变为单位编码化区域。另外，如图6所示，1帧FR中的2／3的区域AE2变为编码化处理的处理单位时，2／3的帧区域AE2就变为单位编码化区域。另外，如图7所示，1帧FR的全区域AE3变为编码化处理的处理单位时，该全区域AE3就变为单位编码化区域。

这样的单位编码化区域的变更，基于从编码化条件设定部122输入的编码化条件，在编码量控制部220中进行。

具体地说，在本实施方式中，将单位编码化区域中包含的宏块的个数（也称为“单位处理块数”）作为编码化条件来使用，单位处理块数按每一编码化条件，换句话说，根据画质模式，设定为不同的值。在使用图4所示的表TB1的本实施方式中，在高画质模式时，将单位处理块数设定为1帧量的块数。另外，在中画质模式时，将单位处理块数设定为2／3帧量的块数，在低画质模式时，将单位处理块数设定为1／3帧量的块数。

由此，就成为根据目前的画质模式的种类，从编码化条件设定部122输出不同的单位处理块数。

由于编码量控制部220基于从编码化条件设定部122输入的单位处理块数来特定单位编码化区域，所以就成为当变更从编码化条件设定部122输入的单位处理块数时，由编码量控制部220特定的单位编码化区域被变更。即，在本实施方式的高画质模式时，单位编码化区域变为1帧量的区域，中画质模式时，单位编码化区域变为2／3帧量的区域，低画质模式时，单位编码化区域变为1／3帧量的区域。

这样，当变更单位编码化区域进行编码化处理时，就成为图像数据的画质被变更。

具体地说，编码化部13管理按每一单位编码化区域的编码量进行编码化处理。即，编码化部13以单位编码化区域中的实际的产生编码量收敛于该单位编码化区域的总目标编码量的方式，控制1宏块左右的目标编码量（也成为“单位目标编码量”）进行编码化处理。

更详细而言，编码量控制部220通过在1宏块左右的基准编码量中乘以构成单位编码化区域的宏块数，得到该单位编码化区域的总目标编码量“TM”。另外，编码量控制部220基于从熵编码化部221输入的产生编码量，取得单位编码化区域中包含的宏块中的、涉及已编码化处理的宏块（已处理块）的产生编码量“FA”。

进而，编码量控制部220特定单位编码化区域中包含的宏块中的、编码化处理还未结束的宏块（未处理块）的数“BN”，进行下述式（1）的计算。

[0125[数学式]

TC＝（TM－FA）/BN  ···（1）

式（1）的计算是，从总目标编码量“TM”减去已处理块的产生编码量“FA”，并将得到的相减值除以未处理块的数“BN”，通过该计算，编码量控制部220取得1宏块左右的目标编码量“TC”。

编码量控制部220在编码化处理的执行中，通过适当地进行上述式（1）的计算，更新1宏块左右的目标编码量，并基于更新的1宏块左右的目标编码量来控制量子化参数。

另外，将从图像编码化装置10向图像解码化装置30的比特传送速率（例如，10Mbps），以动态图像的帧速率（例如，60fps）和1帧内的宏块的总数相除，能得到1宏块左右的基准编码量。

如上述那样，在编码化处理中，在将产生编码量按每一单位编码化区域管理的情况下，若将单位编码化区域变大，将用于得到1宏块左右的目标编码量的平均区间变长，则变为作为1宏块左右的编码量的峰值能容许较大的值。

例如，将1帧整体作为单位编码化区域的情况与将1／3的帧区域作为单位编码化区域的情况相比总目标编码量变大。为此，将1帧整体作为单位编码化区域的情况与将1／3的帧区域作为单位编码化区域的情况相比，作为1宏块左右的编码量的峰值能容许较大的值。

这样，若将单位编码化区域变大，则作为1宏块左右的编码量的峰值能容许较大的值。为此，由于在单位编码化区域大的情况下，例如，对包含很多高频成分的帧内的特定区域，与帧内的其它的区域相比能分配较多的编码量，所以能减轻基于编码化的该特定区域的画质恶化，进而，就成为能提高解码化处理后的图像的画质。

另一方面，在将比1帧小的区域作为单位编码化区域的情况下，由于作为1宏块左右的编码量的峰值被容许的值变小，所以变为降低解码化处理后的图像的画质。

在将比1帧小的区域作为单位编码化区域的情况下，在图像处理系统1中，与编码化处理后的画质的降低相反，能缩短从图像编码化装置10向图像解码化装置30的图像数据的传输中所需的时间。图8是表示从图像编码化装置10向图像解码化装置30的图像数据的传输工作的图。

具体地说，图像编码化装置10将压缩图像数据暂时存储于发送缓冲器，在单位编码化区域的编码化处理结束的时点，按每一单位编码化区域传输压缩图像数据。进而，图像解码化装置30将传输来的压缩图像数据按每一单位编码化区域进行解码化，来取得图像数据。

此时，图像处理系统1通过分别独立地进行图像编码化装置10中的编码化处理、压缩图像数据的传输处理、图像解码化装置30中的解码化处理，来缩短从图像编码化装置10向图像解码化装置30的图像数据的传输中所需的时间。

例如，如图8所示，想定将1／3帧量的区域作为单位编码化区域来执行编码化处理的情况。

在这种情况下，首先，对帧上段的1／3帧量的区域（上段区域）AU的图像数据执行编码化处理EP1。当上段区域AU的编码化处理EP1结束时，执行上段区域AU的压缩图像数据的传输处理TP1。通过该传输处理TP1，当上段区域AU的压缩图像数据从图像编码化装置10向图像解码化装置30进行传输时，在图像解码化装置30中，执行对上段区域AU的压缩图像数据的解码化处理DP1。当解码化处理DP1结束时，就变为完成上段区域AU的图像数据的传输工作（详细而言，编码化处理EP1、传输处理TP1以及解码化处理DP1）GF1。

另外，在图像编码化装置10中，当上段区域AU的编码化处理EP1结束时，开始帧中段的1／3帧量的区域（中段区域）AM的编码化处理EP2。当中段区域AM的编码化处理EP2结束时，执行中段区域AM的压缩图像数据的传输处理TP2。通过该传输处理TP2，当中段区域AM的压缩图像数据从图像编码化装置10向图像解码化装置30进行传输时，在图像解码化装置30中，执行对中段区域AM的压缩图像数据的解码化处理DP2。当解码化处理DP2结束时，就变为完成中段区域AM的图像数据的传输工作GF2。

另外，同样地，在图像编码化装置10中，当中段区域AM的编码化处理EP2结束时，开始帧下段的1／3帧量的区域（下段区域）AD的编码化处理EP3。当下段区域AD的编码化处理EP3结束时，就执行下段区域AD的压缩图像数据的传输处理TP3。通过该传输处理TP3，当下段区域AD的压缩图像数据从图像编码化装置10向图像解码化装置30进行传输时，在图像解码化装置30中，执行对下段区域AD的压缩图像数据的解码化处理DP3。当解码化处理DP3结束时，就变为完成下段区域AD的图像数据的传输工作GF3。

这样，图像处理系统1在将比1帧小的区域作为单位编码化区域执行编码化处理的情况下，按每一单位编码化区域进行图像数据的传输工作（编码化处理、传输处理以及解码化处理），并且，当某个单位编码化区域的编码化处理结束时，开始下一个单位编码化区域的编码化处理，即，开始下一个单位编码化区域的图像数据的传输工作。也就是说，在图像处理系统1中，按每一单位编码化区域依次进行编码化处理、传输处理以及解码化处理。

据此，如图8所示，在图像处理系统1中，按单位编码化区域的图像数据的传输工作变为一部分并行进行。因此，在图像处理系统1中，将比1帧小的区域作为单位编码化区域执行编码化处理的情况比将1帧的全区域AE3作为单位编码化区域进行图像数据的传输工作GF4（详细而言，编码化处理EP4、传输处理TP4以及解码化处理DP4）情况，更能缩短图像数据的传输中所需的时间。另外，虽然在此以单位编码化区域为1／3帧量的区域的情况和为1帧量的区域的情况为例，对图像数据的传输时间的缩短化进行了说明，但是，单位编码化区域变得越小，则图像数据的传输时间越缩短。

这样，在图像处理系统1中，图像编码化装置10根据画质模式的变更将单位编码化区域进行变更来执行编码化处理，由此进行画质的控制。

另外，当图像数据的传输时间缩短时，能缩短从图像编码化装置10的图像生成部11生成图像数据开始，直到图像解码化装置30的显示部34显示基于该图像数据的图像为止的时间。从图像编码化装置10生成图像开始，直到图像解码化装置30显示该图像为止的时间，也称为图像显示的延迟时间。

显示于显示部34的图像的画质与延迟时间具有相关关系，若将单位编码化区域变大，则在提高画质的反面，延迟时间就变长。另一方面，若单位编码化区域变小，则在降低画质的反面，延迟时间就变短。在上述中，作为从低画质侧的模式向高画质侧的模式转变时的、图像处理系统1的工作状况，虽然列举出（1）在显示部34显示视听目的的场景的状况、（2）想定用户的输入操作少的状况、（3）图像编码化装置10正读入数据的状况、以及（4）在图像解码化装置30中实际上未进行基于用户的操作的状况，但是，这些（1）～（4）的各工作状况，在图像处理系统1中，也能表现为由从图像编码化装置10向图像解码化装置30的图像数据的传输而产生的图像显示的延迟被容许的状况。即，涉及图像显示的延迟被容许的各状况，换句话说，即使延迟时间变长，也不会给图像处理系统1的工作带来影响的各状况中，图像处理系统1使显示于显示部34的图像的画质提高。

[1-5. 关于各工作状况]

在此，对从低画质侧的模式向高画质侧的模式转变时的、图像处理系统1的各工作状况（1）～（4）进行详述。

（1）在显示部34显示视听目的的场景的状况

在本实施方式的图像处理系统1中，不需要基于用户的输入操作，在以视听为主要目的的场景中，画质模式从低画质侧的模式向高画质侧的模式转变。在视听目的的场景中，例如，包含重放图像显示场景（重放场景）或动态图像显示场景（电影场景）等。另外，除了重放场景、电影场景之外，也可以将选择游戏设定的菜单场景、用于获知游戏的操作方法等的帮助场景等视为视听目的的场景。

通过检测整体控制部12所执行中的程序中编入的画质设定命令，来把握显示视听目的的场景的状况。

画质设定命令例如也可以包含在提供给应用开发者（“游戏开发者”、或简单地称为“程序设计员”）的、 软件开发工具包（SDK：Software Development Kit ）中包含的程序库内的函数中。更详细而言，也可以在用于再生电影场景的函数（例如，play movie函数）、或用于再生重放场景的函数（例如，play replay函数）内，编入转变到高画质侧的模式画质设定命令（提高画质等级的画质设定命令）。

SDK中包含的程序库内的这些函数的应用程序接口（API：Application Program Interface）对应用开发者公开。为此，应用开发者在开发应用软件（“游戏程序”或简单地称为“应用”）时，通过根据公开的API调出函数进行编程，无需意识对应场景的画质（延迟）的调整，能开发应用。另外，API是规定了用于利用程序库内的函数的程序上的手续的协议。

另外，上述程序库，在图像处理系统1中，也可以是预先存储于图像编码化装置10的ROM的样式。或者，程序库也可以是与游戏程序一起存储在安装于图像编码化装置10的外部存储介质内，并且向该外部存储介质的图像编码化装置10安装的同时，提供给图像编码化装置10的样式。

（2）想定用户的输入操作少的状况

作为想定用户的输入操作少的状况，例如，列举出进行日本象棋等的棋盘游戏、拼图游戏以及模拟游戏等的需要思考时间但相对不需要输入操作的特定种类（特定种类）的游戏的状况。在执行这样特定种类的游戏程序（特定种类的应用软件）状况中，由于对显示于显示部34的文字或目标（日本象棋的棋子）等的视觉确认性有要求，所以比减少图像显示的延迟时间，更要求高画质下的图像显示。

这样，作为发行转变到按照游戏的种类（游戏种类）的画质模式的画质设定命令的手法，例如，可以考虑作为游戏程序制作上的协议决定游戏程序中设置宣布游戏的种类的初期设定函数（种类设定函数），并在程序库内准备发行画质设定命令的种类设定函数的手法。图9是游戏程序的设计例。

具体地说，如图9所示，在程序库内准备宣布游戏的种类的种类设定函数LFN1。在该种类设定函数LFN1内，变为发行按照由自变量HS1表示的种类的画质设定命令。

在这种情况下，成为游戏开发者参照公开的种类设定函数的API，在自己作成的游戏程序PG1中设置种类设定函数FN1，在该种类设定函数FN1的自变量HS1中，设定游戏的种类（例如，“Action”、“Puzzle”、“RPG”等）。

实际上，当由整体控制部12执行种类设定函数FN1时，调出与该种类设定函数FN1链接的程序库内的种类设定函数LFN1。在程序库内的种类设定函数LFN1中包含参照表示游戏的种类与画质设定命令的关系的表发行按照作为自变量HS1设定的种类的画质设定命令的的函数TFN。因此，当调出程序库内的种类设定函数LFN1时，变为发行画质设定命令。

例如，若游戏的种类为动作，则发行转变到低画质侧的模式的画质设定命令（降低画质等级的画质设定命令）。接受到该画质设定命令的画质设定部121，就降低画质等级。另外，例如，若游戏种类为拼图，则发行转变到低画质侧的模式的画质设定命令。接受到该画质设定命令的画质设定部121，就降低画质等级。

另外，作为发行转变到按照游戏种类的画质模式的画质设定命令的其它手法，例如，可以考虑在应用软件的初始化处理中，在必须执行的函数内嵌入上述种类设定函数FN1的手法。作为在应用软件的初始化处理中执行的函数，例如，列举出进行编码器13的初期设定（初始化）的编码器初期设定函数FN2。图10是游戏程序的设计例。

具体地说，如图10所示，在程序库内设置发行画质设定命令的种类设定函数LFN1的同时，将程序库内的编码器初期设定函数LFN2的自变量比现有的增加一个，并新设置涉及游戏的种类的自变量LHS2。进而，在编码器初期设定函数LFN2内，准备基于自变量LHS2发行画质设定命令的种类设定函数FN1，公开编码器初期设定函数LFN2的API。

在这种情况下，成为游戏开发者基于公开的API，将自己作成的游戏程序PG2的编码器初期设定函数FN2的自变量增加一个，新设定涉及游戏的种类的自变量HS2。

实际上，当由整体控制部12执行编码器初期设定函数FN2时，调出与该编码器初期设定函数FN2链接的程序库内的编码器初期设定函数LFN2。当执行程序库内的编码器初期设定函数LFN2时，这次，调出编码器初期设定函数LFN2内嵌入的种类设定函数FN1，发行画质设定命令。

这样，通过在程序库内包含的编码器初期设定函数LFN2内预先嵌入种类设定函数FN1，能减轻游戏开发者发负担。具体地说，在编码器初期设定函数LFN2内预先嵌入种类设定函数FN1的情况下，就成为游戏开发者在自己作成的游戏程序PG2中，新设定编码器初期设定函数FN2的自变量HS2。假如，即使游戏开发者在作成游戏程序PG2时忘记了自变量HS2的设定，当编译游戏程序PG2时，由于发生基于自变量的设定不足的编译错误，所以能对游戏开发者催促自变量HS的设定。由此，由于能将游戏种类的设定遗忘防患于未然，所以减轻游戏开发者的负担就成为可能。

另外，在这里，虽然例示了在作为第一函数的编码器初期设定函数FN2内遮蔽作为第二函数的种类设定函数FN1，通过第一函数的执行，第二函数直接被执行的样式，但并不限定于。具体地说，也可以是在上述第一函数包含的其它函数内准备上述第二函数，通过第一函数的执行，第二函数被间接地执行的样式。即，在第二函数的执行中包含通过第一函数的执行而实现的直接地执行和间接地执行。

另外，作为发行转变到按照游戏种类的画质模式的画质设定命令的其它手法，例如，可以考虑检测游戏程序中记述的、涉及游戏种类的注释文，来发行画质设定命令的手法。图11是游戏程序的设计例。

具体地说，对编译前进行预处理的预处理器赋予如下功能，即，将涉及游戏种类的注释文（字符串）置换为转变到按照注释文中记述的游戏种类的画质模式的画质设定命令的源代码。

在这种情况下，如图11所示，当游戏开发者在自己作成的游戏程序PG3中将游戏的种类作为注释文TX1进行记述时，在该游戏程序PG3被编译时，就成为生成按照上述画质设定命令的源代码的目标代码。进而，当由整体控制部12执行该游戏程序PG3时，就成为发行转变到按照游戏种类的画质模式的画质设定命令。

另外，基于游戏程序中的注释文，发行画质设定命令的该手法也能利用于检测上述（1）的视听目的的场景，发行画质设定命令的手法中。

具体地说，对预处理器赋予如下功能，即，将涉及场景（场景名）的注释文置换为转变到按照该场景的画质模式的画质设定命令的源代码。

在这种情况下，游戏开发者在游戏程序内的、记述了某一场景（例如，菜单场景、帮助场景）的源代码组中，当将该场景名作为注释文记载记述时，在由整体控制部12执行游戏程序时，就成为根据场景发行画质设定命令。

（3）图像编码化装置10正读入数据的状况

在图像编码化装置10正读入数据的状况中，不受理用户的输入操作情况较多，并容许涉及图像显示的延迟。

在图像编码化装置10正读入数据的状况中，作为发行转变到高画质侧的模式的画质设定命令的手法，可以考虑在涉及数据的读出的函数内，编入转变到高画质侧的模式的画质设定命令的手法。

例如，在访问外部存储介质的情况下，其后，进行从外部存储介质取得的图像数据的再生显示的可能性很高。在此，在用于访问外部存储介质的函数内，编入转变到高画质侧的模式的画质设定命令。

据此，在产生向外部存储介质的访问要求，并且执行使用用于访问外部存储介质的函数的API而作成的程序的情况下，变为画质模式自动地转变到高画质侧的模式。

（4）图像解码化装置30中实际上不进行基于用户的操作的状况

在图像解码化装置30中实际上不进行基于用户的操作的状况中，由于不需要进行响应于用户的输入操作的图像显示，所以容许涉及图像显示的延迟。

作为检测图像解码化装置30中实际上不进行基于用户的操作的状况的手法，例如，能采用基于从图像解码化装置30输入的操作信息，检测用户的操作量为规定量以下的状况的手法。

具体地说，整体控制部12基于从图像解码化装置30输入的操作信息，检测用户的操作状态。整体控制部12将检测出的操作状态通知给画质设定部121。画质设定部121基于操作状态的通知，特定未操作的期间，并且根据未操作期间可变地变更画质模式。

作为根据未操作期间可变地变更画质模式的手法，例如，能采用设置多个不同的阈值，在每次未操作期间超过各阈值时，阶梯式地提高画质等级的手法。在本实施方式中，由于设有三种类的画质模式，所以就成为根据未操作期间，画质模式进行低画质模式→中画质模式→高画质模式的阶梯式变更。这样，根据阶梯式地变更画质模式，对享受游戏的用户，在视觉上不会带来不协调的感觉，变更画质就成为可能。

另外，不进行阶梯式的变更，在未操作期间超过某一阈值的时点，也可以将画质模式从低画质模式向高画质模式一口气转变。另外，检测基于用户的输入操作，在未操作期间结束的情况下，也可以从高画质模式向低画质模式一口气转变，或者，也可以从未操作期间结束的时点，阶梯式的向低画质侧的模式进行转变。

另外，这样的按照操作状况的画质模式的可变的变更，也可以在中间件（middleware）实现，在这种情况下，应用开发者针对按照操作状况的画质模式的可变的变更无需特别有意识。另外，涉及用于使画质模式变更的未操作期间的阈值，通过游戏开发者在应用软件上也可设定。另外，在中间件中，例如，实现后述的操作监视任务，并进行按照操作状况的画质模式的可变的变更。

另外，作为检测基于用户的操作状况的其它手法，例如，存在以下的手法。

具体地说，图像解码化装置在具有陀螺仪传感器、加速度传感器等的、感测运动的传感器（运动感测传感器）情况下，使用该传感器检测图像解码化装置30的运动，根据该运动可变地变更画质模式也可。

例如，在图像解码化装置30的移动量不变化的情况下，用户想定不持有图像解码化装置30。另外，在移动量缓缓地变少的情况下，想定用户不进行操作。因此，在经过规定时间移动量不变化，或者移动量缓缓地变少的情况下，画质设定部121使画质模式转变到高画质侧的模式。

另外，也可以根据图像解码化装置30的摇动量、摇动的次数，摇动的间隔，或者摇动量的变化率，将画质模式进行变更。例如，在摇动量大，摇动的次数多，摇动的间隔短，或者摇动量的变化率大的情况下，由于可认为是用户的操作量多，所以使画质模式转变到低画质侧的模式，来减少延迟时间。另一方面，在摇动量小，摇动的次数少，摇动的间隔长，或者摇动量的变化率小的情况下，由于可认为是用户的操作量少，所以使画质模式转变到高画质侧的模式。另外，若在这里阶梯式地进行画质模式的转变，则不会给用户带来视觉上的不协调，变为可变更画质。另外，将由运动感测传感器感测出的运动信息作为操作信息从图像解码化装置30向图像编码化装置10进行传输。

另外，运动感测传感器与操作部35一样，包含于图像解码化装置30中设置的操作检测单元，将由操作检测单元检测出的信息作为操作信息向图像编码化装置10进行传输。

另外，作为检测基于用户的操作状况的其它手法，例如，也可以采用设有监视基于用户的操作（在这里，包含经由操作部35的输入操作和由运动感测传感器感测的图像解码化装置30的运动）的任务（也称为“操作监视任务”），通过该任务，检测基于用户的操作状况的手法。

具体地说，操作监视任务（操作监视单元）取得目前的场景信息，并使用表示场景与期待操作量的关系的表，从该场景信息取得在目前的场景所期待的用户的操作量（期待操作量）。

进而，根据基于用户的实际的操作量（操作次数、操作的间隔、移动量等的运动）是否为期待操作量以上，操作监视任务输出画质设定命令。即，在基于用户的实际的操作量为期待操作量以上的情况下，输出用于转变到低画质侧的模式的画质设定命令，在基于用户的实际的操作量为比期待操作量少的情况下，输出用于转变到高画质侧的模式的画质设定命令。

另外，特别是，在相同的场景中由用户输入相同的操作的情况下，由于对用户的操作图像显示进行延迟，所以想定用户进行相同的操作的状况。因此，操作监视任务，在检测出在相同的场景中由用户输入相同的操作的情况下，使画质模式转变到低画质侧的模式，减少延迟时间。

另外，在检测出基于用户的操作实际上未进行的状况，转变到高画质侧的模式的情况下，存在基于用户的操作突然被要求的时候。例如，在赛车游戏中，开始前并不需要操作，但从开始之后不久，变为操作被要求。这时，优选的是，直到从用户的操作未被要求的场景向用户的操作被要求的场景进行变更的时点（也称为“场景变更时点”），使画质模式转变到低画质侧的模式。图12以及图13用于说明直到场景变更时点，使画质模式转变到低画质侧的模式的手法的图。

作为直到场景变更时点，使画质模式转变到低画质侧的模式的手法，例如，如图12所示，能采用在比场景变更时点HP（图12中为“开始”）更前的时点，在使事件执行的程序或函数中，编入使画质模式转变到低画质侧的模式的画质设定命令CMD的手法。

作为比场景变更时点HP更前的时点的事件，例如，可考虑对进行赛车游戏的游戏的操作者通知开始的时机的倒计时事件。在这种情况下，在面向赛车开始的倒计时开始时，以发行使画质模式转变到低画质侧的模式的画质设定命令CMD的方式，将该画质设定命令CMD编入到执行倒计时事件的程序或函数中。据此，直到场景变更时点HP能使画质模式转变到低画质侧的模式。

另外，从用户的操作未被要求的场景向用户的操作被要求的场景进行变更的场景变更时点也能用从图像显示的延迟被容许的工作状况向图像显示的延迟未被容许的工作状况进行变化的时点来表现。另外，所谓面向赛车开始的倒计时开始时是指，例如，在使六个信号依次点亮，将从全部点亮的状态同时熄灭（black out）（熄灯）的时机作为开始的时机的赛车游戏的情况下，信号的点亮是开始的时刻。另外，执行比场景变更时点HP更前的时点的事件的函数也可以是SDK中包含的程序库内的函数，在这种情况下，该函数的API对程序设计员公开。

另外，作为直到场景变更时点，使画质模式转变到低画质侧的模式的其它手法，例如，如图13所示，也可以采用在执行场景变更时点HP的事件的程序或函数中，编入特殊命令SPD的手法。该特殊命令SPD是，使上述画质设定命令CMD在场景变更时点HP的规定时间前配置于编译器的命令。

在编译包含该特殊命令SPD的程序或函数时，编译器计测时钟数，并将上述画质设定命令CMD在场景变更时点HP的规定时间前进行配置。据此，由于在场景变更时点HP的规定时间前，能发行画质设定命令CMD，所以与图12所示的手法不同，游戏开发者变得不必考虑在比场景变更时点HP更前的哪个事件中编入画质设定命令CMD。即，根据图13所示的手法，可减轻游戏开发者的负担。另外，执行场景变更时点HP的事件的函数也可以是SDK中包含的程序库内的函数，在这种情况下，该函数的API对程序设计员公开。

如上所述，本实施方式的图像处理系统1具备：作为输出图像数据的主机装置的图像编码化装置10、作为具有将基于从图像编码化装置10传输的图像数据的图像进行显示的显示部34的客户端装置的图像解码化装置30，图像编码化装置10具有根据图像处理系统1的工作状况SA，控制显示于显示部34的图像的画质的画质控制部15，画质控制部15在由从图像编码化装置10向图像解码化装置30的图像数据的传输产生的图像显示的延迟被容许的工作状况SA中，提高显示于显示部34的图像的画质。

据此，在由从图像编码化装置10向图像解码化装置30的图像数据的传输产生的图像显示的延迟被容许的图像处理系统1的工作状况中，由于以提高显示于显示部34的图像的画质的方式进行控制，所以不会损失基于由图像数据的传输产生的延迟导致的用户的便利性，而变为可提高显示于显示部34的图像的画质。

＜2.变形例＞

以上，虽然对该发明的实施方式进行了说明，但该发明并不是由上述说明的内容所限定的发明。

例如，在上述实施方式中，虽然单位编码化区域中包含的宏块的个数作为编码化条件被输入到编码化部13，但并不限定于此。图14是表示涉及变形例的图像处理系统1A的具体结构的图。

具体地说，如图14所示，在图像处理系统1A中，涉及画质等级的信息（画质信息）被直接输入到编码化部13（具体而言，为编码量控制部220）。

具体地说，图像处理系统1A在整体控制部12中具有画质设定部121。图像处理系统1A的画质控制部15是通过画质设定部121与编码化部13的协同工作所实现的功能部。另外，图像处理系统1A在图像编码化装置10A的整体控制部12中除了不具有编码化条件设定部220以外这一点，具有与上述实施方式的图像处理系统1（参照图2）相同的构造以及功能，关于共用的部分标注相同的符号而省略其说明。

在输入画质信息的、编码量控制部220中，成为基于输入的画质信息，特定单位编码化区域，并进行编码化处理。单位编码化区域的特定，例如，能使用表示画质等级与单位编码化区域的大小的关系的表来进行。另外，作为画质信息，例如，使用画质模式也可，在使用画质模式的情况下，变为对应于各画质模式分配的标志被输入到编码量控制部220。

另外，画质等级与延迟时间具有相关关系。为此，作为涉及显示部34的图像显示中被容许的延迟时间（容许延迟时间）的信息（延迟时间信息）被直接输入到编码化部13（具体而言，为编码量控制部220）的样式也可。图15是表示涉及变形例的图像处理系统1B的具体结构的图。

具体地说，如图15所示，涉及变形例的图像处理系统1B在整体控制部12中新具有延迟时间设定部125。图像处理系统1B的画质控制部15是通过延迟时间设定部125与编码化部13协同工作所实现的功能部。另外，图像编码化装置10B与上述实施方式的图像处理系统1（参照图2）相比，虽然在整体控制部12中具有延迟时间设定部125，但不具有画质设定部121和编码化条件设定部220。图像处理系统1B除了该差异点之外，与上述实施方式的图像处理系统1具有相同的构造以及功能，关于共用的部分标注相同的符号而省略其说明。

延迟时间设定部125根据图像处理系统1B的工作状况，设定向显示部34的图像显示的容许延迟时间，输出涉及设定的容许延迟时间的延迟时间信息。延迟时间信息被输入到编码量控制部220。

在编码量控制部220中，变为基于输入的延迟时间信息，特定单位编码化区域，并进行编码化处理。另外，单位编码化区域的特定，例如，能使用表示延迟时间与单位编码化区域的大小的关系的表来进行。

另外，虽然上述实施方式的画质设定部121，特定未操作的期间，基于特定的未操作期间进行画质模式的设定，但并不限定于此。具体地说，画质设定部121根据规定时间中的、未操作的频率进行画质模式的设定也可。另外，使用未操作期间和未操作的频率两者的指标，进行画质模式的变更也可。

另外，在上述各实施方式，虽然将画质模式作为三种类，但并不限定于此，作为四种类以上或两种也可。

另外，将画质等级的变化范围按每一游戏的种类设定也可。图16是表示游戏种类与画质等级的变化范围的关系的图。

具体地说，如图16所示，在想定操作量较少的游戏（例如，棋盘游戏（board game）、角色扮演游戏（RPG：Role Play Games ）时，使画质等级转变到高画质侧。另外，在考虑操作量较多的游戏（例如，赛车游戏（racing game），动作游戏（action game））时，使画质等级转变到低画质侧，减少延迟时间。

这样，通过根据游戏的种类设定画质等级的变化范围，用户能以按照游戏的种类的最佳画质，享受游戏。

另外，在上述各实施方式中，作为使画质变更的工作状况，虽然例示了（1）～（4）的工作状况，但画质设定部121在其它的工作状况（5）中，或者检测其它的工作状况，使画质等级变更也可。

作为其它的工作状况（5-1），例如，有在3D图像的生成中，观看3D图像的视点的位置连续变动的状况。具体地说，在生成3D图像时，检测观看该3D图像的视点的位置是否变动，在视点的位置连续变动的情况下，使画质模式变更。在此的画质模式的变更式样应视点移动的规定期间前是否存在基于用户的操作而不同。

更详细而言，3D图像的视点位置的变更，在生成3D图像的图像生成部11中，通过在从指定的视点观看的空间中变换3D空间的取景变换，在3D绘制（rendering）前进行。图像生成部11通过检测是否进行了取景变换，来检测视点位置的变化。进而，图像生成部11在检测出视点位置的连续的变化的情况下，对整体控制部12输出表示进行视点位置的连续的变化的信号。

整体控制部12在表示视点位置的连续的变化的信号被输入的情况下，在该信号的输入前的规定期间存在基于用户的操作时发行使画质模式转变到低画质侧的模式的画质设定命令。另外，整体控制部12，在表示视点位置的连续的变化的信号被输入的情况下，在该信号的输入前的规定期间不存在基于用户的操作时，发行使画质模式转变到高画质侧的模式的画质设定命令。

这样，在检测出视点位置的连续的变化的情况下，在视点移动的规定期间前存在用户的操作时，由于画质模式转变到低画质侧的模式，所以对用户的操作能进行顺畅的图像显示。

另外，在检测出视点位置的连续的变化的情况下，在视点移动的规定期间前不存在用户的操作时，使画质模式转变到高画质侧的模式，容许图像显示的延迟。据此，在想定由视点位置的变化这样的图像的大幅度变化产生的、压缩时的计算处理量的增加的状况下，由于变为容许图像显示的延迟，所以变为可减少图像编码化装置10的负荷，并且可显示高画质的图像。另外，在检测出视点位置的连续的变化的情况下，作为视点移动的规定期间前没有用户的操作的状况，例如，在高尔夫游戏中，想定将击球的重放映像从飞翔的球的视点再生并显示的状况，在这种情况下可显示高精细的映像。

另外，作为其它的工作状况（5-2），例如，想定在图像编码化装置10中，以不受理来自图像解码化装置30的操作部35的输入的方式设定的状况。作为检测这样的状况的手法，例如，也可以采用在图像编码化装置10中以不受理来自操作部35的输入的方式设定的函数内，编入转变到高画质侧的模式的画质设定命令的手法。具体地说，在某一特定的场景或状态中，存在图像编码化装置10执行不受理来自操作部35的输入的函数的情况。因此，若在这样的函数中编入转变到高画质侧的模式的画质设定命令，则在不进行基于用户的操作的状况（正确地说，即使进行操作也不受理该操作的状况）中，能使画质模式转变到高画质侧的模式。

另外，与此相反，在图像编码化装置10中以受理来自操作部35的输入的方式设定的函数内，编入转变到低画质侧的模式的画质设定命令也可。据此，即使存在从不受理来自操作部35的输入的状态向受理的状态进行状态变化时，能将画质模式顺畅地转变到低画质侧的模式。另外，在图像编码化装置10中以不受理来自操作部35的输入的方式设定的函数以及在图像编码化装置10中以受理来自操作部35的输入的方式设定的函数是SDK中包含的程序库内 的函数也可，在这种情况下，该函数的API对程序设计员公开。

另外，作为检测其它的工作状况（5-3）来控制画质的手法，例如，也可以采用基于由编码化部13的间预测部215检测的运动矢量，来控制画质等级的手法。画质设定部121从编码化部13取得涉及运动矢量的信息（间预测信息），例如，在运动矢量大的情况下，使画质模式转变到低画质侧的模式。

虽然详细地说明了该发明，但上述的说明在全部的方面是例示，该发明并不被其限定。未例示的无数的变形例不仅没有脱离该发明的范围而且还能想定且能得到。

附图标记说明

1，1A，1B　图像处理系统；　

10，10A，10B　图像编码化装置（主机装置）；　

11         图像生成部；　

12　整体控制部；

13　编码化部；　

15         画质控制部；　

30         图像解码化装置（客户端装置）；

34         显示部；　

35         操作部；　

121         画质设定部；　

122         编码化条件设定部；　

125　延迟时间设定部。