学习设备、学习方法、信息修改设备、信息修改方法和程序

摘要

本发明涉及一种能够输出反映用户操作的特征的信息的学习设备、学习方法、信息修改设备、信息修改方法和程序。内容修改单元24根据用户操作修改输入图像，并且产生输出得到的输出图像所需的修改信息。修改信息记录单元28累积与用户执行操作的次数对应的多个修改信息。学习单元30利用累积在修改信息记录单元28中的所述多个修改信息作为学生数据，并且利用由教师数据获取单元29获取的教师数据执行学习以计算表示用户操作的特征的预测系数，并且将该预测系数存储在用户算法记录单元31中。本发明例如能够应用于图像处理设备。

说明书

技术领域

本发明涉及学习设备、学习方法、信息修改设备、信息修改方法和程序，更具体地讲，涉及一种能够输出反映用户操作的特征的信息的学习设备、学习方法、信息修改设备、信息修改方法和程序。

背景技术

传统上，例如，存在根据用户操作修改输入图像并且输出得到的输出图像的图像处理设备。该图像处理设备具有记录模式和再现模式，其中，记录模式用于记录根据用户操作修改输入图像所需的修改信息，再现模式用于基于记录的修改信息修改输入图像并且输出得到的输出图像。

例如，在记录模式下，当用户执行对输入图像中的对象进行放大和显示的操作时，根据该操作，图像处理设备输出对象已被放大的输出图像，并且与该输出图像相结合地记录指示输入图像上的与输出图像对应的区域的信息作为修改信息。

然后，在再现模式下，图像处理设备从输入图像中提取由记录的修改信息指示的区域，并且输出对象已被放大的输出图像。

图1是示出图像处理设备的一个示例的结构的框图。

在图1中，利用内容修改单元12、修改信息记录/再现单元13和显示单元14构成图像处理设备11。另外，在图1的上部示出了处于记录模式的图像处理设备11，在图1的下部示出了处于再现模式的图像处理设备11。

由驱动器(没有示出)从记录有图像的DVD(数字多功能盘)15读取的输入图像被输入(提供)给内容修改单元12。内容修改单元12修改输入图像，并且将得到的输出图像输出到显示单元14。

例如，在记录模式下，当用户观看在显示单元14上输出的输出图像并且操作遥控器(没有示出)等以输出期望的输出图像时，与用户操作对应的操作信号被提供给内容修改单元12。然后，内容修改单元12根据用户操作修改输入图像，并且将输出图像输出到显示单元14。

另外，例如，内容修改单元12产生指示输入图像上的与输出图像对应的区域的信息作为修改信息，并且将该修改信息提供给修改信息记录/再现单元13。此外，内容修改单元12将作为用于指定在输入图像中要进行修改的帧的信息的特征值提供给修改信息记录/再现单元13。修改信息记录/再现单元13将从内容修改单元12提供的修改信息与特征值彼此关联地记录。

另一方面，在再现模式下，内容修改单元12将用于指定输入图像中要进行再现的帧的特征值提供给修改信息记录/再现单元13，并且修改信息记录/再现单元13将与从内容修改单元12提供的特征值关联的修改信息提供给内容修改单元12。然后，内容修改单元12基于从修改信息记录/再现单元13提供的修改信息来修改输入图像，并且将输出图像输出到显示单元14。

这样，在图像处理设备11中，在记录模式下记录了与用户操作对应的修改信息。在再现模式下，基于该修改信息修改输入图像，并且输出与用户操作对应的输出图像。

然后，用户观看该输出图像。如果用户对该输出图像不满意，则他/她将图像处理设备11设置为记录模式，并且再次执行输出期望的输出图像的操作，从而更新修改信息。然后，在再现模式下，图像处理设备11输出基于新的修改信息进行修改的输出图像。这样，用户重复执行输出期望的输出图像的操作。结果，图像处理设备11能够输出令用户满意的输出图像。

另外，例如，专利文献1公开了一种设备，在再现记录在记录介质上的高清晰图像的情况下，该设备执行基于根据用户操作产生的参数提取高清晰图像的一部分的图像处理并且在显示器上输出从高清晰图像提取的图像。

专利文献1：日本未审专利申请公报No.2006-270187

发明内容

此外，在图像处理设备11中，在一些情况下，用户可以重复执行许多次操作直到输出令用户满意的输出图像为止，并且希望通过较少次数的操作就能够输出反映用户的意图并且令用户满意的输出图像，即反映用户操作的特征的输出图像。

鉴于这种情形提出了本发明，本发明旨在确保例如能够输出反映用户操作的特征的输出图像。

本发明的第一方面的学习设备是一种基于用户执行的多次操作的历史来学习用户的操作的特征的学习设备，其包括：修改装置，用于根据用户的操作修改预定输入信息；产生装置，用于产生输出作为由修改装置进行了修改的所述预定输入信息的结果而获得的输出信息所需的修改信息；累积装置，用于累积与用户执行操作的次数对应的多个修改信息；以及学习装置，用于利用在累积装置中累积的所述多个修改信息作为用作学习的学生的学生数据并且利用基于所述预定输入信息获得的预定信息作为用作学习的教师的教师数据来执行学习，从而计算表示用户的操作的特征的预测系数。

本发明的第一方面的学习方法或程序是一种基于用户执行的多次操作的历史来学习用户的操作的特征的学习方法或者使得基于用户执行的多次操作的历史来学习用户的操作的特征的学习设备的计算机运行的程序，包括如下步骤：根据用户的操作修改预定输入信息；产生输出作为修改所述预定输入信息的结果而获得的输出信息所需的修改信息；将与用户执行操作的次数对应的多个修改信息累积在累积装置中；以及利用在累积装置中累积的所述多个修改信息作为用作学习的学生的学生数据并且利用基于所述预定输入信息获得的预定信息作为用作学习的教师的教师数据来执行学习，从而计算表示用户的操作的特征的预测系数。

在本发明的第一方面中，根据用户操作来修改预定输入信息，产生输出得到的输出信息所需的修改信息，将与用户执行操作的次数对应的多个修改信息累积在累积装置中。然后，利用累积在累积装置中的所述多个修改信息作为用作学习的学生的学生数据并且利用基于所述预定输入信息获得的预定信息作为用作学习的教师的教师数据执行学习，从而计算表示用户操作的特征的预测系数。

本发明的第二方面的信息修改设备是一种修改预定输入信息并且输出得到的输出信息的信息修改设备，包括：预测系数存储装置，用于存储通过预先执行的学习获得的预测系数；修改装置，用于根据用户的操作修改所述预定输入信息；产生装置，用于产生输出作为由修改装置修改所述预定输入信息的结果而获得的输出信息所需的修改信息；累积装置，用于累积与用户执行操作的次数对应的多个修改信息；以及算术运算装置，用于利用在预测系数存储装置中存储的预测系数和在累积装置中累积的所述多个修改信息执行预定的算术运算，以计算反映用户的操作的特征的修改信息，其中，修改装置基于反映用户的操作的特征的修改信息，修改所述预定输入信息。

本发明的第二方面的信息修改方法或程序是一种用于修改预定输入信息并且输出得到的输出信息的信息修改设备的信息修改方法或者使得修改预定输入信息并且输出得到的输出信息的信息修改设备的计算机运行的程序，其中，所述信息修改设备包括：预测系数存储装置，用于存储通过预先执行的学习获得的预测系数；和累积装置，用于累积信息。所述信息修改方法包括如下步骤：根据用户的操作修改所述预定输入信息；产生输出作为修改所述预定输入信息的结果而获得的输出信息所需的修改信息；将与用户执行操作的次数对应的多个修改信息累积在累积装置中；利用在预测系数存储装置中存储的预测系数和在累积装置中累积的所述多个修改信息执行预定的算术运算，以计算反映用户的操作的特征的修改信息；以及基于反映用户的操作的特征的修改信息，修改所述预定输入信息。

在本发明的第二方面中，信息修改设备包括：预测系数存储装置，用于存储通过预先执行的学习获得的预测系数；和累积装置，用于累积信息。另外，产生根据用户操作修改预定输入信息并且输出输出信息所需的修改信息，并且将与用户执行操作的次数对应的多个修改信息累积在累积装置中。然后，利用在预测系数存储装置中存储的预测系数和在累积装置中累积的所述多个修改信息执行预定的算术运算以计算反映用户操作的特征的修改信息，并且基于反映用户操作的特征的修改信息来修改所述预定输入信息。

根据本发明的第一和第二方面，能够输出反映用户操作的特征的信息。

附图说明

图1是示出传统的图像处理设备的示例的结构的框图。

图2是示出应用了本发明的图像处理设备的实施例的示例结构的框图。

图3是说明在图像处理设备21中执行的处理的流程图。

图4是说明在图像处理设备中执行的学习处理中使用的学生数据与教师数据之间的关系的图。

图5是示出作为实验结果获得的学生数据和用于学习的内容的教师数据的图。

图6是示出在某一时刻学生数据的水平方向的位置与垂直方向的位置之间的关系的图。

图7是示出学习单元30的示例结构的框图。

图8是说明学习处理的流程图。

图9是说明学习结果应用处理的流程图。

图10是说明修改信息记录处理的流程图。

图11是示出应用了本发明的信息处理设备的实施例的示例结构的框图。

图12是示出应用了本发明的信息处理设备的实施例的示例结构的框图。

图13是示出应用了本发明的信息处理设备的实施例的示例结构的框图。

图14是示出个人计算机的结构示例的框图。

附图标记说明

21图像处理设备、22输入单元、23特征值提取单元、24内容修改单元、25修改信息记录/再现单元、26输出单元、27用户操作输入单元、28修改信息记录单元、29教师数据获取单元、30学习单元、31用户算法记录单元、32介质、33和34便携式介质、41类分类单元41、42预测处理单元、51信息处理设备、52装置控制单元、53控制目标装置

具体实施方式

在下文中参照附图详细说明应用了本发明的具体实施例。

图2是示出应用了本发明的图像处理设备的实施例的示例结构的框图。

在图2中，利用输入单元22、特征值提取单元23、内容修改单元24、修改信息记录/再现单元25、输出单元26、用户操作输入单元27、修改信息记录单元28、教师数据获取单元29、学习单元30和用户算法记录单元31构成图像处理设备21。

诸如DVD(数字多功能盘)的记录有包括视频、音频等的内容的介质32被安置在输入单元22中。然后，输入单元22读取记录在介质32上的内容，并且将内容的图像(在下文中适当称作输入图像)例如逐帧地提供(输入)到特征值提取单元23和内容修改单元24。

特征值提取单元23从输入图像中提取特征值，该特征值是用于指定从输入单元22提供的输入图像的各帧的信息。

内容修改单元24对从输入单元22提供的输入图像进行修改，并且将得到的输出图像输出到输出单元26。

例如，与用户操作对应的操作信号从用户操作输入单元27提供给内容修改单元24。内容修改单元24根据来自用户操作输入单元27的操作信号对从输入单元22提供的输入图像进行修改，并且获取输出图像。此时，内容修改单元24针对输入图像的每帧，产生修改信息，即与针对输入图像的用户操作对应的信息以及获取输出图像所需的信息，例如指示输入图像上的与输出图像对应的区域(在图2中为输入图像上的由虚线包围的区域)的中心位置和尺寸的信息，并且内容修改单元24将该修改信息提供给修改信息记录/再现单元25。

另外，内容修改单元24请求修改信息记录/再现单元25发送与要再现的输入图像对应的修改信息。当从修改信息记录/再现单元25提供了该修改信息时，内容修改单元24基于来自修改信息记录/再现单元25的修改信息对输入图像进行修改，并且将得到的输出图像提供给输出单元26。

当从特征值提取单元23提供了输入图像的特征值并且还从内容修改单元24提供了与针对输入图像的用户操作对应的修改图像时，修改信息记录/再现单元25针对输入图像的每帧将特征值与修改信息彼此关联，并且将特征值和修改信息提供给修改信息记录单元28。

另外，当从特征值提取单元23提供了输入图像的特征值并且与之结合地由修改信息记录/再现单元25请求了与该输入图像对应的修改信息时，修改信息记录/再现单元25从修改信息记录单元28读取与来自特征值提取单元23的特征值相关联地存储的修改信息，并且将修改信息提供给内容修改单元24。

例如，利用诸如CRT(阴极射线管)或LCD(液晶显示器)的显示器构成输出单元26，并且输出单元26显示从内容修改单元24提供的输出图像。

利用开关按钮(没有示出)等构成用户操作输入单元27，并且用户操作输入单元27被用户操作从而向内容修改单元24提供与用户操作对应的操作信号。

修改信息记录单元28将从修改信息记录/再现单元25提供的特征值与修改信息彼此关联地记录。要注意，修改信息记录单元28能够将其上记录的特征值和修改信息输出到便携式介质33以进行记录。另外，修改信息记录单元28能够从彼此关联地记录有由另一个设备获取的特征值和修改信息的便携式介质33中读取特征值和修改信息，并且能够记录它们。

如下面参照图4所述，教师数据获取单元29从记录有用于学习的内容的介质32读取用于学习的教师数据，并且将该教师数据提供给学习单元30。

学习单元30利用存储在修改信息记录单元28中的修改信息作为用于学习的学生数据并且利用从教师数据获取单元29提供的用于学习的教师数据，执行预定的算术运算，从而执行学习处理，该学习处理是用于计算预测系数的处理，该预测系数用于产生输出反映用户操作的特征的输出图像的修改信息(在下文中适当称作用户特定修改信息)。学习单元30将作为学习处理的结果而获得的预测系数(用户算法)提供给用户算法记录单元31以进行存储。

另外，学习单元30利用存储在修改信息记录单元28中的修改信息和在学习处理中获取的预测系数，执行预定的算术运算，从而执行产生用户特定修改信息的处理。学习单元30将用户特定修改信息提供给修改信息记录单元28以进行存储。

用户算法记录单元31记录从学习单元30提供的预测系数。要注意，用户算法记录单元31能够将其上记录的预测系数输出到便携式介质34以进行记录。另外，用户算法记录单元31能够从记录有作为在另一个设备中执行的学习处理的结果而获得的预测系数的便携式介质34读取该预测系数并且能够记录它。

在如上构成的图像处理设备21中，例如，作为利用用于学习的内容执行学习的结果而获得的预测系数被记录在用户算法记录单元31上。

另外，利用根据针对任意内容的图像的用户操作获得的修改信息以及记录在用户算法记录单元31上的预测系数，产生用户特定修改信息，并且输出基于该修改信息进行了修改的输出图像。

接下来，图3是说明在图2的图像处理设备21中执行的处理的流程图。

例如，当用户购买图像处理设备21时或者在任何其它时间，通过执行再现用于学习的内容的操作对该处理进行初始化。在步骤S11中，执行学习处理。在学习处理的处理后，在步骤S12中，执行学习结果应用处理。

在学习处理中，基于针对用于学习的内容的图像的用户操作，图像处理设备21获取用于产生反映用户操作的修改信息的预测系数，作为学习结果。要注意，将参照下面描述的图8的流程图说明学习处理。

在学习结果应用处理中，图像处理设备21利用与由用户对任意内容的图像执行的操作对应的修改信息和作为步骤S11中的学习处理的结果而获得的学习结果的预测系数，产生用户特定修改信息，并且输出基于该修改信息进行了修改的输出图像。要注意，将参照下面描述的图9的流程图说明学习结果应用处理。

这里，将参照图4说明在图像处理设备21中执行的学习处理中使用的学生数据与教师数据之间的关系。

要注意，将说明一个示例，其中将如图2所示的输入图像(例如，被拍摄对象正在水平移动的图像)用作用于学习的内容的图像。在利用这种用于学习的内容的图像的学习处理中，例如，将正在移动的对象的中心的坐标(在输入图像上的坐标)用作教师数据。另外，将与根据用户操作而移位的输出图像对应的区域(例如，图2中的输入图像上的由虚线包围的区域)的中心的坐标(在输入图像上的坐标)用作学生数据。

在图4中，横轴从左向右表示测得的时间的流逝，纵轴表示输入画面上的水平方向的位置(坐标)。

在图4中，示出了从用于学习的内容读取的教师数据和当用户针对用于学习的内容的图像重复三次操作时获得的三个学生数据。

也就是说，轨迹L0对应于教师数据，并且表示由对象的中心的坐标描绘的轨迹。轨迹L1到L3对应于学生数据，并且表示由与输出图像对应的区域的中心的坐标描绘的轨迹。另外，轨迹L1对应于通过用户的第一操作获得的学生数据，轨迹L2对应于通过用户的第二操作获得的学生数据，轨迹L3对应于通过用户的第三操作获得的学生数据。

通常，每当用户重复操作时，输出图像变得与用户期望的图像更加相似。因此，例如，如图4所示，在从时间T1到时间T2的时间段内，由于轨迹L3位于轨迹L1与L2之间，所以认为用户期望的输出图像的中心的位置位于轨迹L1与L2之间。另外，在从时间T2到时间T3的时间段内，由于轨迹L3位于轨迹L2上方，轨迹L2位于轨迹L1上方，所以认为用户期望的输出图像的中心的位置位于轨迹L3上方。

也就是说，如图4所示，当用户重复操作时，用户期望的输出图像的中心的位置接近轨迹L0。因此，能够执行利用由用户重复操作获得的学习数据以及教师数据的学习处理，以计算能够确定用户期望的输出图像的中心的位置的预测系数。

接下来，图5是示出了作为利用如图4所述的用于学习的内容执行实验的结果而获得的学生数据、和用于学习的该内容的教师数据的图。

在图5中，示出了当用户针对用于学习的内容的图像重复六次操作时获得的六个学生数据。另外，在图5中，纵轴的下侧对应于输入画面的左侧，纵轴的上侧对应于输入画面的右侧。

接下来，图6是示出了图5中的某一时刻(帧)的学生数据的水平方向的位置与垂直方向的位置之间的关系的图。

在图6中，示出了当用户针对用于学习的内容的图像重复四次操作时获得的四个学生数据。

如图5和图6所示，能够明白会出现随着用户重复操作，学生数据接近教师数据的趋势。

在图2的学习单元30中，利用该教师数据和学生数据计算用于产生用户特定修改信息的预测系数。

接下来，图7是示出图2的学习单元30的示例结构的框图。

在图7中，利用类分类单元41和预测处理单元42构成学习单元30。

类分类单元41读取记录在修改信息记录单元28上的修改信息，计算用于对修改信息进行分类的类号，并且将类号提供给预测处理单元42。

类分类单元41根据修改信息的值对修改信息进行排序，并且以排序顺序执行预定的算术运算以计算类号。

将说明一个示例，其中利用例如参照图4说明的当用户利用与根据用户操作移位的输出图像对应的区域的中心的坐标执行四次操作时获得的修改信息(例如，当用户执行四次以上的操作时，为从最近四次操作获得的修改信息)作为修改信息来计算类号。

假定在某一时刻(帧)，通过用户的第一操作获得的坐标是A₀，通过用户的第二操作获得的坐标是A₁，通过用户的第三操作获得的坐标是A₂，通过用户的第四操作获得的坐标是A₃。然后，假定根据坐标的大小对这些坐标进行排序，从而产生第(a₀)数据、第(a₁)数据、第(a₂)数据和第(a₃)数据的操作历史顺序。在这种情况下，根据下式(1)确定类号C。

[式1]

C＝(a₀-1)4³+(a₁-1)4²+(a₂-1)4¹+(a₃-1)4⁰

...(1)

具体地讲，假定在某一时刻(帧)，通过用户的第一操作获得的坐标是824，通过用户的第二操作获得的坐标是756，通过用户的第三操作获得的坐标是540，通过用户的第四操作获得的坐标是493。在这种情况下，根据坐标的大小对这些坐标进行排序，从而产生如下操作历史顺序：用户的第一操作为a₀、用户的第二操作为a₁、用户的第三操作为a₂、用户的第四操作为a₃。由此，类号C的值由下式(2)表示。

[式2]

C＝(1-1)4³+(2-1)4²+(3-1)4¹+(4-1)4⁰＝27

...(2)

另外，例如假定在另一个时刻(帧)，通过用户的第一操作获得的坐标是685，通过用户的第二操作获得的坐标是852，通过用户的第三操作获得的坐标是346，通过用户的第四操作获得的坐标是523。在这种情况下，根据坐标的大小对这些坐标进行排序，从而产生如下操作历史顺序：用户的第二操作为a₀、用户的第一操作为a₁、用户的第四操作为a₂，并且用户的第三操作为a₃。因此，类号C的值由下式(3)表示。

[式3]

C＝(2-1)4³+(1-1)4²+(4-1)4¹+(3-1)4⁰＝78

...(3)

类分类单元41以这种方式计算类号，并且将类号提供给预测处理单元42。

在学习处理中，预测处理单元42从修改信息记录单元28读取与由类分类单元41用来确定类号的修改信息相同的修改信息，并且利用该修改信息作为学习数据。对于从类分类单元41提供的每个类号，预测处理单元42利用该学习数据和从教师数据获取单元29提供的教师数据执行预定的预测算术运算以计算预测系数，并且将该预测系数存储在用户算法记录单元31中。

另外，在学习结果应用处理中，预测处理单元42从修改信息记录单元28读取与用户对任意内容的图像执行的操作对应的修改信息。对于类分类单元41从该修改信息确定的每个类号，预测处理单元42利用该修改信息和存储在用户算法记录单元31中的预测系数执行预定的预测算术运算以产生用户特定修改信息，并且将该用户特定修改信息存储在修改信息记录单元28中。

这里，如果假定例如采用线性一次预测算术运算作为由预测处理单元42用于计算用户特定修改信息(在下文中适当称作预测值)的预定的预测算术运算，则通过下面的线性一次表达式确定预测值y。

[式4]

$y=\underset{n=1}{\overset{N}{\Sigma }}{w}_n{x}_n$

....(4)

其中，在式(4)中，x_n表示构成关于预测值y的预测抽头的第n(时刻)(帧)修改信息，w_n表示与第n预测抽头的值相乘的第n预测系数。要注意，在式(4)中，利用N个修改信息x₁、x₂、...、x_n构成预测抽头。

这里，可以利用二次以上的高次表达式替代在式(4)中表示的线性一次表达式，来确定预测值y。

现在，如果预测值的第k(时刻)(帧)教师数据用y_k表示，并且与之结合地通过式(4)获得的教师数据y_k的预测值用y_k′表示，则它们之间的预测误差e_k由下式表示：

[式5]

e_k＝y_k-y_k’

...(5)

现在，由于能够根据式(4)确定式(5)中的预测值y_k′，所以根据式(4)替代式(5)中的y_k′，产生下式。

[式6]

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\Sigma }}{w}_n{x}_{n,k}\right)$

...(6)

其中，在式(6)中，x_n，k表示构成关于第k预测值的预测抽头的第n修改信息。

使得式(6)(或式(5))中的预测误差e_k为0的预测系数w_n对于预测预测值是最佳的。然而，一般难以针对所有时刻的预测值确定这种预测系数w_n。

因此，如果例如采用最小二乘法作为指示预测系数w_n为最佳的标准，则通过将由下式表示的平方误差的总和E最小化能够确定最佳预测系数w_n。

[式7]

$E=\underset{k=1}{\overset{K}{\Sigma }}{e_k}^2$

...(7)

其中，在式(7)中，K表示教师数据y_k和构成关于该教师数据y_k的预测抽头的修改信息x_1，k、x_2，k、...、X_N，k的组的采样数(用于学习预测系数w_n的学习采样的数目)。

由使总和E对预测系数w_n求偏微分获得的值为0的w_n给出式(7)中的平方误差的总和E的最小值(局部最小值)，如式(8)所示。

[式8]

$\frac{\partial E}{\partial w_n}=e_1\frac{\partial e_1}{\partial w_n}=e_2\frac{\partial e_2}{\partial w_n}+···+e_k\frac{\partial e_k}{\partial w_n}=0$(n＝1，2…，N)

...(8)

因此，上述的式(6)对预测系数w_n求偏微分，产生下式。

[式9]

$\frac{\partial e_k}{\partial w_1}=-x_{1,k},\frac{\partial e_k}{\partial w_2}=-x_{2,k},···,\frac{\partial e_k}{\partial w_N}=-x_{N,k},$(k＝1，2…，K)

...(9)

从式(8)和式(9)获得下式。

[式10]

$\underset{k=1}{\overset{K}{\Sigma }}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\Sigma }}{e}_k{x}_{2,k}=0,···\underset{k=1}{\overset{K}{\Sigma }}{e}_k{x}_{N,k}=0$

...(10)

通过将式(6)代入式(10)中的e_k，能够通过在式(11)中表示的正规方程来表示式(10)。

[式11]

...(11)

通过利用例如扫去法(高斯-约当消去法)等，能够解式(11)中的正规方程求出预测系数w_n。

在学习处理中，作为学习采样，准备大量的教师数据y_k和构成关于该教师数据y_k的预测抽头的修改信息x_1，k、x_2，k、...、X_N，k的组，并且针对每个类利用该学习采样解式(11)中的正规方程，从而能够针对每个类确定最佳预测系数(这里为使平方误差的总和E最小的预测系数)w_n。

然后，在学习结果自适应处理中，执行利用该预测系数的式(4)中的预测算术运算以从修改信息确定预测值，即用户特定修改信息。

接下来，图8是说明图3的步骤S11中的学习处理的流程图。

在步骤S21中，在图像处理设备21中，执行用于记录与针对用于学习的内容的图像的用户操作对应的修改信息的修改信息记录处理。在修改信息记录处理中，根据用户操作而修改的输出图像被输出到输出单元26，并且与之相结合地，获取该输出图像所需的修改信息被记录在修改信息记录单元28上。

在步骤S21中的修改信息获取处理的处理后，该处理进行到步骤S22。在图像处理设备21中，根据用户操作，确定用户是否满意利用在步骤S21中的修改信息获取处理中获得的修改信息修改的输出图像，并且重复执行步骤S21中的修改信息获取处理，直到确定用户对输出图像满意为止。

在步骤S22中，在确定了用户对输出图像满意的情况下，该处理进行到步骤S23，在步骤S23中，教师数据获取单元29从记录有用于学习的内容的介质32读取用于学习的教师数据，并且将该教师数据提供给学习单元30。该处理进行到步骤S24。

在步骤S24中，学习单元30读取在步骤S21中的修改信息获取处理中记录在修改信息记录单元28上的修改信息，利用该修改信息作为学生数据，并且利用在步骤S23中从教师数据获取单元29提供的教师数据，执行上述的预测算术运算以计算预测系数。

在步骤S24的处理后，该处理进行到步骤S25，在步骤S25中，学习单元30利用在步骤S21中的修改信息获取处理中记录在修改信息记录单元28上的修改信息和在步骤S24中计算出的预测系数，执行上述的预测算术运算以产生用户特定修改信息。然后，学习单元30在修改信息记录单元28上彼此关联地记录该用户特定修改信息和用于指定要利用该修改信息进行修改的输入图像的特征值。该处理进行到步骤S26。

在步骤S26中，修改信息记录/再现单元25读取在步骤S25中由学习单元30记录在修改信息记录单元28上的用户特定修改信息，并且将该用户特定修改信息提供给内容修改单元24。内容修改单元24利用从修改信息记录/再现单元25提供的用户特定修改信息对输入图像进行修改，并且将得到的输出图像输出到输出单元26。

在步骤S26的处理后，该处理进行到步骤S27。在图像处理设备21中，根据用户操作，确定用户是否对学习结果满意，即用户是否对利用作为在步骤S25中的预测算术运算的结果而获得的修改信息进行修改并且在步骤S26中输出的输出图像满意。

在步骤S27中确定用户对学习结果满意的情况下，该处理进行到步骤S28。另一方面，在没有确定用户对学习结果满意的情况下，该处理返回到步骤S21，并且随后重复相似的处理。

在步骤S28中，学习单元30将在步骤S24中计算出的预测系数存储在用户算法记录单元31中。学习处理结束。

接下来，图9是说明图3的步骤S12中的学习结果应用处理的流程图。

在步骤S31中，在图像处理设备21中，执行用于记录与针对任意内容的图像的用户操作对应的修改信息的修改信息记录处理。在修改信息记录处理中，根据用户操作进行了修改的输出图像被输出到输出单元26，并且与之相结合地，获取该输出图像所需的修改信息被记录在修改信息记录单元28上。

在步骤S31的处理后，该处理进行到步骤S32。在图像处理设备21中，确定在修改信息记录单元28上是否已记录了预设的规定次数的修改信息，或者确定用户对利用根据用户操作在步骤S31中的修改信息获取处理中获得的修改信息进行修改的输出图像是否满意。重复执行步骤S31中的修改信息记录处理，直到确定了在修改信息记录单元28上已记录了规定次数的修改信息或者直到确定了用户对输出图像满意为止。

在步骤S32中确定了在修改信息记录单元28上已记录了规定次数的修改信息的情况下或者在确定了用户对输出图像满意的情况下，该处理进行到步骤S33，在步骤S33中，学习单元30读取在步骤S31中的修改信息获取处理中记录在修改信息记录单元28上的修改信息，并且利用该修改信息和存储在用户算法记录单元31中的预测系数执行上述的预测算术运算以产生用户特定修改信息。然后，学习单元30在修改信息记录单元28上彼此关联地记录该用户特定修改信息和用于指定要利用该修改信息进行修改的输入图像的特征值。

在步骤S33的处理后，该处理进行到步骤S34，在步骤S34中，修改信息记录/再现单元25读取在步骤S33中由学习单元30记录在修改信息记录单元28上的用户特定修改信息，并且将该用户特定修改信息提供给内容修改单元24。内容修改单元24利用从修改信息记录/再现单元25提供的用户特定修改信息对输入图像进行修改，并且将得到的输出图像输出到输出单元26。该处理进行到步骤S35。

在步骤S35中，在图像处理设备21中，根据用户操作，确定用户对基于用户特定修改信息修改输入图像而获得的输出图像是否满意。

在步骤S35中确定用户对基于用户特定修改信息修改输入图像而获得的输出图像满意的情况下，该处理进行到步骤S36。在图像处理设备21中，将要再现的内容与在步骤S33中记录在用户修改信息记录单元28上的用户特定修改信息彼此关联。因此，下一次用户再现该内容时，利用用户特定修改信息来修改输入图像。

另一方面，在步骤S35中确定用户对基于用户特定修改信息修改输入图像而获得的输出图像不满意的情况下，该处理进行到步骤S37。在图像处理设备21中，根据用户操作，确定用户是否再次执行操作以进一步累积修改信息，即确定是否再次执行修改信息记录处理。

在步骤S37中确定不再次执行修改信息记录处理的情况下，该处理进行到步骤S38。另一方面，在确定再次执行修改信息记录处理的情况下，该处理返回步骤S31，并且随后重复相似的处理。

在步骤S38中，在图像处理设备21中，把要再现的内容与记录在修改信息记录单元28上的修改信息之中的例如与最后用户操作对应的修改信息彼此关联。因此，下次用户再现该内容时，利用与最后用户操作对应的修改信息对输入图像进行修改。

在步骤S36或S38的处理后，学习结果应用处理结束。

接下来，图10是说明图8的步骤S21或者图9的步骤S31中的修改信息记录处理的流程图。要注意，在图8的步骤S21中，对用于学习的内容的图像执行修改信息记录处理，而在图9的步骤S32中，对任意内容的图像执行修改信息记录处理。

在步骤S41中，开始记录在介质32上的要再现的内容的再现，并且输入单元22从介质32读取内容的图像，并且开始向内容修改单元24提供输入图像。

在步骤S41的处理后，该处理进行到步骤S42，在步骤S42中，内容修改单元24确定是否执行了用户操作，即确定是否从用户操作输入单元27提供了与用户操作对应的操作信号。

在步骤S42中内容修改单元24确定用户操作已执行的情况下，该处理进行到步骤S43，在步骤S43中，内容修改单元24根据用户操作即根据从用户操作输入单元27提供的操作信号，对从输入单元22提供的输入图像进行修改，并且获取输出图像。

在步骤S43的处理后，该处理进行到步骤S44，在步骤S44中，内容修改单元24产生关于在步骤S43中获取的输出图像的修改信息，并且将该修改信息提供给修改信息记录/再现单元25。该处理进行到步骤S45。

在步骤S45中，内容修改单元24将在步骤S43中获取的输出图像输出到输出单元26，并且输出单元26显示该输出图像。该处理进行到步骤S46。

在步骤S46中，特征值提取单元23从该输入图像中提取用于指定在步骤S43中由内容修改单元24进行修改的输入图像的特征值，并且将该特征值提供给修改信息记录/再现单元25。该处理进行到步骤S47。

在步骤S47中，修改信息记录/再现单元25将在步骤S44中从内容修改单元24提供的修改信息与在步骤S46中从特征值提取单元23提供的特征值彼此关联，并且将修改信息和特征值提供给修改信息记录单元28以进行存储。

在步骤S47的处理后，该处理进行到步骤S48，在步骤S48中，内容修改单元24确定在步骤S41中开始再现的内容的再现是否已经完成，即确定是否提供了内容的所有图像。

在步骤S48中内容修改单元24确定内容的再现尚未完成的情况下，该处理进行到步骤S42，并且随后重复相似的处理。

另一方面，在步骤S42中内容修改单元24确定没有执行用户操作的情况下，该处理进行到步骤S49。

在步骤S49中，内容修改单元24基于在前一在前步骤S44中产生的修改信息对输入图像进行修改，并且获取输出图像。要注意，对于从在步骤S41中的内容的再现的开始直到用户执行操作的时间段，内容修改单元24基于缺省修改信息(即，使得可以获取与输入图像相同的输出图像的修改信息)获取输出图像。

在步骤S49的处理后，该处理进行到步骤S45，并且随后执行上述的处理。要注意，在这种情况下，在步骤S45到S47中，使用在步骤S49中由内容修改单元24获取的输出信息以及用来获取该输出图像的修改信息。

另一方面，在步骤S48中内容修改单元24确定内容的再现已经完成的情况下，该处理结束。

如上所述，在图像处理设备21中，能够利用与用户操作对应的修改信息和教师数据执行学习，以获取用于产生输出反映用户操作的特征的输出图像的修改信息的预测系数。

然后，能够利用该期望系数和与用户操作对应的修改信息执行算术运算以获取用户特定修改信息，并且利用该用户特定修改信息对输入图像进行修改。因此，能够输出反映用户操作的特征的输出图像，即用户期望的输出图像。

也就是说，在仅仅利用与用户操作对应的修改信息对输入图像进行修改的情况下，用户必须重复许多次操作直到输出用户满意的输出图像。然而，利用用户特定修改信息，仅仅通过重复与传统技术相比较少次数的操作，用户就能够获得用户满意的输出图像。此外，能够利用用户特定修改信息来获得更精确的输出图像，这是仅利用与用户操作对应的修改信息所无法获得的。

另外，通过利用用户的多次操作(操作历史)进行学习来确定用于产生用户特定修改信息的预测系数，由此与仅仅利用用户选择或输入的参数等来确定预测系数的情况相比，能够实现对用户意图更加准确的估计。另外，以这种方式，通过学习确定预测系数，从而不需要对全体分配全自动处理就能够获得更加准确的预测系数。另外，能够利用比包括全自动处理的设备便宜的设备来确定预测系数，并且还能够确定对处理具有高健壮性的预测系数。

要注意，除图像处理设备21以外，本发明还能够应用于例如，根据用户操作对例如用于控制诸如起重机的重复执行预定操作的设备的控制信息进行修改的信息处理设备。

即，图11到图13是示出应用了本发明的信息处理设备的实施例的示例结构的框图。

在图11到图13中，利用修改信息记录单元28、用户算法记录单元31、类分类单元41、预测处理单元42、装置控制单元52和控制目标装置53构成信息处理设备51。要注意，在图11到图13中，对与图2的图像处理设备21对应的部分分配相同的标号，并且在下文中将适当地省去对它们的说明。

也就是说，图11到图13的信息处理设备51与图2的图像处理设备21的共同之处在于它包括修改信息记录单元28、用户算法记录单元31、类分类单元41和预测处理单元42。然而，信息处理设备51与图像处理设备21的不同之处在于它包括装置控制单元52和控制目标装置53。

与用户操作对应的修改信息被提供给装置控制单元52。装置控制单元52基于与用户操作对应的修改信息产生用于对控制目标装置53进行控制的控制信息，并且将该控制信息提供给控制目标装置53。

另外，将利用通过学习获得的预测系数和与用户操作对应的修改信息通过算术运算确定的用户特定修改信息从预测处理单元42提供给装置控制单元52。装置控制单元52基于用户特定修改信息产生用于对控制目标装置53进行控制的控制信息，并且将该控制信息提供给控制目标装置53。

控制目标装置53例如是使用吊臂的游戏装置、实际的起重机等，并且根据从装置控制单元52提供的控制信息进行操作。

在以这种方式构成的信息处理设备51中，如图11所示，与用户操作对应的修改信息被提供给装置控制单元52和修改信息记录单元28。修改信息记录单元28累积该修改信息。装置控制单元52基于该修改信息产生用于对控制目标装置53进行控制的控制信息，并且将该控制信息提供给控制目标装置53。控制目标装置53根据来自装置控制单元52的控制信息进行操作。

然后，当在修改信息记录单元28中累积了预定次数的修改信息时，如图12所示，将预先准备的教师数据(例如，与熟练操作员的操作对应的修改信息)、累积在修改信息记录单元28中的修改信息和由类分类单元41利用累积在修改信息记录单元28中的修改信息确定的类号提供给预测处理单元42。预测处理单元42执行上述的预测算术运算以产生用于产生用户特定修改信息的预测系数，并且将该预测系数存储在用户算法记录单元31中。

然后，预测处理单元42利用记录在用户算法记录单元31上的预测系数和记录在修改信息记录单元28上的修改信息执行上述的预测算术运算以产生用户特定修改信息。然后，如图13所示，预测处理单元42将用户特定修改信息提供给装置控制单元52。装置控制单元52基于用户特定修改信息产生用于对控制目标装置53进行控制的控制信息，并且将该控制信息提供给控制目标装置53。控制目标装置53根据该控制信息进行操作。

另外，要提供给装置控制单元52的修改信息能够根据用户操作进行切换，并且还可将存储在修改信息记录单元28中的修改信息提供给装置控制单元52。

此外，除了图像处理设备21或信息处理设备51以外，本发明还可以应用于例如能够累积与用户操作对应的修改信息的设备，诸如汽车、飞机、遥控玩具(所谓的RC)或者家用电器。

要注意，除了从用于学习的内容读取的坐标以外，还可以利用例如由教师数据获取单元29通过跟踪输入图像中的对象而确定的坐标来实现在学习处理中使用的教师数据。

另外，在本实施例中，对利用最小二乘法的学习进行了说明。然而，除了利用最小二乘法的学习以外，例如能够采用利用神经网络的学习。

例如，在利用神经网络的学习中，利用与用户操作对应的修改信息和用于学习的教师数据执行利用非线性传递函数的算术运算，从而确定表示神经网络的结点之间的耦合强度的耦合系数。然后，利用该耦合系数和与用户操作对应的修改信息执行利用非线性传递函数的算术运算，从而确定用户特定修改信息。

可以由硬件或软件执行上述的一系列处理。在通过软件执行这一系列处理的情况下，将构成该软件的程序从程序记录介质安装到包括在专用硬件中的计算机或者通过安装各种程序能够执行各种功能的计算机(例如，通用个人计算机等)中。

图14是示出利用程序执行上述的一系列处理的计算机的硬件的示例结构的框图。

在该计算机中，CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103经由总线104彼此连接。

输入/输出接口105也连接到总线104。输入/输出接口105连接到输入单元106、输出单元107、存储单元108、通信单元109和驱动器110，其中，输入单元106包括键盘、鼠标、麦克风等；输出单元107包括显示器、扬声器等；存储单元108包括硬件、非易失性存储器等；通信单元109包括网络接口等；驱动器110驱动可移动介质111，例如，磁盘、光盘、磁光盘或半导体存储器。

在如上构成的计算机中，CPU 101经由输入/输出接口105和总线104将例如存储在存储单元108中的程序加载到RAM 103中并且执行程序，从而执行上述的一系列处理。

通过例如记录在可移动介质111(其是由磁盘(包括软盘)、光盘(诸如CD-ROM(压缩盘只读存储器)或DVD(数字多功能盘))、磁光盘或半导体存储器构成的封装介质)上或者经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)，提供由计算机(CPU 101)执行的程序。

然后，通过将可移动介质111安置在驱动器110中能够经由输入/输出接口105将程序安装在存储单元108中。另外，通信单元109能够经由有线或无线传输介质接收程序并且将其加载到存储单元108中。除此之外，能够预先将程序安装到ROM 102或存储单元108中。

要注意，计算机执行的程序可以是按在该说明书中说明的顺序以时间序列方式执行处理的程序或者可以是并行或在所需定时(例如当调用处理时)执行处理的程序。

要注意，参照上述流程图说明的各个处理并不一定需要按在流程图中说明的顺序以时间序列方式进行处理，并且还包括并行或独立执行的处理(例如，并行处理或基于对象的处理)。另外，可以由一个CPU或者可以由分布式的多个CPU来处理程序。

另外，本发明的实施例不限于上述实施例，并且在不脱离本发明的范围的情况下可以进行各种修改。