信息终端,信息终端的信息控制方法,和信息控制程序

摘要

为了能够显著减轻在用户对添加或更新的图像文件分类时的负担，从而使与其它内容数据的关联更容易。图像检测器/登记器(20)检测未登记或者更新的图像文件，并构成和管理图像文件的列表。面部矩形检测器(21)检测所检测到的图像文件中的面部矩形，使关于面部矩形的信息与图像文件关联，并保存所述信息。相似面部分类部分(22)计算面部矩形的特征量，比较计算的特征量与已计算并分类归入各个组中的不同面部矩形的特征量，计算该面部矩形与各个组中的不同面部矩形之间的相似性，并按照相似性计算的结果，对该面部矩形进行分类和管理。相似面部显示部分(23)在显示屏幕上，显示包括分类归入相同组中的面部矩形的至少一个图像文件。

说明书

技术领域

本发明涉及装备有能够显示图像等的显示设备的信息终端，比如蜂窝电话机终端，和管理信息终端处理的图像并把图像显示在显示屏幕上的信息控制方法和信息控制程序。

背景技术

例如，日本专利申请公开No.2009-27221(专利文献1)公开一种把登记在电话簿或地址簿中的电话号码或电子邮件地址分配给拥有该电话号码或电子邮件地址的人的面部图像，从而使得能够容易地基于面部图像识别作为通信对方的人，以进行通信的技术。特别地，在专利文献1中，从通过拍摄多个人物而获得的照片图像中，提取多个人物的面部区域，并且提取的面部区域能够与对应人物的电话号码或电子邮件地址相关联并被汇总登记。

此外，例如，日本专利申请公开No.2005-157679(专利文献2)公开下述技术。预先学习关于面部图像的大量信息项，并保存为词典数据，输入的照片图像被设定为灰度级图像，从通过比例缩放灰度级图像而获得的比例缩放图像中剪切窗口图像，比较窗口图像与保存为词典数据的信息项，以确定与之接近的部分。当重复进行这种处理时，能够容易且快速地检测面部图像。

[引用列表]

[专利文献]

[专利文献1]日本专利申请公开No.2009-27221(图7)

[专利文献2]日本专利申请公开No.2005-157679(图1)

发明内容

技术问题

顺便提及，最近的蜂窝电话机终端能够执行各种应用程序，所述各种应用程序不仅包括处理电话呼叫或电子邮件的电信关联应用程序，而且包括连接到因特网并浏览网站的应用程序，拍摄照片图像或运动图像以及再现和查看这些图像的应用程序，管理和再现音乐的应用程序，和管理日程的应用程序。

此外，最近的蜂窝电话机终端通常配备有使最初用上述各种应用程序处理的内容数据与具体的目标内容文件，比如照片图像文件关联的功能。具体地说，作为最典型的例子，能够使登记在电话簿或地址簿中的人物的电话号码，地址等的数据与作为通信对方的对应人物的面部图像文件关联。

这里，通过继续使用蜂窝电话机终端，包括新拍摄的图像文件，附加到电子邮件等的新图像文件，和从网页等获得的新图像文件在内的新图像文件的数目不断增大。另外，临时保存的图像文件经常被改变或删除。

在更新图像文件，即，例如新增、改变或删除图像文件，以使更新的图像文件与各种应用程序的内容数据关联的情况下，每次更新图像文件时，用户必须逐一检查图像文件(例如，检查图像中的内容)，和对图像文件分类。

分类操作非常麻烦，从而对用户来说是一项繁重的负担，从而即使当进行图像文件的更新等时，在许多情况下，分类操作也会在图像文件未被分类的情况下结束。此外，存在被原样保留、而未被分类或关联的图像文件不能被有效利用的担心。即，图像文件甚至未与用于电话簿等的另一个应用程序的内容数据关联。

问题的解决方案

鉴于上述情况，提出了本发明，本发明的目的是提供一种能够显著减轻用户对更新的图像文件分类的负担，和使图像文件与其它内容数据的关联更容易的信息终端，所述信息终端的信息控制方法和信息控制程序。

按照本发明的信息终端包括图像检测器/登记器，面部图像检测器，相似面部分类部分，和相似面部显示部分。图像检测器/登记器检测未登记或者更新的图像文件，并构成(structure)和管理检测到的图像文件的列表。面部图像检测器检测包括在图像检测器/登记器检测的图像文件的图像中的面部图像，使关于检测的面部图像的信息与图像文件关联，并保存关联的信息。相似面部分类部分计算面部图像检测器检测的面部图像的特征量，比较计算的特征量与已计算并分类归入组中的不同面部图像的特征量，计算该面部图像与相应组中的不同面部图像之间的相似性，并根据相似性计算的结果对该面部图像进行分类和管理。相似面部显示部分根据相似面部分类部分的面部图像的分类结果，在显示屏幕上显示包括分类为相同组的面部图像的至少一个图像文件。借助这种结构，本发明克服了上述问题。

此外，按照本发明的信息终端的信息控制方法包括下述步骤：用图像检测器/登记器检测未登记或者更新的图像文件，并构成和管理检测到的图像文件的列表，用面部图像检测器检测包括在图像检测器/登记器检测的图像文件的图像中的面部图像，使关于检测的面部图像的信息与图像文件关联，并保存所述信息，用相似面部分类部分计算面部图像检测器检测的面部图像的特征量，比较计算的特征量与已计算并分类归入组中的不同面部图像的特征量，计算该面部图像与相应组中的不同面部图像之间的相似性，并根据相似性计算的结果对该面部图像进行分类和管理，和用相似面部显示部分根据相似面部分类部分进行的面部图像分类的结果，在显示屏幕上显示包括分类为相同组的面部图像的至少一个图像文件。结果，上述问题被克服。

此外，信息控制程序使信息终端执行检测未登记或者更新的图像文件，并构成和管理检测到的图像文件的列表的图像检测/记录处理，检测包括在图像检测器/登记器检测的图像文件的图像中的面部图像，使关于检测的面部图像的信息与图像文件关联，并保存关联的信息的面部图像检测处理，计算面部图像检测器检测的面部图像的特征量，比较计算的特征量与已计算并分类归入组中的不同面部图像的特征量，计算该面部图像与相应组中的不同面部图像之间的相似性，并根据相似性计算的结果对该面部图像进行分类和管理的相似面部分类处理，和根据相似面部分类部分的面部图像的分类结果，在显示屏幕上显示包括分类为相同组的面部图像的至少一个图像文件的相似面部显示处理。结果，本发明克服了上述问题。

即，按照本发明，当检测到未登记或更新的图像文件时，即，当检测到经历更新(比如新增和变更)的图像文件时，从图像文件中检测面部图像，并与已计算和分类归入各个组中的其它面部图像比较，从而对检测的面部图像分类。从而，按照本发明，每次图像文件被更新时，图像文件被分类，并且所述图像文件和其它图像文件被分组。此外，按照本发明，根据分类结果，包括分类为相同组的面部图像的一个或多个图像文件被显示在显示屏幕上。因而，用户能够检查图像文件的分类状况，从而能够根据需要校正分类结果。结果，能够容易地使分类的图像文件与另一个所需应用的内容数据关联。

发明的有益效果

在本发明中，从未登记或者更新的图像文件中检测面部图像，比较该面部图像与已计算和分类归入各个组中的其它面部图像，从而对该面部图像分类。根据分类结果，包括分类归入相同组中的面部图像的一个或多个图像文件被显示在显示屏幕上。从而，能够显著减轻用户对未登记或更新的图像文件分类的负担，从而使图像文件与其它内容数据的关联更容易。

附图说明

图1是表示本发明的一个实施例的移动体终端的示意外部的透视图，其中移动体终端是从显示屏幕一侧观察的。

图2是表示本发明的所述实施例的移动体终端的示意外部的透视图，其中移动体终端是从照相机镜头一侧观察的。

图3是表示所述实施例的移动体终端的示意内部结构的方框图。

图4是表示当执行内容管理应用程序时，由CPU形成的功能的功能方框图。

图5是在执行图像拍摄用照相机应用程序，并发现图像拾取设备拍摄了图像的情况下，拍摄图像检测器/登记器中的功能方框图。

图6是在把外部存储器插入外部存储设备中的情况下，拍摄图像检测器/登记器中的功能方框图。

图7是在新增、改变或删除图像文件的情况下，拍摄图像检测器/登记器中的功能方框图。

图8是面部矩形检测器的详细功能方框图。

图9是在把面部矩形检测器检测的面部矩形分类归入各个组中的情况下，相似面部分类部分中的功能方框图。

图10是在用另一种方法，预先把分类信息赋予图像文件，然后参考分类信息对面部矩形分类的情况下，相似面部分类部分中的功能方框图。

图11是在移动体终端的用户手动对图像文件分类的情况下，相似面部分类部分中的功能方框图。

图12是相似面部分类部分的面部相似性计算器和分类部分中的处理的流程图。

图13是由相似面部登记通知部分，单一图像显示部分和相似面部图像集合显示部分构成的相似面部显示部分的详细功能方框图。

图14是由相似面部登记通知部分，单一图像显示部分，相似面部图像集合显示部分，和电话信息显示部分构成的相似面部显示部分的详细功能方框图。

图15是表示作为相似面部分类和记录的完成通知的例子，以卡片式对象的形式，在显示屏幕上显示包括面部矩形的图像文件，并在卡片式对象附近指示预定通知图标的例子的示图。

图16是表示通过用户输入请求单一图像显示的预定指令操作，在显示屏幕上进行单一图像显示的例子的示图。

图17是表示通过使面部图像与电话簿关联，显示在显示屏幕上的面部图像和电话簿的信息的示图。

图18是表示其中在显示屏幕上列出均具有相似面部图像的多个图像文件的缩略图的例子的示图。

图19是表示在按照内容数据的更新、变更等的时间先后顺序排列和显示多个卡片式对象的状态下的用户界面屏幕的例子的示图。

图20是说明在按照内容数据的更新、变更等的时间先后顺序排列和显示多个卡片式对象的状态下的用户界面屏幕上，所有卡片式对象都处于空闲状态的情况的示图。

图21是表示在按照内容数据的更新、变更等的时间先后顺序排列和显示多个卡片式对象的状态下的用户界面屏幕上，卡片式对象任意之一处于预览状态的情况下的显示例子的示图。

图22是说明处于空闲状态的卡片式对象的示图。

图23是说明处于预览状态的卡片式对象的示图。

图24是表示在相似面部显示部分中，当电话簿信息显示被转变成相似面部图像集合显示时的处理的流程图。

图25是表示在相似面部显示部分中，当单一图像显示被转变成相似面部图像集合显示时的处理的流程图。

图26是表示在相似面部显示部分中，当其中进行相似面部登记通知的状态被转变成相似面部图像集合显示时的处理的流程图。

具体实施方式

下面参考附图，说明本发明的实施例。

应注意本实施例例示诸示蜂窝电话机终端之类的移动体终端，作为本发明的信息终端，信息控制方法和信息控制程序适用于的例子，不过下面说明的内容只是一个例子，本发明当然不局限于该例子。

(移动体终端的示意外部结构)

图1和2是表示按照本发明的实施例的移动体终端的示意外部的透视图。应注意图1是从本实施例的移动体终端的显示屏幕2一侧观察的示图，图2是从本实施例的移动体终端的照相机镜头4一侧观察的示图。此外，图1和2只表示了按照本发明的主要部件，未表示对一般的蜂窝电话机终端等设置的组件。

本实施例的移动体终端是在机壳中包括显示屏幕2，照相机镜头4和能够插入/取出外部存储器3的存储卡插槽(未示出)的蜂窝电话机终端。

这里，在本实施例的移动体终端1中，在拍摄被摄物体A和被摄物体B的人物(图1中只表示了面部)的情况下，照相机镜头4的拍摄方向(图中的点划线箭头的方向)与朝着被摄物体A和B的方向重合。当被摄物体A和B被拍摄时，被拍摄的被摄物体A和B的图像(被摄物体图像5A和5B)显示在显示屏幕2上。

(移动体终端的示意内部结构)

图3表示本实施例的移动体终端1的示意内部结构。应注意图3只表示按照本实施例的主要部分，未表示对普通蜂窝电话机终端等设置的组件。

本实施例的移动体终端1包括作为主要的内部硬件组件的CPU(中央处理器)10，显示设备11，图像拾取设备12，内部存储设备13和外部存储设备14。

显示设备11包括由液晶，有机EL(电致发光)等构成的显示屏幕，和显示屏幕的显示驱动电路，根据从CPU 10供给的图像信号在显示屏幕上显示各种图像、文字等。

图像拾取设备12包括光学镜头(照相机镜头4)，图像拾取元件，驱动光学镜头以便聚焦或改变变焦倍率的镜头驱动机构，镜头驱动机构的驱动电路，对来自图像拾取元件的图像拾取信号进行图像处理的图像处理电路，等等。在CPU 10的控制下，图像拾取设备12拍摄的静止图像或运动图像的图像信号被保存在内部存储设备13或外部存储设备14中。

内部存储设备13是设置在本实施例的移动体终端中的内置存储器，由ROM(只读存储器)和RAM(随机存取存储器)构成。ROM包括可重写ROM，比如NAND型闪速存储器或EEPROM(电可擦可编程只读存储器)。ROM保存在CPU 10上构成的文件系统15，用于由CPU10控制各个组件的控制程序，各种初始设定值，词典数据，诸如各种操作音之类的音频数据，和各种应用程序。应注意各种应用程序的例子包括SNS(社交网络服务)，SMS(短消息服务)/MMS(多媒体消息接发服务)，电子邮件，音乐，运动图像，照片，日程管理，摄像等的应用程序。此外，ROM还保存由各种应用程序处理的内容数据。各种应用程序处理的内容数据的例子可包括诸如电话号码，电子邮件地址，人名和SNS账号之类的数据(下面总称为电话簿的数据)，日程表或日历的数据，SMS或MMS，电子邮件的消息数据，诸如消息数据或来电/去电的发送/接收之类的通信历史，图像拾取设备12拍摄的或者从个人计算机等传送的静止图像或运动图像的数据，通过因特网购买的静止图像或运动图像，音乐的购买历史，和用户通过网络等下载的数据文件。另外，在本实施例中，ROM还保存作为本发明的信息控制程序的内容文件管理应用程序，所述内容文件管理应用程序检测已经历新增、变更等的具体目标内容文件(后面说明)，比如拍摄的图像文件，按照与另一个内容文件的相似性对目标内容文件分类，和管理已分类的目标内容文件。例如，除了在出厂时被保存在ROM中的情况之外，也可在出厂之后，通过通信或者借助外部存储器把这些各种应用程序或本实施例的内容文件管理应用程序传送给本实施例的移动体终端并安装。作为用于CPU 10对各种数据进行处理的工作区，RAM必要时保存包括内容数据在内的各种数据。

外部存储设备14包括外部存储器3，能够插入/取出外部存储器3的存储卡插槽，和CPU 10通过存储卡插槽对外部存储器3进行读/写的接口电路。应注意外部存储器3可包括保持SIM(用户识别模块)信息等的可连接/拆卸的卡式外部存储器。在这种情况下，分别为一般的外部存储卡和SIM卡单独提供存储卡插槽。

CPU 10控制本实施例的移动体终端1的各个组件，形成管理各个文件的所谓文件系统15。此外，CPU 10执行保存在内部存储设备13中的各种应用程序，并对与各种应用程序相关的各种内容进行信息处理。特别地，在本实施例中，CPU 10执行本实施例的内容文件管理应用程序，从而按照与另一个内容文件的相似度，对具体的目标内容文件，比如更新的拍摄图像文件，即，已经历新增、变更等的拍摄图像文件进行分类，管理已分类的内容文件，并酌情使已分类的目标内容文件与期望的应用程序处理的内容数据关联，以便管理它们。

(当执行内容文件管理应用程序时的功能块)

图4是表示当执行内容文件管理应用程序时，由CPU 10构成的功能的方框图。应注意在本实施例中，照片图像文件用作目标内容文件的例子，照片图像文件中的人物的面部图像的相似度用作目标内容文件的相似度。下面说明按照相似度，分类和管理照片图像文件的例子。

如图4中所示，当执行内容文件管理应用程序时，在CPU 10中形成诸如拍摄图像检测器/登记器20，面部矩形检测器21，相似面部分类部分22和相似面部显示部分23之类的功能部分。

拍摄图像检测器/登记器20检测拍摄图像文件的新增、变更、删除等，并形成和管理保存在本实施例的移动体终端中的图像文件的信息列表。应注意在本实施例中，拍摄图像文件的例子包括用图3中所示的图像拾取设备12拍摄的照片图像文件，保存在内部存储设备13或外部存储设备14中的照片图像文件，和经由网络、外部连接电缆等传送的照片图像文件。CPU 10借助文件系统15，检测和管理这些照片图像文件的新增、变更或删除。

根据拍摄图像检测器/登记器20从中检测新增、变更、删除等的图像文件，面部矩形检测器21参照预先学习和准备的面部检测用词典数据，检测包括显现在图像文件中的人物的面部区域的面部矩形图像(面部图像的窗口图像)，使检测的面部矩形信息与图像文件关联，并保存所述关联信息。

相似面部分类部分22根据在面部矩形检测器21中检测的面部矩形，计算面部矩形图像的特征量，比较计算的特征量和已计算并分类归入各个组中的其它面部矩形的特征量，从而判定该面部矩形类似于哪组面部矩形。根据相似性判定结果，对该面部矩形分类。另外，在本实施例中，移动体终端的用户还可手动分类在面部矩形检测器21中检测的面部矩形。应注意作为面部矩形的图像的特征量，可以使用构成面部矩形的图像的像素之间的亮度值之差。

根据相似面部分类部分22的面部矩形的分类结果，相似面部显示部分23使包括被判定为在相同组中的面部矩形的一个或多个图像显示在显示设备11的显示屏幕2上。

(拍摄图像检测器/登记器的细节)

图5-7是拍摄图像检测器/登记器20的详细功能方框图。

图5表示在拍摄图像检测器/登记器20发现图像拍摄用照相机应用程序被执行，并且图像拾取设备12拍摄了图像的情况下，拍摄图像检测器/登记器20中的功能方框图。即，当在执行内容文件管理应用程序的状态下，执行照相机应用程序时，形成图像拾取检测器30，图像文件信息登记器31，拍摄图像存储器32和图像文件信息存储器35。

在图5中，当图像拾取检测器30发现图像拾取设备12拍摄了图像时，图像拾取检测器30把从图像拾取设备12供给的照片图像文件发送给拍摄图像存储器32。此时，拍摄图像存储器32把作为发送的照片图像文件的照片图像文件33保存在内部存储设备13或外部存储设备14中。应注意图像文件33包括诸如被摄物体图像之类的实际拍摄图像数据34。

此外在此时，图像拾取检测器30还把照片图像文件发送给图像文件信息登记器31。图像文件信息登记器31把照片图像文件的除实际拍摄图像数据外的图像属性信息，作为图像文件信息36发送给图像文件信息存储器35。图像文件信息存储器35把图像文件信息36保存在内部存储设备13等中，并构成其中使图像文件信息36和保存在拍摄图像存储器32中的图像文件33相互关联的数据库。应注意图像属性信息包括各种信息项，比如图像分辨率，数据大小，图像拍摄日期和时间，文件名，图像文件的ID(识别信息)，白平衡设定值，自动聚焦设定值，拍摄距离，背光校正信息，电平校正信息，包围拍摄信息，根据实际拍摄图像数据生成的缩略图图像信息，和图像拾取设备12的照相机镜头的F值。

图6表示在把外部存储器3插入外部存储设备14的情况下，拍摄图像检测器/登记器20中的功能方框图。即，当执行内容文件管理应用程序时，在拍摄图像检测器/登记器20中，形成外部存储设备插入检测器41，图像文件检索部分42，图像文件信息登记器31，拍摄图像存储器32，和图像文件信息存储器35。

在图6中，当外部存储器3被插入外部存储设备14的存储卡插槽时，外部存储设备插入检测器41发现外部存储器3被插入存储卡插槽。当外部存储设备插入检测器41检测到外部存储器3的插入时，拍摄图像检测器/登记器20使图像文件检索部分42工作。

这种情况下，图像文件检索部分42检查外部存储器3中是否保存有照片图像文件。当保存有照片图像文件时，图像文件检索部分42从图像文件中，检索其图像文件信息36未登记在图像文件信息存储部分35中的未登记图像文件。当找出未登记图像文件时，图像文件检索部分42把所述图像文件发送给图像文件信息登记器31。因而，图像文件信息存储器31把所述图像文件的图像文件信息36发送给图像文件信息存储器35。在图像文件信息存储器35中，使图像文件信息36与保存在外部存储器3中的照片图像文件关联，并登记在数据库中。

图7表示在通过网络，外部连接电缆等传送和新增图像文件，或者已保存在内部存储设备13或外部存储设备14中的图像文件被变更或删除的情况下，拍摄图像检测器/登记器20中的功能方框图。即，在执行内容文件管理应用程序时，在拍摄图像检测器/登记器20中形成文件系统变更检测器43，图像文件检索部分42，图像文件信息登记器31，拍摄图像存储器32和图像文件信息存储器35。

在图7中，在检查文件系统15的操作的同时，文件系统变更检测器43始终监测文件更新，包括向内部存储设备13或外部存储设备14的图像文件的新增，和已保存的图像文件的变更、删除等。当文件系统变更检测器43检测到用文件系统15的文件更新，包括图像文件的新增、变更、删除等时，拍摄图像检测器/登记器20使图像文件检索部分42工作。

这里，当新增图像文件时，图像文件检索部分42把图像文件(33)发给拍摄图像存储器32，以便保存在其中，并通过图像文件信息登记器31把图像属性信息(图像文件信息36)发给图像文件信息存储器35，以便保存在其中。另外，在图像文件被变更的情况下，图像文件检索部分42从拍摄图像存储器32管理的图像文件33中，检索文件系统变更检测器检测到所述变更的图像文件33，通过图像文件信息登记器31使图像文件信息存储器35保存变更的图像文件的图像属性信息。在图像文件被删除的情况下，图像文件检索部分42通过图像文件信息登记器31，使图像文件信息存储器35删除与删除的图像文件对应的图像属性信息。另外，图像文件信息登记器31按照所述新增、变更、删除等，更新数据库。

(面部矩形检测器的细节)

图8是表示面部矩形检测器21的细节的功能方框图。

在图8中，面部矩形检测器21包括面部矩形匹配部分51，面部检索词典存储器52和面部矩形信息存储器54。

在面部检索词典存储器52中，预先登记关于利用大量的面部图像学习的面部的信息，作为面部检索词典数据53。

面部矩形匹配部分51比例缩放输入的图像文件的图像，比较这样获得的比例缩放图像与预先登记在面部检索词典数据53中的信息。通过重复进行比例缩放图像和所述信息之间的相似部分的判断(匹配)，面部矩形匹配部分51从照片图像中找出面部区域，双眼的位置，鼻子的位置，嘴的位置等等，并检测这些信息项作为面部矩形信息55。

面部矩形信息存储器54向面部矩形匹配部分51检测的面部矩形信息55赋予ID(识别信息)，通过使所述ID与图像文件关联构成数据库，从而把所述ID和关联的图像文件保存在例如内部存储设备13中。

(相似面部分类部分的细节)

图9-11表示相似面部分类部分22的功能方框图。

图9表示在把图8所示的面部矩形检测器21检测的面部矩形分类归入各个组中的情况下，相似面部分类部分22中的功能方框图。

就图9来说，相似面部分类部分22由面部特征检测器61，面部相似性计算器62，分类部分63，面部特征信息存储器64和面部分类信息存储器66构成。

面部特征检测器61计算面部矩形检测器21检测的面部矩形的特征量。所述特征量用构成面部矩形的图像的像素之间的亮度值之差表示。

面部特征信息存储器64保存和管理已计算的面部特征信息65。

面部相似性计算器62比较面部特征检测器61计算的特征量和保存在面部特征信息存储器64中的面部特征信息65，从而计算每个面部矩形的相似性。

分类部分63根据面部相似性计算器62计算的相似性，创建具有密切相似性的面部矩形的集合(组)，即，相似面部矩形的集合(组)，并关于每个集合(组)对面部矩形分类。

面部分类信息存储器66保存和管理分类部分63关于每个组分类的面部分类信息项67。

图10是在用另一种方法，预先把分类信息赋予图像文件，并根据分类信息对面部矩形分类的情况下，相似面部分类部分22中的功能方框图。

在图10的情况下，相似面部分类部分22由在先分类图像获取部分70和面部分类信息存储器66构成。

在先分类图像获取部分70根据用另一种方法在先赋予的分类信息，对图像文件分类。

面部分类信息存储器66从在先分类图像获取部分70接收图像文件，并保存和管理图像文件的面部分类信息67。

图11是在移动体终端的用户手动分类图像的情况下，相似面部分类部分22中的功能方框图。

在图11的情况下，相似面部分类部分22由手动分类部分71和面部分类信息存储器66构成。

手动分类部分71按照用户的指令，对图像文件分类。

面部分类信息存储器66从手动分类部分71接收图像文件，保存和管理图像文件的面部分类信息67。

应注意在图11的情况下的手动分类包括手动校正在图9和10的情况下获得的分类结果的情况。

(相似面部分类部分中的处理流程)

图12是表示在上面说明的图9中所示的相似面部分类部分22的面部相似性计算器62和分类部分63中的处理的流程图。

在图12中，首先，面部相似性计算器62准备用面部特征检测器61检测的面部矩形的数目，同样数目的优先度(相似性得分)，和同样数目的组的标识符(聚类ID)。应注意这种情况下的聚类ID是与已分类的各个组的聚类ID不同的临时ID。

随后，在步骤S1，面部相似性计算器62把准备的聚类ID赋予面部特征检测器61检测的面部矩形，从而对面部矩形分组。

随后，在步骤S2，面部相似性计算器62通过比较已分类的每个组的每个面部矩形的特征量和面部特征检测器61检测的面部矩形的特征量，计算相似性，并计算每个组的相似性的最大值，最小值和平均值。随后，面部相似性计算器62把处理转到分类部分63。

在步骤S3，分类部分63判断是否存在其相似性的平均值超过第一阈值的多个组。当判断存在其相似性的平均值超过第一阈值的多个组时，处理进入步骤S4，否则，处理进入步骤S9。

在处理进入步骤S9的情况下，分类部分63判断是否仅仅存在一个其相似性的平均值超过第一阈值的组。当判断仅仅存在一个其相似性的平均值超过第一阈值的组时，处理进入步骤S10，当不存在其相似性的平均值超过第一阈值的组时，处理进入步骤S11。

在步骤S11，分类部分63向面部矩形分配新的聚类ID。即，在这种情况下，面部特征检测器61检测到的面部矩形是不属于已分类的任何组的新的面部矩形。于是，向新的面部矩形分配新的聚类ID(即，新的组)。在步骤S11之后，结束图12中所示的流程图的处理。

另一方面，在步骤S10，分类部分63只把其平均值超过第一阈值的组的一个聚类ID分配给该面部矩形。即，在这种情况下，面部特征检测器61检测的面部矩形被判断为属于已分类的某个组的面部矩形，从而把该组的聚类ID分配给该面部矩形。在步骤S10之后，结束图12中所示的流程图的处理。

当在步骤S3中，判断存在其相似性的平均值超过第一阈值的多个组，从而处理进入步骤S4时，分类部分63把其平均值超过第一阈值的多个组之中平均值最高的那个组的聚类ID分配给该面部矩形。

随后，分类部分63进行步骤S5-步骤S8的循环处理。在所述循环处理中，按组的数目重复所述处理。

在步骤S5-步骤S8的循环处理中，分类部分63判断除平均值最高的那个组之外的某个组是否具有超过预定第二阈值的相似性的最大值，最小值和平均值。当判断所述组的最大值，最小值和平均值超过第二阈值时，分类部分63随后进行步骤S7的处理。另一方面，当判断所述某个组的最大值，最小值和平均值未超过第二阈值时，分类部分63进行关于下一个组的判断。

在步骤S7，分类部分63用平均值最大的那个组的聚类ID替换所述组的聚类ID。即，在这种情况下，分类部分63进行组成这些组的处理。

当按组的数目，重复进行了步骤S5-步骤S8的循环处理时，结束图12中所示的流程图的处理。

应注意如图11中所示，在移动体终端的用户手动分类图像文件(面部矩形)的情况下，手动分类的面部矩形所属于的那个组的平均值(在一些情况下，最大值和最小值)发生变化。此外，当进行手动分类时，能够确实地分类难以用自动分类正确分类的面部矩形，所述手动分类的信息在自动分类时反映出。结果，能够更精确地进行自动分类。

(相似面部显示部分的细节)

图13和14是相似面部显示部分23的详细功能方框图。图15-18是分别表示在移动体终端1的显示屏幕2上显示图像的情况下的显示例子的示图。

如图13中所示，相似面部显示部分23由相似面部登记通知部分81，单一图像显示部分83和相似面部图像集合显示部分82构成。

当拍摄图像检测器/登记器20检测到图像文件时，面部矩形检测器21检测面部矩形，之后，相似面部分类部分22如上所述对面部矩形分类，相似面部登记通知部分81向用户告知面部图像的分类和登记的完成。在本实施例中，为了向用户告知相似面部图像的分类和记录的完成，例如使用一种在显示在蜂窝电话机终端的待机屏幕上的卡片式对象的附近，或者在所述对象的预定位置显示预定图标的方法。应注意作为另一种方法，最初对移动体终端配备的通知功能，比如声音输出、LED发光和振动器的振动，可用于向用户告知相似面部图像的分类和记录的完成。

图15表示通知相似面部图像的分类和记录的完成的例子。在图15的例子中，在显示屏幕2上，作为卡片式对象91，显示包括面部矩形的图像文件，在卡片式对象91附近，显示预定的相似面部登记通知图标92。虽然在图15的例子中只显示了一个卡片式对象91，不过如后所述，在本实施例的移动体终端中的显示器上，可按与更新历史对应的时间先后顺序，排列和显示多个卡片式对象。按照本实施例的移动体终端，在排列和显示多个卡片式对象的情况下，也能够与图15的例子中一样，通过在与其中完成面部图像的分类和登记的图像文件对应的卡片式对象的附近，或者在所述对象的预定位置，显示相似面部登记通知图标，来向用户告知与卡片式对象对应的图像文件中的面部图像的分类和登记的完成。

当在如图15中所示进行相似面部登记通知的情况下，或者在单一图像显示部分83或相似面部图像集合显示部分82显示图像的情况下，用户输入预定的指令操作时，单一图像显示部分83和相似面部图像集合显示部分82工作。应注意在移动体终端1的显示屏幕2上设置所谓的触摸面板的情况下，用户输入的预定指令操作例如是对触控板的操作(例如，触摸，轻点或轻滑)。

例如，当在图15的例子中进行相似面部登记通知时，如果用户输入请求显示单一图像的预定指令操作时，那么单一图像显示部分83在显示屏幕2上显示与卡片式对象91对应的图像文件的图像，如图16中所示。应注意在按照时间先后顺序，在显示屏幕2上排列和显示多个卡片式对象的情况下，当用户从卡片式对象中选择一个卡片式对象，并输入请求显示该单一图像的预定指令操作时，单一图像显示部分83也在显示屏幕2上，显示与用户选择的卡片式对象对应的图像文件的图像。

此外，例如，当如图15中所示，通过相似面部登记通知图标92，进行相似面部登记通知时，如果作为请求进行相似面部图像的集合显示的操作，用户输入了对相似面部登记通知图标92的触摸操作，那么相似面部图像集合显示部分82显示作为与对应于卡片式对象91的图像文件的面部图像相似的图像而预先分类的各个组中的图像文件的缩略图图像95的列表，如图18中所示。应注意在按照时间先后顺序，在显示屏幕2上排列和显示多个卡片式对象的情况下，当用户通过相似面部登记通知图标，从已经历相似面部登记通知的卡片式对象中选择一个卡片式对象，并输入请求相似面部图像集合显示的操作(例如，对相似面部登记通知图标92的触摸操作)时，相似面部图像集合显示部分82也显示作为对应于所选卡片式对象的图像文件的面部图像的相似图像而预先分类的各个组中的图像文件的缩略图图像的列表。

另外，在进行图16中所示的单一图像显示的时候，在用户输入请求相似面部图像的集合显示的操作(例如，对相似面部登记通知图标92的触摸操作)时，也进行如图18中所示的相似面部图像集合显示。

另一方面，例如，在如图18中所示进行相似面部图像集合显示的情况下，当用户从显示在显示屏幕2上的缩略图图像95中选择所需的缩略图图像，并输入请求单一图像显示的预定指令操作时，单一图像显示部分83在显示屏幕2上，显示与选择的缩略图图像对应的图像文件的单一图像。应注意当在图18的例子中选择置于左上角的缩略图图像时，进行图16中所示的单一图像显示。

此外，按照本实施例的移动体终端，在显示屏幕2上进行上面说明的相似面部登记通知，单一图像显示，或者相似面部图像集合显示的情况下，当电话簿与显示的面部图像关联时，还能够与电话簿的信息链接。

图14是在与电话簿信息的链接可能的情况下，相似面部显示部分23的功能方框图。在图14的例子中，相似面部显示部分23由相似面部登记通知部分81，单一图像显示部分83，相似面部图像集合显示部分82和电话簿信息显示部分84构成。相似面部登记通知部分81，单一图像显示部分83和相似面部图像集合显示部分82与上面所述相同。

在进行相似面部登记通知，单一图像显示和相似面部图像集合显示，并且用户选择与电话簿关联的图像的情况下，电话簿信息显示部分84工作。

例如，在进行图15中所示的相似面部登记通知，并且卡片式对象91与电话簿关联的情况下，当对于卡片式对象91，用户输入请求显示电话簿的预定指令操作时，连同面部图像93一起，电话簿信息显示部分84在显示屏幕2上显示与对应于卡片式对象91的面部图像93相关的电话簿信息94，如图17中所示。

此外，例如，在进行图18中所示的相似面部图像集合显示的情况下，当用户从显示在显示屏幕2上的缩略图图像95中选择所需的缩略图图像，并且输入请求显示电话簿的预定指令操作时，连同面部图像93一起，电话簿信息显示部分84在显示屏幕2上显示与对应于所选缩略图图像的面部图像关联的电话簿信息94，如图17中所示。

类似地，在进行图16中所示的单一图像显示的情况下，当用户输入请求显示电话簿的预定指令操作时，连同面部图像93一起，电话簿信息显示部分84在显示屏幕2上显示与作为单一图像显示的图像文件关联的电话簿信息94，如图17中所示。

另一方面，在如图17中所示显示电话簿信息的情况下，当用户输入请求显示单一图像显示的预定指令操作时，单一图像显示部分83在显示屏幕2上，显示与卡片式对象91对应的图像文件的图像，如图16中所示。

此外，例如，在如图17中所示显示电话簿信息的情况下，当用户进行触摸相似面部登记通知图标92，以请求相似面部图像的集合显示的操作时，相似面部图像集合显示部分82显示作为与电话簿信息94一起显示的面部图像93的相似图像而预先分类的各个组中的图像文件的缩略图图像95的列表，如图18中所示。

(多个卡片式对象的排列显示的例子)

在本实施例中，除了如图15中所示的与对应于图像文件的内容数据相关的卡片式对象之外，准备向用户告知由用于电子邮件，SNS，SMS/MMS，音乐再现等的各种应用程序处理的各种内容的更新、添加等的卡片式对象，作为上面说明的卡片式对象。按照本实施例的移动体终端，能够在蜂窝电话机终端的待机屏幕等上，排列和显示与各种应用程序的各种内容数据对应的卡片式对象，如图19-21中所示。应注意图19-21分别表示其中沿着纵长方向设定显示屏幕2的示图。

具体地说，在本实施例中，如图19中所示排列的卡片式对象101被视为用于容易理解地向用户指示对应内容数据的更新或添加以及所述更新或添加的概况的显示对象。

此外，在本实施例中，在卡片式对象101上，显示正确地指示内容的特性和更新的细节的信息，比如指示内容对应于用于SNS，SMS，电子邮件，音乐，照片等的各种应用程序中的哪个应用程序的信息，每个内容独有的、能够指示诸如消息传送来源和新闻标题之类内容属性信息的信息，和指示内容数据被更新或添加的日期和时间的信息。

在本实施例中，作为指示内容对应于哪个应用程序的信息，使用对应于内容的种类的图标、文字信息等等。预先以随内容而不同的信息的形式，准备所述图标或文字信息。另外，作为每个内容独有的、能够指示内容属性信息的信息，使用指示消息传送来源的文字信息，诸如照片之类的图像、指示新闻投放来源和新闻标题的文字信息，等等。此外，作为指示内容数据等被更新或添加的日期和时间的信息，使用指示年月日，日期和时间等的文字信息。应注意图19和20的例子未显示每个卡片式对象101对应于哪个内容，未显示在卡片101上记述的用于更新信息指示的文字信息等的具体例子。

另外，在本实施例中，当在显示屏幕2上表示多上卡片式对象101时，卡片式对象101是按照更新内容数据的时间先后顺序排成一列显示的，这能够易于理解地指出内容数据之间在更新、添加等方面的时间关系。

即，图19和20分别表示在按照内容数据被更新或变更的时间先后顺序，排列和显示多个卡片式对象101的状态下的用户界面屏幕的例子。应注意图19和20分别表示在作为蜂窝电话机终端的本实施例的移动体终端处于所谓的待机状态的时候，卡片式对象101的显示例子。当然，这只是一个例子，图19和20中所示的屏幕可以不是待机屏幕，而是另外准备的预定屏幕。

更具体地说，在本实施例中，显示在屏幕上的多个卡片式对象101是当从用户观察时，从屏幕的顶部到底部，按照更新日期和时间的倒序依次排列显示的(倒序显示的)。即，按照更新、变更等的时间的倒序(按照从屏幕的顶部到底部的顺序)，依次排列显示一指示收到SMS的卡片式对象，一指示收到另一个SMS的卡片式对象，一指示来自RSS(RDF(资源描述框架)站点摘要)的新闻被更新的卡片式对象，一指示SNS被更新的卡片式对象，和一指示添加或更新了诸如本实施例的照片之类的图像文件的卡片式对象。

应注意图19表示其中从屏幕的顶部到底部，按照时间的倒序排列对象的例子，不过，当然可以按照相反的顺序排列对象。另外，图19表示其中纵长使用显示屏幕的例子。不过，在如上所述横长使用显示屏幕的情况下，可以从屏幕的左侧到右侧(或者从右侧到左侧)，按照时间先后顺序排列和显示卡片式对象(即，横向排列成一排地显示卡片式对象)。此外，在可通过在纵向方向和横向方向之间切换屏幕方向，使用本实施例的终端的屏幕显示的情况下，与屏幕方向在纵向方向和横向方向之间的切换相结合，卡片式对象被排列成一排的方向可被切换成纵向方向或横向方向。结果，按照纵长或横长使用屏幕的使用条件，能够显示数目更多的卡片式对象。另外，可沿着对角线方向重叠地显示卡片式对象。

此外，除了把卡片式对象直线地排成一排的情况之外，可以弯曲地排列和显示卡片式对象。在弯曲排列卡片式对象的情况下，可根据用户使用哪只手(左手或右手)操作触摸面板，切换弯曲方向。在屏幕的显示被设定为纵长显示，并且用户用例如右手操作显示屏幕上的触摸面板的情况下，可以依次逐渐弯曲和排列卡片式对象，以致使屏幕上的中央区域朝着屏幕的左侧突出，使屏幕上的上下端区域朝着屏幕的右侧弯曲。另一方面，在用户用例如左手操作显示屏幕上的触摸面板的情况下，可以依次逐渐弯曲和排列卡片式对象，以致使屏幕上的中央区域朝着屏幕的右侧突出，使屏幕上的上下端区域朝着屏幕的左侧弯曲。结果，能够实现用户更易于使用的用户界面。

此外，在本实施例中，如图19和20中所示，显示在和待机屏幕中一样的初始状态下的卡片式对象101，以致使最初具有矩形形状的每个卡片式对象的上部或下部假想地朝着屏幕深度方向稍微倾斜。应注意在横长使用显示屏幕，从而横向依次排列和显示卡片式对象的情况下，理想的是使每个矩形卡片式对象的左侧或右侧假想地朝着屏幕深度方向倾斜。

如上所述，在本实施例中，通过朝着屏幕深度方向，假想地倾斜最初为矩形的卡片式对象，和原样排列矩形卡片式对象的情况相比，能够在屏幕上显示数目更多的卡片式对象。在下面的说明中，处于朝着屏幕深度方向倾斜的状态的卡片式对象101被特别表示成处于空闲状态的卡片式对象101d。

在处于空闲状态的每个卡片式对象101上，如上所述，显示正确地指示内容的特性和更新的细节的信息，比如指示内容对应于哪个应用程序的信息，每个内容独有的、能够指示每个内容属性的信息，和更新等的日期和时间信息。

此外，当用户通过对显示屏幕上的触摸面板的预定手势操作，输入从如上所述排列和显示在屏幕上的卡片式对象中，选择所需卡片式对象101的指令时，在本实施例的移动体终端中，改变通过所述指令输入选择的卡片式对象101的显示状态。

这里，在本实施例中，选择所需卡片式对象的预定手势操作是用户接触触摸面板上，与卡片式对象的显示区域对应的一部分检测区域的手势操作。应注意触摸手势操作指的是接触触摸面板一定时间以上的手势操作。

此外，当利用通过触摸面板的触摸手势操作，从处于空闲状态的多个卡片式对象101d中选择一个卡片式对象时，本实施例的移动体终端把选择的卡片式对象101显示成具有初始状态下的矩形形状的卡片式对象101v。

即，在这种情况下，本实施例的移动体终端假想地竖起如上所述朝着屏幕深度方向倾斜的处于空闲状态的卡片式对象101d，以致所选卡片式对象的表面近似平行于屏幕，从而把该卡片式对象101显示成近似矩形的卡片。

如上所述，在本实施例中，卡片式对象101被假想地竖起，并显示成矩形卡片式对象101v，从而向用户告知该卡片式对象确实已被选择的事实。在下面的说明中，处于在屏幕上被竖起、并以矩形形状显示的状态的卡片式对象101被特别称为处于预览状态的卡片式对象101v。图15中所示的卡片式对象91是处于预览状态的卡片式对象。

与如上所述处于空闲状态的卡片式对象101d的情况相比，在处于预览状态的卡片式对象101v上，可显示数目更多的信息项。即，与处于空闲状态的卡片式对象101d相比，处于预览状态的卡片式对象101v在屏幕上占据更大的面积，从而能够在屏幕上显示数目更多的信息项。

在本实施例中，在处于预览状态的卡片式对象101v上，除了类似于处于空闲状态的卡片式对象101d，显示指示内容对应于哪个应用程序的信息，更新等的日期和时间信息，和其它信息项之外，还显示指示每个内容的更新细节的更详细信息项。

图22和23是分别表示处于空闲状态的卡片式对象101d(图22)和处于预览状态的卡片式对象101v(图23)的放大图。

在图22中所示的处于空闲状态的卡片式对象101d上，排列指示内容对应于用于SNS，电子邮件，音乐，照片等的各种应用程序中的哪个应用程序的图标102e，作为每个内容独有的、能够指示内容的每种属性(比如消息传送来源或新闻标题)的信息的文字信息102b，简单地指示每个内容的更新细节的文字信息102c，和指示更新、添加等的日期和时间的文字信息102d。另外，在存在消息传送来源的照片等的缩略图图像，音乐的专辑封面的缩略图图像等的情况下，在卡片式对象101d上显示其缩略图图像102a，作为能够指示内容的属性的信息项。

另一方面，在图23中所示的卡片式对象101v上，和处于空闲状态的卡片式对象101d的情况一样，排列图标102e和日期-时间文字信息102d，并指示与空闲状态下相比能更详细地指示每个内容的更新细节的文字信息102c。

另外，在使卡片式对象101v处于预览状态之后，如果持续一段时间以上，用户未发出任何指令，那么本实施例的移动体终端使卡片式对象101v恢复成处于空闲状态的卡片式对象101d。

此外，在本实施例的移动体终端中，在图22中所示的处于空闲状态的卡片式对象101d上，或者在图23中所示的处于预览状态的卡片式对象101v上，除了如上所述的缩略图图像102a等之外，还显示用于上面说明的相似面部登记的通知，或者使对象与电话簿的关联的完成通知的图标102f。即，在用户对上面显示图标102f的卡片式对象进行预定指令操作的情况下，本实施例的移动体终端进行如上所述的单一图像显示或相似面部图像集合显示，与电话簿信息关联的图像显示，等等。

(相似面部显示部分中的处理流程)

图24是表示当图17中所示的电话簿信息显示被转变成上面说明的图14中所示的相似面部显示部分23中的相似面部图像集合显示时的处理的流程图。

在图24中，在进行如图17中所示的电话簿信息显示的情况下，当用户进行例如触摸相似面部登记通知图标102f(92)，以请求相似面部图像的集合显示的操作时，在步骤S21中，相似面部图像集合显示部分82从相似面部分类部分22的面部分类信息存储器66的数据库中，获得对应于与电话簿信息94一起显示的面部图像93的聚类ID。

随后，相似面部图像集合显示部分82进行步骤S22-S25的循环处理。按与相同聚类ID对应的图像文件的数目，重复进行所述循环处理。

在步骤S22-S25的循环处理中，首先，在步骤S23中，相似面部图像集合显示部分82从拍摄图像检测器/登记器20的图像文件信息存储器35的数据库中，获得与聚类ID对应的图像文件的ID。

随后，在步骤S24，相似面部图像集合显示部分82从图像文件信息存储器35获得与图像文件的ID对应的缩略图图像，并把获得的缩略图显示在显示屏幕2上。

当按图像文件的数目进行步骤S22-S25的循环处理时，进行如上所述的相似面部图像的集合显示。当完成集合显示时，相似面部图像集合显示部分82结束图24的流程图的处理。

图25是表示当如图16中所示的单一图像显示被转变成上面说明的图13和14中所示的相似面部显示部分23中的相似面部图像集合显示时的处理的流程图。

在图25中，在进行如图16中所示的单一图像显示的情况下，当发现用户对单一图像中的面部图像，进行例如触摸相似面部登记通知图标102f(92)，以请求相似面部图像的集合显示的操作时，在步骤S31，单一图像显示部分83把处理转给相似面部图像集合显示部分82。

在步骤S32，在这种情况下，相似面部图像集合显示部分82从拍摄图像检测器/登记器20的图像文件信息存储器35的数据库，获得与已经历单一图像显示的面部图像对应的图像文件的ID。

随后，在步骤S33，相似面部图像集合显示部分82从相似面部分类部分22的面部分类信息存储器66的数据库，获得与获得的图像文件对应的聚类ID。

随后，相似面部图像集合显示部分82进行步骤S34-S37的循环处理。按对应于相同聚类ID的图像文件的数目，重复进行所述循环处理。

在步骤S34-S37的循环处理中，首先，在步骤S35，相似面部图像集合显示部分82从拍摄图像检测器/登记器20的图像文件信息存储器35的数据库，获得与聚类ID对应的图像文件的ID。

随后，在步骤S36，相似面部图像集合显示部分82从图像文件信息存储器35，获得与图像文件的ID对应的缩略图图像，并把获得的缩略图图像显示在显示屏幕2上。

当按图像文件的数目进行步骤S34-S37的循环处理时，进行如上所述的相似面部图像的集合显示。当集合显示完成时，相似面部图像集合显示部分82结束图25的流程图的处理。

图26是表示当在按照时间先后顺序排列和显示多个卡片式对象的状态下，通过在某个卡片式对象上显示相似面部登记通知图标102f(92)，向用户告知相似面部登记的完成，然后用户选择上面指示所述图标102f(92)的卡片式对象，并输入进行相似面部图像集合显示的指令操作，结果进行相似面部图像的集合显示时的处理的流程图。

在图26中，在按照时间先后顺序排列和显示如上所述的多个卡片式对象的状态下，当通过在某个卡片式对象上指示相似面部登记通知图标102f(92)，向用户告知相似面部通知的完成时，用户选择该卡片式对象91，并进行例如触摸相似面部登记通知图标102f(92)，以请求集合显示，从而相似面部登记通知部分81把处理转到相似面部图像集合显示部分82。

在步骤S41，在这种情况下，相似面部图像集合显示部分82从面部矩形信息存储器54的数据库，获得与相似面部登记通知的卡片式对象91对应的图像文件中的面部矩形的ID。

随后，相似面部图像集合显示部分82根据在步骤S41中获得的面部矩形ID，判断图像文件中的面部矩形的数目是否为1。当判断面部矩形的数目为1时，处理进入步骤S43，或者当判断面部矩形的数目为2以上时，处理进入步骤S49。

当处理进入步骤S49时，相似面部图像集合显示部分82对在图像文件中检测到的面部矩形之中，更接近于中心、并且具有更大面积的面部矩形加权，从而对面部矩形排序，并选择顺序最高(优先度最高)的面部矩形。在步骤S49之后，处理进入步骤S43。

在步骤S43，相似面部图像集合显示部分82再次从面部矩形信息存储器54的数据库，获得面部矩形的ID。随后，在步骤S44，相似面部图像集合显示部分82根据面部矩形的ID，从相似面部分类部分22的面部分类信息存储器66的数据库，获得聚类ID。

随后，相似面部图像集合显示部分82进行步骤S45-S48的循环处理。按对应于相同聚类ID的图像文件的数目，重复进行所述循环处理。

在步骤S45-S48的循环处理中，首先，在步骤S46，相似面部图像集合显示部分82从拍摄图像检测器/登记器20的图像文件信息存储器35的数据库中，获得与聚类ID对应的图像文件的ID。

随后，在步骤S47，相似面部图像集合显示部分82从图像文件信息存储器35，获得与图像文件的ID对应的缩略图图像，并把获得的缩略图图像显示在显示屏幕2上。

当按图像文件的数目重复进行步骤S45-S48的循环处理时，进行如上所述的相似面部图像的集合显示。当集合显示完成时，相似面部图像集合显示部分82结束图26中所示的流程图的处理。

参考图26，说明了其中在按照时间先后顺序排列和显示多个卡片式对象的状态下，指定上面指示相似面部登记通知图标102f(92)的卡片式对象，从而进行相似面部图像的集合显示的例子。另一方面，例如，在指定上面指示相似面部登记通知图标102f(92)的卡片式对象，从而显示单一图像，并且之后用户输入进行相似面部图像集合显示的操作指令的情况下，按照和上面相同的方式进行相似面部图像的集合显示。

(结论)

如上所述，按照本实施例的移动体终端，在拍摄图像检测器/登记器20中，在如参考图5所述用图像拾取设备12拍摄图像，如参考图6所述把外部存储器3插入外部存储设备14中，和如参考图7所述进行图像文件的新增、变更、删除等的任何情况下，可对能够被移动体终端处理的所有图像文件进行相似面部分类。

此外，按照本实施例的移动体终端，拍摄图像检测器/登记器20，面部矩形检测器21和相似面部分类部分22中的功能是在后台实现的，于是可在不向用户要求任何特殊操作的情况下，实现这些功能。在进行相似面部登记通知之后，能够进行相似面部图像集合显示，电话簿信息显示等等。

另外，在本实施例的移动体终端中，还能够对面部矩形进行手动分类。因而，即使在作为自动分类的结果，提供与用户的意图相反的分类结果的情况下，也能够校正面部矩形的分类。此外，当进行手动分类，并且之后另外进行图像文件的分类处理时，分类精度得到提高，因为使反映用户的校正的分类组作为基础(matrix)经历分类计算。

此外，按照本实施例的移动体终端，提供相似面部显示部分23的功能。于是，能够显示包括相同组的面部矩形的图像组，从而在与电话簿信息链接的情况下，使登记在电话簿中的人物的详细信息的显示和与所述人物的通信更容易。在未与电话簿信息链接的情况下，当选择并在电话簿中新登记照片图像时，在所述照片图像已经历相似面部分类的情况下，能够使与所述照片图像被分类为相同组的面部矩形的所有图像文件组与电话簿的记录信息相链接。

即，按照本实施例的移动体终端，通过按照面部图像的相似性，对增加或更新的图像文件分组和使之与另一个照片图像文件的面部图像关联，能够几乎完全消除用户为了对图像文件分类而进行的检查操作，从而显著减轻用户的负担，结果能够容易地使面部图像与诸如电话簿之类的其它内容数据关联。

在本实施例中，静止图像的图像文件被举例用作目标内容文件，不过和以上例子中一样，检测、分类等可适用于运动图像文件。另外，例如，通过把声音的特征量的检测和相似性计算应用于音频文件，音频文件也可以是分类目标。

关于以上实施例的其它说明只是本发明的一个例子。从而，本发明并不局限于以上实施例，当然可依据设计等做出各种修改，而不脱离本发明的技术思想。

在以上实施例中，蜂窝电话机终端被用作移动体终端，不过本发明可适用于按照以上实施例的其它各种信息终端。

[附图标记列表]

1移动体终端(蜂窝电话机终端)

2显示屏幕

3外部存储器

4照相机镜头

A，B被摄物体(人脸)

5A，5B被摄物体图像

10CPU

11显示设备

12图像拾取设备

13内部存储设备

14外部存储设备

20拍摄图像检测器/登记器

21面部矩形检测器

22相似面部分类部分

23相似面部显示部分

30图像拾取检测器

31图像文件信息登记器

32拍摄图像存储器

33图像文件

34实际拍摄图像数据

35图像文件信息存储器

36图像文件信息

41外部存储设备插入检测器

42图像文件检测部分

51面部矩形匹配部分

52面部检索词典存储器

53面部检索词典数据

54面部矩形信息存储器

55面部矩形信息

61面部特征检测器

62面部相似性计算器

63分类部分

64面部特征信息存储器

65面部特征信息

66面部分类信息存储器

67面部分类信息

70在先分类图像获取部分

71手动分类部分

81相似面部登记通知部分

82相似面部图像集合显示部分

83单一图像显示部分

84电话簿信息显示部分

91，101d，101v卡片式对象

92，102f相似面部登记通知图标

93登记在电话簿中的面部图像

94登记在电话簿中的信息

95缩略图图像

102a缩略图图像

102b，102c，102d文字信息

102e图标