一种基于面部神态的人脸检测方法和系统

摘要

本发明公开了一种基于面部神态的人脸检测方法和系统，其中，所述方法应用于一人脸检测系统，所述系统包括一图像采集系统和一热成像系统，所述方法包括：根据所述图像采集系统获得第一用户无面部表情的图像信息；根据所述图像采集系统获得第一用户的第二面部图像信息；根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；根据所述热成像系统获得所述第一用户的第一面部热成像信息；根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息。解决了现有技术中人脸动态识别率低、识别精度不够的技术问题。

说明书

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种基于面部神态的人脸检测方法和系统。

背景技术

当前，随着人工智能、物联网等前沿技术的迅速发展，智能时代已悄然到来，“刷脸”逐渐成为了新的风潮，人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。与其他生物识别方式相比，人脸识别优势在于自然性、不被察觉性等特点。目前人脸识别需要解决的难题是在不同场景、脸部遮挡等应用时如何保证识别率。此外，隐私性和安全性也是值得考虑的问题。人脸识别优势明显，未来将成为识别主导技术。

本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

人脸动态识别率低、识别精度不够。

发明内容

本申请实施例通过提供一种基于面部神态的人脸检测方法和系统，解决了现有技术中人脸动态识别率低、识别精度不够的技术问题，达到了基于准确分析用户面部神态来提高人脸检测准确性的技术目的。

本申请实施例通过提供一种基于面部神态的人脸检测方法，其中，所述方法应用于一人脸检测系统，所述系统包括一图像采集系统和一热成像系统，所述方法包括：根据所述图像采集系统获得第一用户的第一面部图像信息，所述第一面部图像信息为所述第一用户无面部表情的图像信息；根据所述图像采集系统获得第一用户的第二面部图像信息；根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；根据所述热成像系统获得所述第一用户的第一面部热成像信息；根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息。

另一方面，本申请还提供了一种基于面部神态的人脸检测系统，其中，所述系统包括：第一获得单元，所述第一获得单元用于根据所述图像采集系统获得第一用户的第一面部图像信息，所述第一面部图像信息为所述第一用户无面部表情的图像信息；第二获得单元，所述第二获得单元用于根据所述图像采集系统获得第一用户的第二面部图像信息；第三获得单元，所述第三获得单元用于根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；第一输入单元，所述第一输入单元用于将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；第四获得单元，所述第四获得单元用于根据所述热成像系统获得所述第一用户的第一面部热成像信息；第五获得单元，所述第五获得单元用于根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息。

另一方面，本申请实施例还提供了一种基于面部神态的人脸检测系统，其中，所述系统包括：第一获得单元，所述第一获得单元用于根据所述图像采集系统获得第一用户的第一面部图像信息，所述第一面部图像信息为所述第一用户无面部表情的图像信息；第二获得单元，所述第二获得单元用于根据所述图像采集系统获得第一用户的第二面部图像信息；第三获得单元，所述第三获得单元用于根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；第一输入单元，所述第一输入单元用于将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；第四获得单元，所述第四获得单元用于根据所述热成像系统获得所述第一用户的第一面部热成像信息；第五获得单元，所述第五获得单元用于根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了通过捕捉用户不同的面部图像信息，对用户的面部表情进行分析比对，获得面部特征区别特征数据集，并通过将所述面部特征区别特征数据集输入神经网络模型的方式，基于神经网络模型能够不断获取经验来处理数据，从而对用户的表情进行准确的分析，并依据用户的表情和面部热成像信息准确判断用户面部神态。实现了基于准确分析用户面部神态来提高人脸检测准确性的技术目的。

上述说明是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例一种基于面部神态的人脸检测方法的流程示意图；

图2为本申请实施例一种基于面部神态的人脸检测系统的结构示意图；

图3为本申请实施例示例性电子设备的结构示意图。

附图标记说明：第一获得单元11，第二获得单元12，第三获得单元13，第一输入单元14，第四获得单元15，第五获得单元16，总线300，接收器301，处理器302，发送器303，存储器304，总线接口305。

具体实施方式

本申请实施例通过提供一种基于面部神态的人脸检测方法和系统，解决了现有技术中人脸动态识别率低、识别精度不够的技术问题，达到了通过准确分析用户面部神态来提高人脸检测准确性的技术目的。下面，将参考附图详细的描述本申请的示例实施例。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

与其他生物识别方式相比，人脸识别优势在于自然性、不被察觉性等特点。目前人脸识别需要解决的难题是在不同场景、脸部遮挡等应用时如何保证识别率。此外，隐私性和安全性也是值得考虑的问题。人脸识别优势明显，未来将成为识别主导技术。现有技术中还存在着人脸动态识别率低、识别精度不够的技术问题。

针对上述技术问题，本申请提供的技术方案总体思路如下：

本申请实施例通过提供一种基于面部神态的人脸检测方法，其中，所述方法应用于一人脸检测系统，所述系统包括一图像采集系统和一热成像系统，所述方法包括：根据所述图像采集系统获得第一用户的第一面部图像信息，所述第一面部图像信息为所述第一用户无面部表情的图像信息；根据所述图像采集系统获得第一用户的第二面部图像信息；根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；根据所述热成像系统获得所述第一用户的第一面部热成像信息；根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

如图1所示，本申请实施例提供了一种基于面部神态的人脸检测方法，其中，所述方法应用于一人脸检测系统，所述系统包括一图像采集系统和一热成像系统，所述方法包括：

步骤S100：根据所述图像采集系统获得第一用户的第一面部图像信息，所述第一面部图像信息为所述第一用户无面部表情的图像信息；

具体而言，所述人脸检测系统与所述图像采集系统连接，当所述图像采集系统识别出规定区域内存在人脸信息之后，获取所述第一用户的无面部表情的图像信息。所述图像采集系统通过场景过滤、校正光线和人脸尺寸，对规定区域内检测到的人脸信息进行图像处理，从而保证了图像识别的准确性。

步骤S200：根据所述图像采集系统获得第一用户的第二面部图像信息；

具体而言，所述第二面部信息为所述第二用户依据识别要求所做的指定表情下的面部信息，如微笑、露齿笑等。所述图像采集系统通过获得指定表情信息，并将示例表情显示在所述系统的输出端，提醒用户按照示例进行操作。

步骤S300：根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；

具体而言，所述第一面部区别特征数据集中，特征通常分为视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。人脸特征提取就是针对人脸的某些特征进行的。人脸特征提取，也称人脸表征，它是对人脸进行特征建模的过程。所述第一用户在不同表情下的脸部特征不同，通过获得所述第一面部区别特征数据集，为准确识别所述第一用户的表情信息奠定了基础。

步骤S400：将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；

具体而言，神经网络是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。通过将所述第一面部区别特征数据集输入所述神经网络模型，通过训练数据使所述第一神经网络模型自身不断地修正、优化，通过监督学习的过程来提高机器学习模型处理所述数据的准确性，进而使得所述第一表情信息获取更为准确。通过由所述第一神经网络模型获得准确的所述第一表情信息，从而提高人脸识别技术的检测精度奠定了基础。

步骤S500：根据所述热成像系统获得所述第一用户的第一面部热成像信息；

具体而言，热成像技术是指利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。生物特征热成像系统捕获人的血液在面部皮肤下移动时产生的图案，由于血管的模式是独特的，因此即使在同卵双胞胎中，生物特征识别图也很明显。由于用户在不同面部表情下脸部肌肉状态不同，故所述热成像系统所获得的热成像信息不同，故通过获得所述第一面部热成像信息，从而为准确获得所述第一用户的面部神态信息奠定了基础。

步骤S600：根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息；

具体而言，所述图像采集系统和所述热成像系统将所获得的所述第一面部热成像信息和所述第一表情信息输入至所述第一人脸检测系统，所述系统通过机器学习对所获得的数据进行分析处理，从而确定所述第一用户的面部神态信息。实现了通过准确分析用户面部神态来提高人脸检测准确性的技术目的。

进一步而言，本申请实施例S400还包括：

步骤S401a：将所述第一面部区别特征数据集作为输入数据，输入第一神经网络模型，其中，所述第一神经网络模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一面部区别特征数据集和用来标识面部表情的标识信息；

步骤S402a：获得所述第一神经网络模型的第一输出信息，所述第一输出信息包括所述第一用户的第一表情信息。

具体而言，所述训练神经网络模型的过程实质为监督学习的过程。所述多组训练数据具体为：所述第一面部区别特征数据集和用来标识面部表情的标识信息。通过输入所述第一面部区别特征数据集，神经网络模型会输出所述第一用户的第一表情信息，通过将所述输出信息与所述起标识作用的所述第一用户的第一表情信息进行校验，如果所述输出信息与所述起标识作用的所述第一用户的第一表情信息要求相一致，则本数据监督学习完成，则进行下一组数据监督学习；如果所述输出信息与所述第一用户的第一表情信息要求不一致，则神经网络学习模型自身进行调整，直到神经网络学习模型输出结果与所述第一用户的第一表情信息要求相一致，进行下一组数据的监督学习。通过训练数据使神经网络学习模型自身不断地修正、优化，通过监督学习的过程来提高神经网络学习模型处理所述信息的准确性，进而达到使得所述第一用户的第一表情信息的获取更加精确的技术效果。

进一步而言，本申请实施例步骤S600还包括：

步骤S601：根据所述第一面部热成像信息，对所述第一用户的面部进行分区，获得不同面部区域信息；

步骤S602：获得所述第一用户不同面部区域对应的温度信息；

步骤S603：将所述不同面部区域信息和所述不同面部区域对应的温度信息输入第二神经网络模型，其中，所述第二神经网络模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述不同面部区域信息和所述不同面部区域对应的温度信息和用来标识面部神态的标识信息；

步骤S604：获得所述第二神经网络模型的第二输出信息，所述第二输出信息包括所述第一用户的第二神态信息；

步骤S605：根据所述第一表情信息和所述第二神态信息，确定所述第一用户的第一面部神态信息。

具体而言，所述用户的不同面部区域所对应的面部温度不同，通过获得所述第一用户的不同面部区域信息和所述不同面部区域对应的温度信息输入所述第二神经网络模型，基于所述神经网络模型能够不断学习、从而获得经验来获取数据的方式，使得所获得的所述第一用户的第一面部神态信息更为准确。

进一步而言，本申请实施例步骤S400还包括：

步骤S401b：获得第一预定时间阈值；

步骤S402b：获得第二表情信息；

步骤S403b：获得第三表情信息；

步骤S404b：获得第一时间，所述第一时间为所述第二表情消失的时间；

步骤S405b：获得第二时间，所述第二时间为所述第三表情出现的时间，其中，所述第三表情为所述第二表情之后的相邻表情；

步骤S406b：根据所述第二时间和所述第一时间，获得第一时间差；

步骤S407b：判断所述第一时间差是否在所述第一预定时间阈值之内；

步骤S408b：如果所述第一时间差不在所述第一预定时间阈值之内，获得第一纠偏参数；

步骤S409b：根据所述第一纠偏参数，对所述第一表情信息进行调整。

具体而言，所述第二表情和第三表情为相邻表情，通过获得所述第一用户的第二表情消失的时间和所述第三表情出现的时间信息，从而确定所述第一用户的切换时间信息，即所述第一时间差信息，并判断所述第一时间差是否在所述第一预定时间阈值内，若所述第一时间差不在所述第一预定时间阈值内，则代表所述第一用户的表情切换较慢，则需要对所获得的第一表情信息进行调整。

进一步而言，本申请实施例步骤S500还包括：

步骤S501a：根据所述热成像系统获得所述第一用户的第一面部区域的第一温度信息；

步骤S502a：根据所述热成像系统获得所述第一用户的第一面部区域的第二温度信息；

步骤S503a：根据所述第二温度信息和所述第一温度信息，获得第一温度差信息；

步骤S504a：获得预定表情温度差阈值；

步骤S505a：判断所述第一温度差信息是否在所述预定表情温度差阈值之内；

步骤S506a：如果所述第一温度差信息在所述预定表情温度差阈值之内，确定所述第一表情信息为真实表情信息；

步骤S507a：如果所述第一温度差信息不在所述预定表情温度差阈值之内，确定所述第一表情信息为非真实表情信息。

具体而言，通过获取所述第一用户的第一面部区域的第一温度信息和第二温度信息，所述第一温度信息和第二温度信息为所述第一用户的第一面部区域在不同时间节点的不同温度信息，通过获得所述第一温度差信息，并判断所述第一温度差信息是否在所述预定表情温度差阈值之内，若不在，则代表所述第一用户不同面部区域的温度变化超过正常值，则该表情为非真实表情信息。

进一步而言，本申请实施例步骤S500还包括：

步骤S501b：根据所述热成像系统获得第一高温面部区域；

步骤S502b：根据所述热成像系统获得第二高温面部区域；

步骤S503b：根据所述第一高温面部区域和所述第二高温面部区域，获得高温转移轨迹信息；

步骤S504b：根据所述高温转移轨迹信息，调整所述第一面部神态信息。

具体而言，由所述人脸检测系统对所述第一用户的面部高温区域进行实时监测，从而获得所述高温区域的转移轨迹信息，并依据所述轨迹信息对所获得的面部神态信息进行调整。

进一步而言，本申请实施例步骤S400还包括：

步骤S401：获得第一用户的面部肌肉走向信息；

步骤S402：根据所述面部肌肉走向信息，获得第二纠偏参数；

步骤S403：根据所述第二纠偏参数，对所述第一表情信息进行调整。

具体而言，由所述人脸检测系统对所述图像采集系统获得所述第一用户的面部信息进行分析比对，从而获得所述第一用户的面部肌肉走向信息，从而依据所述第一用户的面部肌肉信息对所获得的面部神态信息进行调整，从而获得更为准确的所述第一表情信息。

进一步而言，本申请实施例S605还包括：

步骤S6051：获得所述第一预定区域的第一场景信息；

步骤S6052：判断所述第一场景信息之内是否存在第二人员信息；

步骤S6053：若存在，获得所述第二人员的表情信息；

步骤S6054：将所述第二人员的表情信息输入第三神经网络模型，获得第一评估结果信息；

步骤S6055：由所述第一评估结果信息判断所述第二人员是否存在异常；

步骤S6056：若所述第二人员存在异常，获得第一预警信息。

具体而言，由所述图像采集系统通过获得所述第一预定区域内的场景信息，并分析所述第一预定区域内除所述第一用户外是否存在第二人员信息，若存在，通过由所述神经网络模型输入第二人员的表情信息，并分析所述第二人员是否存在异常，如表情异常，有偷窃、恶意伤害等倾向，则获得所述第一预警信息，提醒所述第一用户注意。

综上所述，本申请实施例所提供的一种基于面部神态的人脸检测方法具有如下技术效果：

由于采用了通过捕捉用户不同的面部图像信息，对用户的面部表情进行分析比对，获得面部特征区别特征数据集，并通过将所述面部特征区别特征数据集输入神经网络模型的方式，基于神经网络模型能够不断获取经验来处理数据，从而对用户的表情进行准确的分析，并依据用户的表情和面部热成像信息准确判断用户面部神态。实现了基于准确分析用户面部神态来提高人脸检测准确性的技术目的。

基于与前述实施例中一种基于面部神态的人脸检测方法同样发明构思，本发明还提供了一种基于面部神态的人脸检测系统，如图2所示，所述系统包括：

第一获得单元11，所述第一获得单元11用于根据所述图像采集系统获得第一用户的第一面部图像信息，所述第一面部图像信息为所述第一用户无面部表情的图像信息；

第二获得单元12，所述第二获得单元12用于根据所述图像采集系统获得第一用户的第二面部图像信息；

第三获得单元13，所述第三获得单元13用于根据所述第二面部图像信息和所述第一面部图像信息，获得第一面部区别特征数据集；

第一输入单元14，所述第一输入单元14用于将所述第一面部区别特征数据集输入第一神经网络模型，获得第一表情信息；

第四获得单元15，所述第四获得单元15用于根据所述热成像系统获得所述第一用户的第一面部热成像信息；

第五获得单元16，所述第五获得单元16用于根据所述第一面部热成像信息和所述第一表情信息，确定第一用户的第一面部神态信息。

进一步的，所述系统还包括：

第二输入单元，所述第二输入单元用于将所述第一面部区别特征数据集作为输入数据，输入第一神经网络模型，其中，所述第一神经网络模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述第一面部区别特征数据集和用来标识面部表情的标识信息；

第六获得单元，所述第六获得单元用于获得所述第一神经网络模型的第一输出信息，所述第一输出信息包括所述第一用户的第一表情信息。

进一步的，所述系统还包括：

第七获得单元，所述第七获得单元用于根据所述第一面部热成像信息，对所述第一用户的面部进行分区，获得不同面部区域信息；

第八获得单元，所述第八获得单元用于获得所述第一用户不同面部区域对应的温度信息；

第三输入单元，所述第三输入单元用于将所述不同面部区域信息和所述不同面部区域对应的温度信息输入第二神经网络模型，其中，所述第二神经网络模型通过多组训练数据训练获得，所述多组中的训练数据中的每一组训练数据均包括：所述不同面部区域信息和所述不同面部区域对应的温度信息和用来标识面部神态的标识信息；

第九获得单元，所述第九获得单元用于获得所述第二神经网络模型的第二输出信息，所述第二输出信息包括所述第一用户的第二神态信息；

第十获得单元，所述第十获得单元用于根据所述第一表情信息和所述第二神态信息，确定所述第一用户的第一面部神态信息。

进一步的，所述系统还包括：

获得第一预定时间阈值；

第十一获得单元，所述第十一获得单元用于获得第二表情信息；

第十二获得单元，所述第十二获得单元用于获得第三表情信息，

第十三获得单元，所述第十三获得单元用于获得第一时间，所述第一时间为所述第二表情消失的时间；

第十四获得单元，所述第十四获得单元用于获得第二时间，所述第二时间为所述第三表情出现的时间，其中，所述第三表情为所述第二表情之后的相邻表情；

第十五获得单元，所述第十五获得单元用于根据所述第二时间和所述第一时间，获得第一时间差；

第一判断单元，所述第一判断单元用于判断所述第一时间差是否在所述第一预定时间阈值之内；

第十六获得单元，所述第十六获得单元用于如果所述第一时间差不在所述第一预定时间阈值之内，获得第一纠偏参数；

第一调整单元，所述第一调整单元用于根据所述第一纠偏参数，对所述第一表情信息进行调整。

进一步的，所述系统还包括：

第十七获得单元，所述第十七获得单元用于根据所述热成像系统获得所述第一用户的第一面部区域的第一温度信息；

第十八获得单元，所述第十八获得单元用于根据所述热成像系统获得所述第一用户的第一面部区域的第二温度信息；

第十九获得单元，所述第十九获得单元用于根据所述第二温度信息和所述第一温度信息，获得第一温度差信息；

第二十获得单元，所述第二十获得单元用于获得预定表情温度差阈值；

第二判断单元，所述第二判断单元用于判断所述第一温度差信息是否在所述预定表情温度差阈值之内；

第二十一获得单元，所述第二十一获得单元用于如果所述第一温度差信息在所述预定表情温度差阈值之内，确定所述第一表情信息为真实表情信息；

第二十二获得单元，所述第二十二获得单元用于如果所述第一温度差信息不在所述预定表情温度差阈值之内，确定所述第一表情信息为非真实表情信息。

进一步的，所述系统还包括：

第二十三获得单元，所述第二十三获得单元用于根据所述热成像系统获得第一高温面部区域；

第二十四获得单元，所述第二十四获得单元用于根据所述热成像系统获得第二高温面部区域；

第二十五获得单元，所述第二十五获得单元用于根据所述第一高温面部区域和所述第二高温面部区域，获得高温转移轨迹信息；

第二调整单元，所述第二调整单元用于根据所述高温转移轨迹信息，调整所述第一面部神态信息。

进一步的，所述系统还包括：

第二十六获得单元，所述第二十六获得单元用于获得第一用户的面部肌肉走向信息；

第二十七获得单元，所述第二十七获得单元用于根据所述面部肌肉走向信息，获得第二纠偏参数；

第三调整单元，所述第三调整单元用于根据所述第二纠偏参数，对所述第一表情信息进行调整。

前述图1实施例一中的一种基于面部神态的人脸检测方法的各种变化方式和具体实例同样适用于本实施例的一种基于面部神态的人脸检测系统，通过前述对一种基于面部神态的人脸检测方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种基于面部神态的人脸检测系统，所以为了说明书的简洁，在此不再详述。

下面参考图3来描述本申请实施例的电子设备。

图3图示了根据本申请实施例的电子设备的结构示意图。

基于与前述实施例中一种基于面部神态的人脸检测方法的发明构思，本发明还提供一种基于面部神态的人脸检测系统，其上存储有计算机程序，该程序被处理器执行时实现前文所述一种基于面部神态的人脸检测方法的任一方法的步骤。

其中，在图3中，总线架构(用总线300来代表)，总线300可以包括任意数量的互联的总线和桥，总线300将包括由处理器302代表的一个或多个处理器和存储器304代表的存储器的各种电路链接在一起。总线300还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口305在总线300和接收器301和发送器303之间提供接口。接收器301和发送器303可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。

处理器302负责管理总线300和通常的处理，而存储器304可以被用于存储处理器302在执行操作时所使用的数据。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。