基于图像情感内容的过滤和快门拍摄

摘要

一种计算机实现的(包括使用膝上型计算机、桌上型计算机、移动装置和可穿戴装置所实现的方法)用于图像过滤的方法。所述方法包括：分析每个图像以生成图像的内容向量；对内容向量应用兴趣运算符，从而获得图像的兴趣指数，所述兴趣运算符基于具有期望特征的多个图片；将图像的兴趣指数与兴趣阈值进行比较；以及基于比较步骤的结果采取一个或更多个动作或者不采取一个或更多个动作。还有相关系统和产品。

说明书

技术领域

本文献一般涉及用于基于图像的情感内容过滤和电子快门拍摄(shuttering)图像的设备、方法和产品。

背景技术

数字介质存储器已经变得廉价。加上图像捕获装置如数码相机和智能电话的广泛使用，廉价的介质存储器使得人们能够以非常低的成本容易累积数千张图片。这引起很多混乱，因为所存储的图像中的大部分常常是用户很少感兴趣或无兴趣的。存在以下需求：帮助创建大的图像集，例如，以过滤用户和/或其他人很可能几乎无兴趣的图像。

有点相关的问题是：从第一个地方正在进行的场景选择哪些图像来捕获。许多现代数码相机可以每秒捕获若干高分辨率图像。应当保存短时期内(如少于10秒)捕获的哪些图像？如果将它们都予以保存，则可能产生大量高冗余图像。因此，存在以下需求：帮助选择要快门拍摄的图像，即，选择使用电子快门或者甚至机械快门所捕获的图像，以及将图像保存在非暂态存储介质中。

发明内容

本文献中所描述的实施例涉及可以满足上述需求以及其他需求中的一个或更多个的方法、设备和产品。

在实施例中，一种计算机实现的(包括使用膝上型计算机、桌上型计算机、移动装置和可穿戴装置所实现的方法)用于图像过滤的方法，所述方法包括：分析每个图像以生成图像的内容向量；对内容向量应用兴趣运算符，从而获得图像的兴趣指数，兴趣运算符基于具有期望特征的多个图片；将图像的兴趣指数与兴趣阈值进行比较；以及基于比较步骤的结果采取一个或更多个动作或者不采取一个或更多个动作。

在实施例中，一种基于计算机的系统被配置成：分析多个图像中的每个图像以生成所述图像的内容向量；对内容向量应用兴趣运算符，以获得图像的兴趣指数，所述兴趣运算符基于具有期望特征的多个图片；将图像的兴趣指数与兴趣阈值进行比较，以获得图像的兴趣指数与兴趣阈值之间的比较结果；以及基于该结果采取一个或更多个动作或者不采取一个或更多个动作。

在实施例中，兴趣运算符主要基于多个图像中的一个或更多个脸的一个或更多个表情的内容，期望特征与所述表情中的情感内容或感情有关。在实施例中，多个图像由对事件的观众进行观察的相机捕获。

在实施例中，兴趣运算符主要基于多个图像中的一个或更多个人类外表特征、动作单元和/或低级特征的内容。

在实施例中，非暂态机器可读存储器嵌入有用于图像过滤的计算机实现的方法的计算机代码。该方法包括：分析每个图像以生成图像的内容向量；对内容向量应用兴趣运算符，从而获得图像的兴趣指数，所述兴趣运算符基于具有期望特征的多个图片；将图像的兴趣指数与兴趣阈值进行比较；以及基于比较步骤的结果采取一个或更多个动作。

参照下面的描述、附图和所附权利要求将更好地理解本发明的这些和其他特征及方面。

附图说明

图1是根据所选择的本描述的方面配置的基于计算机的系统的简化框图表示；

图2示出了所选择的用于过滤图片的处理的步骤/块；以及

图3示出了所选择的用于快门拍摄图像的处理的步骤/块。

具体实施方式

在本文献中，词“实施例”、“变型”、“示例”和类似表达指代特定设备、处理或产品，并且不一定指代相同的设备、处理或产品。因此，一个地方或上下文中使用“一种实施例”(或者类似表达)可以指代特定设备、处理或产品，不同地方或上下文中相同或类似表达可以指代不同的设备、处理或产品。表达“替选实施例”以及类似表达和短语可以用于表示许多不同的可能的实施例之一。可能的实施例/变型/示例的数量不一定限于两个或任意其他数量。作为“示例性”的项目的特性意味着该项目用作示例。实施例/变型/示例的这样的特性不一定意味着实施例/变型/示例是优选实施例/变型/示例，实施例/变型/示例可以是但无需是当前优选实施例/变型/示例。所有实施例/变型/示例都是出于说明目的描述的，并且不一定严格地进行限制。

词“耦接”、“连接”以及具有他们的曲折语素(inflectional morpheme)的类似表达不一定含直接(immediate)连接或直接(direct)连接的意思，而是在它们的含义内包括通过中间元件连接。

无论图像/照片/图片的来源如何，关于“图像”、“照片”、“相片”、“图片”以及类似词/表达的引用都可以交换使用。

在本文献中所使用的“面部表情”表示情感(如生气、蔑视、厌恶、恐惧、高兴、悲伤、惊奇、中立)的主要面部表情；感兴趣的情感状态(如厌烦、感兴趣、参与)的表情；所谓的“面部动作单元”(面部肌肉的子集的运动，包括各个肌肉的运动，如面部动作编码系统中使用的动作单元)；以及手势/姿势(如摆头、升降眉毛、眨眼、皱鼻子、用手托着下巴)。

在下述许多共有专利申请中描述了自动面部表情识别和相关的主题，所述专利申请包括：(1)由Javier R.Movellan等人于大约2013年2月8日提交的序列号为61/762,820的代理人档案号引用为MPT-1010-PV的题为“SYSTEM FOR COLLECTING MACHINE LEARNINGTRAINING DATA FOR FACIAL EXPRESSION RECOGNITION”的申请；(2)由Javier R.Movellan等人于大约2013年2月11日提交的序列号为61/763,431的代理人档案号引用为MPT-1012-PV的题为“ACTIVE DATA ACQUISITION FOR DEVELOPMENT AND CONTINUOUS IMPROVEMENTOF MACHINE PERCEPTION SYSTEMS”的申请；(3)由Javier R.Movellan等人于大约2013年2月12日提交的序列号为61/763,657的代理人档案号引用为MPT-1013-PV的题为“EVALUATION OF RESPONSES TO SENSORY STIMULI USING FACIAL EXPRESSIONRECOGNITION”的申请；(4)由Javier R.Movellan等人于大约2013年2月12日提交的序列号为61/763,694的代理人档案号引用为MPT-1014-PV的题为“AUTOMATIC FACIAL EXPRESSIONMEASUREMENT AND MACHINE LEARNING FOR ASSESSMENT OF MENTAL ILLNESS ANDEVALUATION OF TREATMENT”的申请；(5)由Javier R.Movellan等人于大约2013年2月13日提交的序列号为61/764,442的代理人档案号引用为MPT-1016-PV的题为“ESTIMATION OFAFFECTIVE VALENCE AND AROUSAL WITH AUTOMATIC FACIAL EXPRESSION MEASUREMENT”的申请；(6)由Javier R.Movellan等人于大约2013年2月15日提交的序列号为61/765,570的代理人档案号引用为MPT-1017-PV的题为“FACIAL EXPRESSION TRAINING USING FEEDBACKFROM AUTOMATIC FACIAL EXPRESSION RECOGNITION”的申请；(7)由Javier R.Movellan等人于大约2013年2月15日提交的序列号为61/765,671的代理人档案号引用为MPT-1015-PV的题为“QUALITY CONTROL FOR LABELING MACHINE LEARNING TRAINING EXAMPLES”的申请；(8)由Javier R.Movellan等人于大约2013年2月20日提交的序列号为61/766,866的代理人档案号引用为MPT-1018-PV2的题为“AUTOMATIC ANALYSIS OF NON-VERBAL RAPPORT”的申请；以及(9)由Javier R.Movellan等人于大约2013年6月5日提交的序列号为61/831,610的代理人档案号引用为MPT-1022的题为“SPATIAL ORGANIZATION OF IMAGES BASED ONEMOTION FACE CLOUDS”的申请。这些临时申请中的每一个通过引用以其全部内容被包括在本文中，包括权利要求、表格、计算机代码以及专利申请中的所有其他内容。

“人类外表特征”包括面部表情和附加外表特征，如种族、性别、吸引力、表观年龄以及风格特征(服装、鞋子、发型)。

“低级特征”就下述意义而言是低级的：他们不是描述面部信息如眼睛、下巴、脸颊、眉毛、额头、头发、鼻子、耳朵、性别、年龄、种族等的日常生活用语中使用的属性。低级特征的示例包括Gabor方向能量、Gabor尺度能量、Gabor相位以及Haar小波变换输出。

贯穿本文献可以发现其他和另外的明确限定和隐含限定以及对限定的说明。

将详细参考附图中所示的几个实施例。在附图和说明书中使用相同的附图标记和描述来指代相同的设备元件和方法步骤。附图以简化的形式，并未按比例，并且省略了可以被添加至所描述的系统及方法的设备元件和方法步骤，同时可能包括某些可选元件和步骤。

图1是基于计算机的系统100的简化框图表示，所述基于计算机的系统100根据所选择的本描述的方面被配置成：基于图片中的面部的情感内容和/或其他人类外表特征和/或低级特征来过滤图片。图1并未示出系统100的许多硬件和软件模块，并且可能省略了物理连接和逻辑连接。系统100可以被实现为专用数据处理器、专用计算机、计算机系统、或者一组联网的计算机或者被配置成执行本文献中描述的方法的步骤的计算机系统。在一些实施例中，系统100被建立在个人计算机平台如Wintel个人计算机、Linux计算机或Mac计算机上。个人计算机可以是桌上型计算机或笔记本计算机。系统100可以用作服务器计算机。在一些实施例中。系统100被实现为通过网络互连的多个计算机。在实施例中，系统100被实现为图像捕获装置如相机或智能电话的一部分。

如图1所示，系统100包括处理器110、只读存储器(ROM)模块120、随机存取存储器(RAM)模块130、网络接口140、大容量存储装置150和数据库160。这些部件通过总线115耦接在一起。在所示实施例中，处理器110可以是微处理器，大容量存储装置150可以是磁盘驱动器。大容量存储装置150以及存储器模块120和130中的每一个被连接至处理器110，以使得处理器110能够将数据写到这些存储器和存储器装置中并且从这些存储器和存储器装置读取数据。网络接口140将处理器110耦接至网络，例如因特网。

数据库160可以用于存储和组织图像的一个或更多个集合，包括被过滤的图像。数据库160可以是与处理器110耦接的物理上分开的系统。在替选实施例中，处理器110和大容量存储装置150可以被配置成执行数据库160的功能。

处理器110可以读取并执行存储在ROM模块120、RAM模块130和/或存储装置150中的程序代码指令。在程序代码的控制下，处理器110可以将系统100配置成执行本文献中描述或提到的方法的步骤。除了ROM模块120/RAM模块130和存储装置150以外，还可以将程序代码指令存储在其他机器可读非暂态存储介质如附加硬盘驱动器、软盘、CD-ROM、DVD、闪速存储器以及类似装置中。还可以通过传输介质——例如，在电线或电缆上、通过光纤、无线地、或者通过物理传输的任何其他形式——传输程序代码。传输可以在远程通信装置之间的专用链路上发生，或者通过广域网或局域网如因特网、内联网、外联网或者任何其他种类的公共网络或私有网络发生。此外，可以通过网络接口140或另外的网络接口将程序代码下载至系统100中。

还可以在联网环境中执行本文献中描述的方法，其中，图片被存储在一个装置(或者一组装置)上，并且由第二装置(或第二组装置)进行分析/过滤，通过一个或更多个网络将第一装置或集合连接至第二装置或集合。因此，可以在独立用户装置——个人计算机、智能电话、平板、数码相机或者任何其他计算装置——或者通过网络——上执行所述方法。

图2示出了用于对存储在系统100的存储器或存储器装置中之一——例如，数据库160——中的图片的集合进行过滤的处理200的选择步骤。在处理200中，要被过滤的图片的集合包括包含一个或数个人脸的许多图像，可以至少部分基于面部中的情感内容来进行过滤。

在流程点201处，系统100被加电并且被配置成执行处理200的步骤。

在步骤205中，系统100针对图片中的每一个中的情感内容和/或其他内容如人类外表特征、动作单元、低级特征来分析集合中的图片。例如，可以通过面部表情和/或低级特征的分类器的集合对图片中的每一个进行分析。分类器中的每一个可以被配置且被训练成：根据由图片中的脸(或者数个脸，视情况而定)所表现的特定情感的出现或不出现、动作单元、和/或低级特征来产生信号输出(不论连续还是离散)。分类器中的每一个可以被配置且被训练成用于不同的情感，包括例如七种主要情感(愤怒、轻蔑、厌恶、恐惧、高兴、悲伤、惊奇)和中立表情以及感兴趣的情感状态(如厌烦、感兴趣、参与)的表情。附加分类器可以被配置且被训练成产生与上面描述的其他人类外表特征对应的信号输出，例如，附加分类器可以被配置成用于根据提供对所有(或许多)可区别的人脸表情的综合描述的面部动作编码系统(FACS)来检测动作单元(Action Units)的配置。我们已经描述了上面列出的专利申请中的这样的分类器的某些方面，其通过引用被合并到本文中。

因此获得每个图片的分类器的值(在向量中其被内在地排序)的向量。

在步骤210中，系统获得具有期望的情感内容和/或其他期望的人类外表特征的图片的列表。在实施例中，系统100使得用户能够选择/指出具有期望的情感内容和/或其他期望的人类外表特征的图片。在实施例中，系统从一些本地存储器(例如，数据库160、大容量存储装置150、存储器模块120/130)或者从远程源(例如，通过网络接口140)读取使用期望特征标识各个图片的列表或信息。

在实施例中，基于用户的选择来确定具有期望特征的图片以保存图像而不是删除图像。在相机中，例如，用户可以在捕获每个图片之后立即检查图片，然后进行选择以保存或删除每个图像。所保存的图片可以被视为具有期望特征的图片。

具有期望特征的图片可以由用户、其他人、两个或更多个人(可能包括用户)来选择，或者可以通过对一组图像的感兴趣的值进行评价的一般人群或者一般人群中的一些部分的一些样本被预先选择。具有期望特征的图片可以是要被过滤的图片或者不要被过滤的图片的集合的一部分。在后一种情况下，可以以与步骤205的分析相同或相似的方式对具有期望特征的图片进行分析，以获得用于对具有期望特征的图片进行分析的分类器的有序值的向量。

在协作过滤实施例中，具有期望特征的图片可以基于图片偏好、背景、人口统计、和/或其他用户特征中具有相似性的多个人所表达的偏好。例如，为每个人保持这个人喜欢的图像的数据集(或者从这样的数据集获得的信息，例如，数据集中的图片的向量)。该数据集用于估计对新图像的兴趣。如果这些人之一与另一个人相似，则可以将第一个人感兴趣的图片假定成与第二个人感兴趣的图片相似，反之亦然。基于他们的人口统计和所表达的偏好，人可以是“相似”的。当对于特定人而言，仅小数量的具有偏好特征的图像如少于5个或10个可用时，该方法尤其有用；可以使用具有与这个人相似的一个或更多个其他人的期望特征的图像来补充这个人的具有期望特征的图像的集合。

当用户的选择不可用时，兴趣运算符可以默认信息理论原则。具体地，对于每个图像，可以获得表示该图像中的面部表情的向量。对于每个向量v，可以计算其二进制数字信息值，例如，向量的概率的以2为底的对数的负数：I(v)＝-log2(p(v))。在实施例中，可以参考自然出现的面部表情的大数据库来估计概率。在实施例中，可以关于在分析的图像的特定集合来计算概率。使用多维高斯模型、一般的法则如独立分量分析、高斯混合和/或稀疏编码模型可以获得概率估计。

在步骤215中，系统100基于具有期望内容的图片来确定“兴趣运算符”。(变型地，兴趣运算符被预定，所以实际上可以不需要步骤215)。下面将对此进行更详细的描述。

在步骤220中，系统100对集合中的图片应用“兴趣运算符”以计算图片的兴趣指数。下面也将对此进行更详细的描述。

在决定框225中，系统100决定是否应当计算集合中的另一个图片的兴趣指数。例如，可能需要对另一个图片进行处理，而且计算所述另一个图片的兴趣指数直到已经对集合中预定数量的图片或所有图片进行了处理并且所述集合中预定数量的图片或所有图片的兴趣指数已经被计算为止。如果要计算另一个图片的兴趣指数，则处理流程进行至步骤227以选择另一个图片，然后返回至步骤220。

否则，处理流程进行至决定块230，在决定块230中，系统100将来自集合的图片的兴趣指数与兴趣阈值进行比较。兴趣阈值可以被预定，例如，由系统100的供应商预置，或者兴趣阈值可以由用户来选择(如通过滑动控件)，或者以另外的方式来设置。如果图片的兴趣指数超过(变型地，等于或超过)阈值，则视为对图片感兴趣并且处理流程前进至步骤235。

在步骤235中，系统100(1)采取一个或更多个与图片有关的第一预定动作，和/或(2)不采取一个或更多个与图片有关的第二预定动作。例如，图片的元数据可以被改变成表示：对图片感兴趣，图片可以被存储或移动至特定文件或目录，图片可以被显示，或者图片简单的不被擦除。

如果图片的兴趣指数不超过(变型地，下降到低于)阈值，则系统100进行至步骤240以(3)采取一个或更多个与图片有关的第三预定动作，和/或(4)不采取一个或更多个与图片有关的第四预定动作。例如，图片的元数据可以被改变成表示：对图片不感兴趣，图片可以被存储或移动至特定文件或目录，图片不被显示，或者图片可以被擦除。

视情况而定，系统100从步骤235或步骤240进行至决定块250，以决定是否应当在步骤/块230/235/240中对另一个图片进行处理。如果应当在步骤/块230/235/240中对另一个图片进行处理，则处理流程进行至步骤255以选择另一个图片，然后返回至决定块230的输入。如果不应当在步骤/块230/235/240中对另一个图片进行处理，则处理200在流程点299处终止，以当需要时被重复。

先前提到的兴趣运算符可以是用于应用于给定图片(例如，来自集合的图片)的向量以确定其与具有期望特征的图片的一个或更多个共性的关系的处理和/或参数。在一个示例中，具有期望特征的图片的向量的预定百分比(例如，>30％、>40％、>50％、>60％、>70％、>80％)使得他们的终点下降到步骤215中计算的一些点(“偏好点”)的预定欧氏距离内，可以选择偏好点以使该点的预定欧式距离内的具有期望特征的图片的向量的数量最大化，或者作为具有期望特征的图片的向量的平均的终点，或者以其他方式。然后，兴趣运算符可以是给定图片的向量与偏好点之间的距离的倒数，并且在决定框230中与兴趣阈值进行比较。

在另一个示例中，兴趣指数可以是给定图片的向量与偏好点中结束的向量的点积。然后，将点积与决定块230中的兴趣阈值进行比较。

在另一个示例中，偏好运算符包括：如果具有期望特征的图片的平均向量大小较大，则计算给定图片的向量的大小。换言之，如果具有期望特征的图片呈现强的情感内容，则兴趣运算符是给定图片的向量的大小，针对步骤235选自集合的图片是具有兴趣阈值以上的情感内容的图片。例如，兴趣阈值可以是预定值、或者具有期望特征的图片的向量的平均的大小的预定百分比。

在又一个示例中，兴趣运算符包括给定图片的向量的方向与具有期望特征的图片的向量的平均的方向之间的比较。

在其他相关示例中，平均表情向量、协方差矩阵、每个情感通道(分类器)中的最大值、图片中脸的数量、和/或表情通道/分类器的输出之和可以被用作兴趣运算符的整体或一部分。

可以应用几个运算符(如上面描述的那些)并且可以对它们的结果进行平均或者以其他方式对这几个运算符进行组合以获得给定图像的兴趣指数。

图3示出了用于快门拍摄图像传感器上的图像的处理300的所选择的步骤。可以将与系统100相似或相同的系统用于执行该处理；在特定的示例中，处理300由相机来执行，相机可以是专用成像装置或者另外的系统如智能电话或移动装置的一部分。

在流程点301处，系统被加电并且被配置成执行处理300的步骤。

在步骤305中，系统对传感器上的图像进行分析，此处理可以以与上面描述的处理200的步骤205中的分析相同或相似的方式进行。因此，获得传感器图像的分类器的有序值的向量。

在步骤320中，系统对图像应用兴趣运算符以计算图像的兴趣指数。步骤320可以与上面描述的处理200的步骤220相同或相似。

在决定块330中，以与处理200的决定块230的操作相同或相似的方式将图像的兴趣指数与兴趣阈值进行比较。如果图像的兴趣指数超过(变型地，等于或超过)兴趣阈值，则视为对图像感兴趣，因此，在步骤335中，图像被存储在非暂态存储器存储装置中；作为步骤335的一部分，还可以执行其他动作，而且系统还可以不执行其他动作。另外，在步骤340中，图像被丢弃并且可能执行其他动作。

然后，处理流程在流程点399处终止，以当需要时被重复。

接下来，在该文献中描述系统和处理特征的可能的应用的示例。但是系统和处理特征不限于这些示例。

在第一示例中，静态或视频相机可以拍摄观看体育赛事、音乐会或其他事件的观众。许多人的图像可以由相机立即捕获。可以分开过滤每个人或一小群人的图像(例如，好像每个人或组的各个图像被捕获)，例如以选择具有特定类型的面部表情或其他图像特征的人或一小群人的图像。

在第二示例中，数码相机可以捕获组的图片。用户可以压低相机快门按钮，触发相机以捕获数十个或数百个图像。然后，针对包括特定类型的面部表情或其他图像特征的图像，相机可以对图像进行过滤。

在第三示例中，相机的集合可以对零售环境或者一些其他公共场所中的人进行跟踪。相机的集合可以共同生成太多视频以供一个或更多个人方便的检查。如在本文献中描述的过滤可以用于下述操作：根据情感内容(例如，生气的顾客、高兴的顾客等)选择感兴趣的图像或视频片段，并且将所述感兴趣的图像或视频片段发送至分析者，同时擦除图像或视频的剩余部分。

除了内在要求、明确指出或以其他方式根据上下文清楚得出的特定特征/要素/限制的出现或不出现以外，可以分别呈现或者以任意组合或排列呈现贯穿本文献所描述的系统和处理特征。

尽管在本文献中顺序地描述了处理步骤和决定(如果存在决定块)，但是也可以通过结合地或并联的分开的元件、异步地或同步地、以流水线的方式或者以其他方式来执行某些步骤和/或决定。不存在下述特定要求：除了内在要求、明显指出或以其他方式根据上下文清楚得出的特定顺序以外，以与该描述列出的步骤和决定或者附图示出的步骤和决定相同的顺序来执行所述步骤和决定。此外，尽管根据概念尚未明确示出的一些步骤和决定块在一些实施例中可能是期望的或必需的，但是根据本文献中描述的概念可以不要求每个所示的步骤和决定块出现在每个实施例中。然而，应当理解，特定实施例/变型/示例使用特定顺序，以该特定顺序来展示和/或描述步骤和决定(如果可适用)。

可以直接以硬件、软件、固件或其组合来实现与本文献中公开的实施例、变型和示例的方法步骤对应的指令(机器可执行代码)。可以将软件模块存储在易失性存储器、闪速存储器、只读存储器(ROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、硬盘、CD-ROM、DVD-ROM或者本领域已知的其他形式的非暂态存储介质(不论易失性还是非易失性)中。示例性存储介质或介质可以被耦接至一个或更多个处理器，使得所述一个或更多个处理器可以从存储介质或介质读取信息并且将信息写到存储介质或介质。可替换地，存储介质或介质可集成进一个或更多个处理器。

本文献详细描述了用于估计交互的品质并且提供建议以改进未来的交互的本发明的设备、方法和产品。仅出于说明目的进行了这些描述。特定实施例或其特征不一定对本文献的公开内容的一般原理进行限制。在不偏离如本文中所阐述的本发明的精神和范围的情况下，本文中描述的特定特征可以用在一些实施例中，但是不可以用在其他实施例中。部件的各种物理布置以及各种步骤顺序也落在公开内容的意在范围内。在上述公开内容中许多附加修改是预期的，并且相关领域的技术人员应当理解，在一些实例中，在缺乏其他特征的相应用途的情况下，将采用一些特征。因此，示例性示例不一定限定本发明的边界和范围以及本发明所给予的法律保护。