首页> 中国专利> 化身面部表情生成系统及化身面部表情生成方法

化身面部表情生成系统及化身面部表情生成方法

摘要

本发明提供一种化身面部表情生成系统及化身面部表情生成方法。在所述方法中,获取与用户的感测结果相关的用户数据。确定第一情绪配置及第二情绪配置。第一情绪配置及第二情绪配置分别在第一时间期间及第二时间期间得到维持。基于第一情绪配置及第二情绪配置确定过渡情绪配置,其中过渡情绪配置在第三时间期间得到维持。分别基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情。第三时间期间存在于第一时间期间与第二时间期间之间。因此,当遇到情绪变换时,化身上将呈现正常面部表情。

著录项

  • 公开/公告号CN112684881A

    专利类型发明专利

  • 公开/公告日2021-04-20

    原文格式PDF

  • 申请/专利权人 未来市股份有限公司;

    申请/专利号CN201911293371.2

  • 发明设计人 洪伟哲;龚铭洋;林鼎杰;朱峰森;

    申请日2019-12-12

  • 分类号G06F3/01(20060101);

  • 代理机构11205 北京同立钧成知识产权代理有限公司;

  • 代理人罗英;刘芳

  • 地址 中国台湾桃园市桃园区中正路1351号18楼

  • 入库时间 2023-06-19 10:41:48

说明书

技术领域

本发明大体涉及一种生成面部表情的方法,具体来说涉及一种化身面部表情生成系统及化身面部表情生成方法。

背景技术

当今,例如虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)、混合现实(mixed reality,MR)及扩展现实(extended reality,XR)等用于模拟感觉、感知和/或环境的技术受到欢迎。上述技术可应用于多种领域中,例如游戏、军事训练、医疗保健、远程工作等。

为让用户将模拟环境感知为真实环境,将跟踪真实世界中的身体部分的运动或面部表情,从而可响应于用户的运动或面部表情来改变VR、AR、MR或XR显示器上显示的化身的图像及运动或面部表情。

就面部表情模拟来说,在传统方式中,设置照相机以用头戴式显示器(head-mounted display,HMD)捕获用户的面部,并将根据所捕获的图像中的面部特征来生成模拟面部表情。然而,面部的一部分被HMD覆盖,从而难以识别面部特征及面部表情。

另外,人类有多种面部表情,且带有不同情绪的两种面部表情之间可能有显著差异。在传统方式中,化身的面部表情可响应于情绪的变化而被迫从一种情绪切换到另一种情绪。最终,在化身上可能出现异常面部表情。因此,对化身的面部表情模拟仍有许多技术问题应得到改进。

发明内容

强制在化身的面部表情上切换两种情绪可能会造成异常面部表情。因此,本发明涉及一种化身面部表情生成系统及化身面部表情生成方法。

在示例性实施例中的一者中,一种面部模型的化身面部表情生成方法包括但不限于以下步骤。获取用户数据,其中用户数据与用户的感测结果相关。基于用户数据确定第一情绪配置及第二情绪配置。第一情绪配置维持在第一时间期间,且第二情绪配置维持在不同于第一时间期间的第二时间期间。基于第一情绪配置及第二情绪配置确定过渡情绪配置。过渡情绪配置维持在不同于第一时间期间的第三时间期间。分别基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情。第三时间期间存在于第一时间期间与第二时间期间之间。

在示例性实施例中的一者中,一种面部表情生成系统包括但不限于输入设备、存储器及处理器。输入设备用于获取用户数据,其中用户数据与用户的感测结果相关。存储器用于存储程序码。处理器耦接存储器并加载程序码以执行以下步骤。处理器基于用户数据确定第一情绪配置及第二情绪配置,基于第一情绪配置及第二情绪配置确定过渡情绪配置,并且分别基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情。第一情绪配置维持在第一时间期间,且第二情绪配置维持在不同于第一时间期间的第二时间期间。过渡情绪配置维持在不同于第一时间期间的第三时间期间。第三时间期间存在于第一时间期间与第二时间期间之间。

基于上述,根据本发明实施例的面部表情生成系统及面部表情生成方法,反应于两情绪的改变,将在面部表情上应用第二情绪配置之前提供过度情绪配置。藉此,不会直接地切换不同情绪配置的面部表情,且可呈现正常的面部表情。

然而,应理解,此发明内容可不含有本发明的方面及实施例中的所有方面及实施例,不意在以任何方式进行限制或约束,且应理解,如本文中所公开的本发明是且将被所属领域中的普通技术人员理解为囊括对本发明的明显改进及润饰。

附图说明

包括附图是为了提供对本发明的进一步的理解,且并入本说明书中并构成本说明书的一部分。附图示出本发明的实施例并与说明一起用于解释本发明的原理。

图1是示出根据本发明示例性实施例中的一者的化身面部表情生成系统的方块图;

图2是示出根据本发明示例性实施例中的一者的化身面部表情生成方法的流程图;

图3是示出根据本发明示例性实施例中的一者的多种情绪配置的时序图;

图4是示出根据本发明示例性实施例中的一者的两种情绪的变化的示意图;

图5是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的表;

图6是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的另一个表。

附图标号说明:

100:化身面部表情生成系统

111:图像传感器

112:音频接收设备

113:运动传感器

130:存储器

150:处理器

EC1:第一情绪配置

EC2:第二情绪配置

EC3:过渡情绪配置

S210、S230、S250、S270:步骤

T1、T2:表

t1:第一时间期间

t2:第二时间期间

t3:第三时间期间

tp1、tp2、tp3:时间周期

具体实施方式

现将详细参照本发明的当前优选实施例,在附图中示出所述优选实施例的实例。尽可能地,在附图及说明中使用相同的元件符号指代相同或相似的部件。

图1是示出根据本发明示例性实施例中的一者的化身面部表情生成系统100的方块图。参照图1,化身面部表情生成系统100包括但不限于输入设备110、存储器130及处理器150。化身面部表情生成系统100适以用于VR、AR、MR、XR或其他现实相关技术。

输入设备110用于获取用户数据。用户数据与用户的感测结果相关。感测结果可与用户的语音、运动和/或面部表情相关。

在一个实施例中,输入设备110包括图像传感器111。图像传感器111可为照相机,例如单色照相机或彩色照相机、深度照相机、录像机或其他能够捕获图像的传感器。

在一些实施例中,图像传感器111可用于朝向用户的一个或多个人体部分进行捕获,以生成包括用户的人体部分的图像。例如,人体部分可包括用户的脸部、手部、头部、脚踝、腿部或腰部。

在一些实施例中,图像传感器111可用于朝向用户的面部进行捕获,以生成面部图像,所述面部图像包括用户的一只或两只眼睛、一只或两只耳朵、鼻子、嘴巴、面部形状、头发形状、眉毛、胡须或其组合。

在一个实施例中,输入设备110包括音频接收设备112。音频接收设备112可包括但不限于麦克风、模数转换器、滤波器及音频处理器。音频接收设备112的麦克风可接收声波(例如,由人类语音、环境声音等产生的声波)并将其转换成声音数据。在一些实施例中,音频接收设备112用于接收用户的语音并生成语音数据。在一些实施例中,化身面部表情生成系统100可不具有音频接收设备112。

在一个实施例中,输入设备110包括运动传感器113。运动传感器113可为加速度计、陀螺仪、磁强计、激光传感器、惯性测量单元(inertial measurement unit,IMU)、红外线(infrared ray,IR)传感器或前述传感器的任何组合。在本发明的实施例中,运动传感器113用于感测用户的一个或多个人体部分的运动,以在若干时间点处根据运动传感器113的感测结果生成一系列运动感测数据(例如,所感测到的强度值等)。举一个实例,运动感测数据包括3自由度(3-degree of freedom,3-DoF)数据,且3-DoF数据与人体部分在三维(three-dimensional,3D)空间中的旋转数据(例如横摆(yaw)、翻滚(roll)及俯仰(pitch)中的加速度)相关。举另一个实例,运动感测数据包括人体部分在二维(two-dimensional,2D)/3D空间中的相对位置和/或位移。

存储器130可为任何类型的固定的或可移动的随机存取存储器(Random-AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、闪速存储器、相似装置或者以上装置的组合。存储器130记录程序码、装置配置、缓冲数据或永久数据(例如图像数据、语音数据、运动感测数据、情绪配置、过渡情绪配置、加权关系、线性关系、情绪类别等),且稍后将介绍这些数据。

处理器150耦接输入设备110及存储器130,且处理器150被配置成加载存储在存储器130中的程序码,以执行本发明示例性实施例的过程。

在一些实施例中,处理器150的功能可使用例如中央处理单元(centralprocessing unit,CPU)、微处理器、微控制器、数字信号处理(digital signalprocessing,DSP)芯片、现场可编程门阵列(field programmable gate array,FPGA)等可编程单元来实施。处理器150的功能也可通过独立的电子装置或集成电路(integratedcircuit,IC)来实施,且处理器150的操作也可通过软件来实施。

应注意,处理器150可不与输入设备110设置在同一设备处。然而,分别配备有输入设备110及处理器150的设备可进一步包括具有兼容通信技术的通信收发器(例如蓝牙、无线保真(wireless fidelity,Wi-Fi)、红外线(IR)或物理传输线),以彼此传输或接收数据。例如,音频接收设备112及处理器150可设置在头戴式显示器(HMD)中,而图像传感器111则设置在HMD之外。举另一个实例,处理器150可设置在服务器中,而图像传感器111及音频接收设备112则设置在服务器之外。

为更好地理解本发明的一个或多个实施例中所提供的操作过程,以下将举例说明若干实施例,以详细说明化身面部表情生成系统100的操作过程。在以下实施例中应用化身面部表情生成系统100中的装置及模块来解释本文中所提供的化身面部表情生成方法。所述方法的每一步骤可根据实际的实施情况进行调整,且不应限于本文中所述者。

图2是示出根据本发明示例性实施例中的一者的化身面部表情生成方法的流程图。参照图2,处理器150通过输入设备110获取用户数据(步骤S210)。用户数据可为分别从音频接收设备112、运动传感器113及图像传感器111获取的语音数据、运动感测数据或图像数据。作为另外一种选择,用户数据可为语音数据、运动感测数据及图像数据的组合。

处理器150可基于用户数据确定第一情绪配置及第二情绪配置(步骤S230)。具体来说,人类有多种情绪。不同的情绪可对应于不同的面部表情。每一种情绪配置用于生成或修改化身上的面部表情的特征,且每一种情绪配置对应于特定的几何参数和/或纹理参数。

在一个实施例中,化身面部表情生成系统100提供多种情绪类别(例如快乐、悲伤、恐惧、厌恶、愤怒、惊讶、兴奋等),且每一种情绪类别包括一个或多个等级。一种情绪类别的不同等级代表对应情绪的不同强度。例如,快乐情绪包括3个等级,其中第一等级代表快乐情绪的最小强度,且第三等级代表快乐情绪的最大强度。另外,每一种情绪配置对应于一种或多种情绪类别的一个或多个等级。例如,第一情绪配置的40%是快乐情绪的第二等级且60%是悲伤情绪的第一等级。然而,在一些实施例中,一种情绪类别可仅包括一个等级,且每一种情绪配置对应于一种或多种情绪类别。例如,第二情绪配置的50%是快乐情绪且50%是悲伤情绪。

在一个实施例中,处理器150可判断输入设备110的输入事件是否满足预定义触发条件中的任一者。预定义触发条件中的每一者可对应于化身的情绪配置。当输入事件满足预定义触发条件中的一者时,化身的情绪配置可能必须响应于输入事件而更新。输入事件可为遇到特定场景、检测到用户的特定运动、接收到特定输入数据(例如语音数据、图像数据、运动感测数据、文本数据、用户的输入操作等)等。例如,音频接收设备112对语音数据的接收可为输入事件。举另一个实例,由运动传感器113检测运动感测数据可为另一个输入事件。

视不同的设计要求而定,存在许多触发条件。触发条件是确定用户的一种或多种特定情绪的条件。处理器150可分析用户的意图以确定其情绪。在一个实施例中,触发条件是由音频接收设备112生成的包括关键词或关键短语的语音数据。处理器150可识别语音数据中的词,并对所识别词执行语义分析。在语义分析期间,处理器150可判断语音数据中的所识别词是否与特定关键词或特定关键短语相匹配,以判断在语音数据中是否检测到特定关键词或特定关键短语。处理器150可预定义多个关键词和/或关键短语,且每一个预定义关键词或预定义关键短语对应于特定情绪配置(即,特定情绪或一种情绪的特定等级)。例如,语音数据与句子“我很快乐”相关,且关键词“很快乐”对应于快乐情绪的第五等级。如果所识别词与一个预定义关键词或一个预定义关键短语相匹配(即,检测到预定义关键词或短语),则处理器150确定满足触发条件,且处理器150确定对应的情绪配置。否则,处理器150确定不满足触发条件。

在一些实施例中,处理器150可使用机器学习技术(例如人工神经网络、决策树、支持向量机(support vector machines,SVM)等)用于语义分析,且处理器150可使用通过机器学习技术训练的情绪分类器来确定哪一种情绪或情绪等级对应于语音数据。

在另一个实施例中,触发条件可为检测到用户的特定运动或面部表情。处理器150可分析由图像传感器111获取的图像数据和/或由运动传感器113获取的运动感测数据。此外,处理器150可判断是否检测到图像中的预定义运动或预定义面部表情。例如,如果处理器150在由图像传感器111获取的图像数据中检测到嘴角抬起,则处理器150可认为检测到快乐情绪。举另一个实例,如果处理器150在由运动传感器113获取的运动感测数据中检测到用户举起他的双手,则处理器150可认为检测到快乐情绪。

应注意,在一些传统方式中,响应于检测到情绪的变化,后续情绪的对应面部表情可能直接呈现在化身上。然而,两种情绪的面部特征的几何参数及纹理参数之间可能有很大差异。当强迫一种情绪切换为另一种情绪时,可能会呈现异常面部表情。此外,在其他传统方式中,化身的面部表情是在不考虑用户情绪的情况下决定。

在本发明的实施例中,如果检测到情绪变换(即,满足第二情绪配置的触发条件),则处理器150可基于第一情绪配置及第二情绪配置确定过渡情绪配置(步骤S250)。此意味着,将在两种情绪配置之间插入过渡。图3是示出根据本发明示例性实施例中的一者的多种情绪配置的时序图。参照图3,在一个实施例中,第一情绪配置EC1维持在第一时间期间t1期间,且第二情绪配置EC2维持在不同于第一时间期间t1的第二时间期间t2期间。另外,过渡情绪配置EC3维持在不同于第一时间期间t1的第三时间期间t3期间,且存在于第一时间期间t1与第二时间期间t2之间。此意味着,在用于应用过渡情绪配置EC3的第三时间期间t3到期之后,可接着应用第二情绪配置EC2。过渡情绪配置EC3用于生成化身面部模型的面部表情。面部模型的一个或多个几何参数和/或纹理参数可根据过渡情绪配置EC3生成或修改。

在一个实施例中,处理器150可将第一情绪配置与第二情绪配置加以组合,以生成一种或多种情绪组合。将两种情绪配置加以组合的方式可为:确定两种情绪配置的参数的总和或加权平均值,或者直接使用两种情绪配置的参数中的部分参数作为一种情绪配置的参数。

在一个实施例中,情绪配置仅特别对应于一个面部表情,且在第三时间期间的周期中,处理器150可通过对与第一情绪配置及第二情绪配置对应的几何参数和/或纹理参数求平均或者给出所述两种情绪配置的参数的加权关系来调整化身的面部表情,且求平均的结果或权重计算的结果将成为一种情绪组合。例如,处理器150可确定所述两种情绪配置的两个鼻子位置之间的中心点,且所述中心点将为情绪组合的一个参数。举另一个实例,第一情绪配置的权重是0.8,且第二情绪配置的权重是0.2,且处理器150根据前述权重对所述两种情绪配置的嘴唇位置执行加权计算。接着,处理器150将每一种情绪组合确定为一种过渡情绪配置。

在另一个实施例中,处理器150将第三时间期间划分成多个时间周期,并根据第一情绪配置与第二情绪配置的线性关系确定加权关系。以图3为例,第三时间期间t3被划分成三个时间周期tp1、tp2及tp3。然而,在另一个实施例中,时间周期的数目可有所变化。线性关系是一种情绪配置的等级/比率与时间之间的关系。例如,线性关系的数学形式是L1=3-(3/2)*tsi,其中L1是第i时间周期处的第一情绪配置的等级,且tsi是第i时间周期的值。i越高,则第i时间周期的值越高。加权关系包括第一情绪配置的第一权重及第二情绪配置的第二权重。基于线性关系,不同时间周期处的第一权重随时间减小,且不同时间周期处的第二权重随时间增大。例如,第一情绪配置的线性关系的数学形式是L1=2-(2/4)*tsj,且第二情绪配置的线性关系的另一种数学形式是L2=4-(4/5)*tsj,其中L2是第j时间周期处的第二情绪配置的等级,且tsj是第j时间周期的值。j越高,则第j时间周期的值越高。第一权重及第二权重是根据依据线性关系确定的等级/比率来确定。例如,L1/(L1+L2)可为第一权重,且L2/(L1+L2)可为第二权重。

图4是示出根据本发明示例性实施例中的一者的两种情绪的变化的示意图。参照图4,分别存在第一情绪配置及第二情绪配置的两个权重-时间图。在第一时间期间t1结束时,检测到与第二情绪配置对应的预定义关键词。由于所述线性关系,第一情绪配置的权重可在不同的时间周期tp1、tp2及tp3处线性减小,且第二权重情绪配置的权重可在不同的时间周期tp1、tp2及tp3处线性增加。接着,根据所述图确定第一权重及第二权重。

在一个实施例中,将确定多种情绪组合,且处理器150可根据每一种情绪组合按次序生成面部表情。用于应用过渡情绪配置的第三时间期间将被划分成多个时间周期。处理器150可在不同的时间周期中应用不同的情绪组合。多种情绪组合的次序与所述两种情绪配置的加权关系相关。就第一情绪配置来说,将首先应用第一权重的较大值。就第二情绪配置来说,将首先应用第二权重的较小值。

以图4为例,用于应用过渡情绪配置的第三时间期间是第一时间期间t1与第二时间期间t2之间的时间期间。在三个时间周期tp1、tp2及tp3处有三种情绪组合。在时间周期tp1中应用的第一情绪组合与第一权重为0.75和第二权重为0.25相关。在时间周期tp2中应用的第二情绪组合与第一权重为0.5和第二权重为0.5相关。在时间周期tp3中应用的第三情绪组合与第一权重为0.25和第二权重为0.75相关。应注意,第一情绪配置的权重在第一时间期间t1期间保持不变。例如,第一情绪配置固定在60%是快乐情绪且40%是惊讶情绪。相似地,第二情绪配置的权重在第二时间期间t2期间保持不变。

图5是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的表T1。参照图4及图5,假设第一情绪配置包括60%第二等级的快乐情绪及40%第一等级的惊讶情绪。另外,第二情绪配置包括60%第三等级的悲伤情绪、20%第一等级的愤怒情绪及20%第二等级的是恐惧情绪。在时间周期tp1期间,过渡情绪配置包括75%的第一情绪配置及25%的第二情绪配置,且即45%第二等级的快乐情绪、30%第一等级的惊讶情绪、15%第三等级的悲伤情绪、5%第一等级的愤怒情绪且5%第二等级的恐惧情绪。在时间周期tp2期间,过渡情绪配置包括50%的第一情绪配置及50%的第二情绪配置,且即30%第二等级的快乐情绪、20%第一等级的惊讶情绪、30的悲伤情绪、10%第一等级的愤怒情绪及第二等级10%的恐惧情绪。在时间周期tp3期间,过渡情绪配置包括25%的第一情绪配置及75%的第二情绪配置,且即15%第二等级的快乐情绪、10%第一等级的惊讶情绪、45%第三等级的悲伤情绪、15%第一等级的愤怒情绪且15%第二等级的恐惧情绪。

图6是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的另一个表T2。参照图4及图6,假设第一情绪配置包括40%第二等级的悲伤情绪、40%第二等级的愤怒情绪及20%第一等级的恐惧情绪。另外,第二情绪配置占所有情绪的0%,例如,逐渐消失。在时间周期tp1期间,过渡情绪配置包括75%的第一情绪配置及25%的第二情绪配置,且即30%第二等级的悲伤情绪、30%第二等级的愤怒情绪及15%第一等级的恐惧情绪。在时间周期tp2期间,过渡情绪配置包括50%的第一情绪配置及50%的第二情绪配置,且即20%第二等级的悲伤情绪、20%第二等级的愤怒情绪及10%第一等级的恐惧情绪。在时间周期tp3期间,过渡情绪配置包括25%的第一情绪配置及75%的第二情绪配置,且即10%第二等级的悲伤情绪、10%第二等级的愤怒情绪及5%第一等级的恐惧情绪。

应注意,用于应用过渡情绪配置的第三时间期间的长度可为固定的或可变的。在一个实施例中,处理器150根据第一情绪配置的第一情绪值与第二情绪配置的第二情绪值之间的差异确定用于应用过渡情绪配置的第三时间期间的长度。如果每一种情绪类别被定义为具有多个等级,则处理器150可将和第一情绪配置对应的第一情绪的第一等级与和第二情绪配置对应的第二情绪的第二等级之间的差异确定为第一情绪配置与第二情绪配置之间的差异。例如,第一情绪配置对应于悲伤情绪的第二等级,且第二情绪配置对应于恐惧情绪的第六等级。处理器150可确定两种情绪配置之间的差异为8个等级。如果两种情绪配置之间的差异更大,则过渡的第三时间期间可能增加。如果两种情绪配置之间的差异较小,则过渡的第三时间期间可能减少。例如,如果差异为8个等级,则时间期间将为1秒;如果差异为2个等级,则时间期间将为200微秒。

在另一个实施例中,处理器150可预定义两种特定情绪之间的第三时间期间。例如,从悲伤情绪过渡到快乐情绪的时间期间为500微秒,且从恐惧情绪过渡到快乐情绪的另一个时间期间为1秒。

在又一实施例中,处理器150可获取用户的特性,并根据用户的特性确定用于应用过渡情绪配置的第三时间期间。处理器150根据用户的星座确定用户的特性。作为另外一种选择,处理器150可分析用户在虚拟世界中作出的行为或决定,且分析结果可用于确定用户的特性。

重新参照图2,处理器150基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情(步骤S270)。具体来说,化身的面部可包括面部特征(例如面部、眼睛、鼻子、眉毛等的形状或运动)。化身的面部表情可包括几何参数及纹理参数。每一个几何参数用于指示化身的面部顶点的2D或3D坐标。在一些实施例中,每一个纹理参数用于指示面部的应用对应情绪配置的面部图像的位置。

处理器150可用面部表情的特征生成、合并或替换情绪配置,以生成与特定情绪对应的面部表情。在一个实施例中,处理器150可根据概率分布(例如正态分布、几何分布、伯努利分布(Bernoulli distribution)等),分别从对应的面部表情组中选择一种面部表情用于第一情绪配置、过渡情绪配置或第二情绪配置。每一个表情组包括多种面部表情。每一种情绪或一种情绪的每一个等级对应于特定的表情组。例如,情绪配置有10个面部表情,且处理器150可从所述10个面部表情中随机选择一个。

在一些实施例中,处理器150可对于每一种情绪配置生成面部特征。每一种情绪配置可被配置成对于面部特征的参数具有特定的限制(例如长度、角度、颜色、大小等),且可基于所述限制生成对应的面部特征。例如,当情绪配置具有快乐情绪且快乐情绪的权重大于0.1时,嘴唇的长度具有一定范围。

在一些实施例中,每一种情绪配置对应于面部模板,且面部模板对应于特定图像或特定动画。处理器150可将面部模板粘贴在面部模型的特定位置处。

处理器150将分别并按次序基于第一情绪配置、过渡情绪配置及第二情绪配置生成面部表情。所述次序可例如基于如图3中所示的三个时间期间的次序。

在一些实施例中,处理器150可响应于确定第一情绪配置及第二情绪配置来实时生成面部表情。为实现实时,检测到一种情绪配置的时间点与在化身上生成具有所述情绪配置的面部表情的时间点之间的第四时间期间可小于阈值(例如500微秒、300微秒或1秒等)。然而,在一些实施例中,第四时间期间可大于阈值(非实时方式)。

应注意,除情绪模拟以外,化身上的嘴唇可与语音数据同步。在一些实施例中,化身上嘴唇的运动随着由音频接收设备112所生成的语音数据而变化。如果接收到语音数据,则处理器150对语音数据执行言语辨别(speech recognition),并解析语音数据中的特定元音及辅音。这些元音及辅音是用特定的嘴唇形状或嘴唇动画来定义。响应于检测到预定义的元音或辅音,对应的嘴唇形状或动画将呈现在面部模型上,使得化身上的嘴唇的运动与语音数据同步。

综上所述,在本发明实施例的化身面部表情生成系统及化身面部表情生成方法中,反应于满足后续的表情配置的触发条件将提供过渡情绪配置,而不是直接应用后续的情绪配置。藉此,当面临情绪转换时,在化身上可呈现正常的面部表情。此外,情绪转换可透过使用用户的语音来触发,且化身的嘴唇的动作可同步于此语音。

对于所属领域中的技术人员而言将显而易见的是,在不背离本发明的范围或精神的条件下,可对本发明的结构作出各种润饰及变化。有鉴于此,本发明旨在涵盖本发明的润饰及变化,只要其落于随附权利要求及其等效范围的范围内即可。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号