模拟CG动画中的手绘线条

摘要

在CG动画中模拟艺术手绘线条，包括：第一次附着直接绘画到CG动画的角色上的墨水线条；第一次使艺术家能够使用微移来修改墨水线条以生成图画；将图画第一次移动至UV空间内并生成第一遍训练数据；将墨水线条第二次附着到CG动画的角色上；第二次使艺术家能够修改墨水线条；将图画第二次移动至UV空间内并生成第二遍训练数据；组合第一遍训练数据和第二遍训练数据以生成组合数据；并且使用组合数据来创建和输出第二代机器学习。

说明书

相关申请的交叉引用

本申请依据35U.S.C§119(e)要求于2018年12月5日提交的题为“用于模拟手绘线条的墨水线条和机器学习”的共同待决的美国临时专利申请序列号62/775843的优先权的权益。以上引用的申请的公开内容通过引用并入本文。

技术领域

本公开涉及CG动画，并且更具体地，涉及在CG动画中模拟艺术手绘线条。

背景技术

在计算机图形(CG)动画中，目标可以包括创建提供手绘角色的感觉和外观的被渲染的角色。已经确定，包括基于程序的“规则”(例如，使用卡通着色器)的“线条作品/墨水线条”的方法在获得令人满意的结果上是无效的。主要的问题是艺术家不基于有限的规则集绘画。对于创建具有艺术外观的手绘线条作品的问题需要鲁棒得多的解决方案。此外，需要调整已创建的线条作品(如有必要)，并将其合并到现有的CG动画中。

发明内容

本公开提供用于在CG动画中模拟艺术手绘线条。

在一种实现方式中，公开了用于在CG动画中模拟艺术手绘线条的方法。该方法包括：第一次附着直接绘画到CG动画的角色上的墨水线条；第一次使艺术家能够使用微移(nudge)来修改墨水线条以生成图画；将图画第一次移动至UV空间中并生成第一遍训练数据；将墨水线条第二次附着到CG动画的角色上；第二次使艺术家能够修改墨水线条；将图画第二次移动至UV空间中并生成第二遍训练数据；组合第一遍训练数据和第二遍训练数据以生成组合数据；并使用组合数据创建和输出第二代机器学习。

在一种实现方式中，其中，角色在CG动画的帧中。在一种实现方式中，直接绘画在角色上的墨水线条针对角色的特定姿势提供正确的墨水线条。在一种实现方式中，使用微移刷创建微移。在一种实现方式中，方法还包括通过将墨水线条直接投影到角色上来键控和插值微移。在一种实现方式中，该方法还包括生成关键帧并在关键帧之间插值。在一种实现方式中，角色以3-D几何形状形成。在一种实现中，将图画第一次移动至UV空间中允许艺术家在2-D屏幕空间中处理角色的3-D几何形状。在一种实现方式中，方法还包括将在2-D屏幕空间中完成的作品转换回3-D几何形状。

在另一种实现方式中，公开了用于在CG动画中模拟由艺术家手绘的线条并生成图画的系统。该系统包括：预测模块，其被配置为接收包括相机角度和表情的镜头数据以及第二代机器学习模型，该预测模块被配置为生成图画的预测；粘接模块，其被配置为接收预测并将墨水线条附着到动画角色的3-D几何形状上；以及微移模块，其被配置为使艺术家能够使用微移刷生成微移来修改墨水线条并将图画移动至UV空间。

在一种实现方式中，用于预测模块的训练数据使用动画曲线，该动画曲线是针对具有一组表情变化的相应一组角度创建的。

在另一种实现方式中，公开了用于在CG动画中模拟艺术手绘线条以生成图画的设备。该设备包括：用于第一启用的装置，其使艺术家能够将墨水线条直接绘画到图画中的动画角色上；用于附着的装置，其用于将绘画的墨水线条直接附着到动画角色上；用于第二启用的装置，其用于使艺术家能够使用微移来修改墨水线条；用于移动的装置，其用于将图画移动至UV空间以使艺术家能够在2-D屏幕空间中工作，其中，如果这遍是第一遍，则用于移动的装置生成第一遍训练数据，而如果这遍不是第一遍，则用于移动的装置生成第二训练数据；用于创建的第一装置，其用于创建第一代机器学习模型，并将第一代机器学习模型发送至用于附着的装置以用于第二遍；用于组合的装置，其用于组合第一遍训练数据和第二遍训练数据以生成组合数据；以及用于创建的第二装置，其用于使用组合数据来创建第二代机器学习模型。

在一种实现方式中，用于第一启用的装置包括平板电脑或平板类型的设备以及电子笔。在一种实现方式中，平板电脑或平板类型的设备包括至少一个应用，该应用能够在逐帧的基础上显示CG动画。在一种实现方式中，用于附着的装置包括至少一个应用，该应用能够处理由艺术家制作的到用于附着的装置内的输入，以将该输入集成到CG动画上。在一种实现方式中，用于第二启用的装置使艺术家能够使用微移刷来进行微移。在一种实现方式中，用于移动的装置使用微移来创建关键帧并在关键帧之间插值。在一种实现方式中，用于移动的装置通过自动地混合关键帧之间的所有帧来在关键帧之间插值。

从本发明的描述中，其他特征和优点将是显而易见的，所述描述通过示例图示了本公开的方面。

附图说明

本公开的细节，关于其结构和操作两者，可以通过附图的研究来部分地收集，其中，相同的附图标记指代相同的部件，并且其中：

图1是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的过程的流程图；

图2是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的系统的框图；

图3是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的设备的框图；

图4A是根据本公开的实现方式的计算机系统和用户的代表；

图4B是根据本公开的实现方式的托管模拟应用的图示的计算机系统的功能框图；和

图5、图6、图7和图8图示了模拟系统、过程和设备的中间结果的示例。

具体实施方式

如上所述，在CG动画中，对于创建具有艺术外观的手绘线条作品的问题，需要鲁棒得多的解决方案。此外，需要粘接、调整(如有必要)已创建的线条作品，并将其合并到现有的CG动画中。本公开的某些实现方式提供用于在CG动画中模拟艺术手绘线条。在阅读这些描述之后，如何在各种实现方式和应用中实现本公开将变得显而易见。尽管本文将描述本公开的各种实现方式，但是可以理解，这些实现方式仅以示例而非限制的方式给出。这样，各种实现方式的这种详细描述不应被解释为限制本公开的范围或广度。

在一种实现方式中，实现了具有两种模式的增强墨水线条应用，其用于生成逼真的手绘墨水线条集。第一种模式是“粘接模式”，第二种模式是“调整模式”。增强墨水线条应用的粘接模式涉及将墨水线条(例如，曲线几何形状)粘接或附着到CG动画的3-D几何形状上。因此，在粘接模式下，应用为艺术家提供简易控制来调整图画，以保持正确的2-D灵感设计。例如，在一种实现方式中，应用使艺术家能够使用电子笔在CG动画的帧之上绘画。这允许帧的图画看起来像动态图画，而不是标准的纹理映射。增强墨水线条应用的调整模式针对由艺术家捕获和编目对墨水线条进行的附着，以使用机器学习加快工作流程。

在一种实现方式中，增强墨水线条应用的粘接模式使艺术家能够直接在图画上的一个或多个角色(和/或一个或多个对象)上绘画，从而为一个或多个角色的特定姿势提供正确的线条。一旦绘画完墨水线条，应用就使艺术家能够使用微移(nudging)的“刷子”去快速并且容易地调整图画。在一种实现方式中，粘接模式用于最复杂的镜头，其中在调整模式中调整机器学习比从头开始获取镜头慢。

在一种实现方式中，由微移刷创建的微移由应用自动地键控和插值。在一种实现方式中，键控和插值包括将墨水线条直接投影到几何图形上，并将微移插值到屏幕空间中或任意UV空间中。增强墨水线条应用使艺术家能够在2-D屏幕空间中工作，从而为艺术家提供最直观的空间去绘画和微移，以产生期望的结果。转换回3-D空间是自动进行的，无需艺术家干预。

在一种实现方式中，键控和插值使用微移来创建关键帧并在关键帧之间插值。例如，艺术家微移帧1中的图画的墨水线条，并且然后在帧10中的图画的墨水线条上执行微移，以创建两个关键帧1和10。然后，增强墨水线条应用的粘接模式通过自动地混合(blend)两个关键帧之间的所有帧，来在关键帧之间插值。

在一种实现方式中，UV空间中的曲线位置控制角色在3-D空间中在哪里结束。当图画微移时，这些编辑可以转移至UV空间。因此，UV空间中的曲线的位置相对于视角和角色的表情之间有复杂的关系。通过足够的示例，机器学习可以在UV空间中的曲线形状与视角和角色表情之间找到模式(pattern)。因此，机器学习映射这种关系。

在一种实现方式中，增强墨水线条应用的调整模式包括：(1)使用机器学习对在角色上创建墨水线条的第一遍预测，其用于产生初始预测结果；(2)由艺术家使用“微移刷”修改；和(3)一旦初始预测已经由艺术家使用微移刷校正，则将调整转移至UV空间。然后将数据导出并与初始数据组合。然后使用组合数据“再训练”机器学习模型。因此，“再训练”提高模型的准确性。

在一种实现方式中，用于第一遍预测的训练数据使用“转盘(turntable)”动画，所述“转盘”动画从具有表情变化的不同角度创建。然后使用增强墨水线条应用的粘接模式创建用于这些角度和表情的动画曲线(即，图画)。随后将动画曲线转移到UV空间中，用于机器学习训练。这成为第一代训练数据集(每个角色大约600帧)的“目标”。“特征”是相对的相机角度和表情变化。因此，一旦产生训练数据，就训练机器学习算法以找到图画位置和“特征”之间的关系。

在一种实现方式中，一旦机器学习算法已经训练以找到关系，则在另一组动画数据上运行预测。然后由艺术家使用微移刷来调整(或“校正”)这些初始预测。然后将这些校正后的调整移动至UV空间并导出为进一步的训练数据。然后使用这些沿着初始训练数据的校正的组合的训练数据对机器学习模型进行再训练。

图1是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的过程100的流程图。在一种实现方式中，过程100为艺术家提供简易控制，以调整图画从而维持正确的2-D灵感设计。例如，过程100使艺术家能够使用电子笔在CG动画的帧之上绘画。这允许帧的图画看起来像动态图画，而不是标准的纹理映射。

在图1的图示实现方式中，过程100在框110使艺术家能够将墨水线条直接绘画到图画上的角色上，以提供用于角色的特定姿势的正确的线条。在一种实现方式中，角色在CG动画的帧中。在一种实现方式中，直接绘画在角色上的墨水线条提供用于角色的特定姿势的正确墨水线条。然后在框112，将墨水线条附着到动画角色上(即，附着到3-D几何形状上)。一旦绘画并附着了墨水线条，则过程100在框114使艺术家能够使用微移“刷”来调整图画。然后，在框116，将图画移动至UV空间并生成训练数据。过程100使艺术家能够在2-D屏幕空间中工作，以提供最直观的空间供艺术家绘画和微移以产生期望的结果。转换回3-D空间是自动进行的，无需艺术家干预。

在一种实现方式中，微移创建关键帧并在关键帧之间插值。例如，艺术家微移帧1中的图画的墨水线条，并且然后在帧10中的图画的墨水线条上执行微移，以创建两个关键帧1和10。然后过程200通过自动混合两个关键帧之间的所有帧以在关键帧之间插值。

在一种实现方式中，一旦图画移动至UV空间并且生成训练数据，则过程100在框118创建第一代机器学习模型，并且第一代机器学习模型在框120处被调用以做出预测。在框122，再次将墨水线条附着到动画角色上，并且在框124，艺术家能够使用“微移刷”修改墨水线条的预测。然后在框126，将图画移动至UV空间，并再次生成训练数据。在框128，将第一遍训练数据(在框116生成)和第二遍训练数据(在框126生成)组合。因此，一旦训练数据被组合，则过程100在框130处创建第二代机器学习模型。

在一种实现方式中，用于第一遍预测的训练数据使用从具有表情变化的不同角度创建的“转盘”动画。然后，由过程100创建用于这些角度和表情的动画曲线。随后将动画曲线转换到UV空间中，以用于机器学习训练。这成为第一代训练数据集(每个角色大约600帧)的“目标”。“特征”是相对的相机角度和表情变化。因此，一旦产生训练数据，则训练机器学习算法以找到图画位置和“特征”之间的关系。

图2是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的系统200的框图。在图2的图示实现方式中，系统200包括预测模块230、粘接模块240和微移模块250。

在一种实现方式中，预测模块230接收镜头数据210和在图1的框130处创建的第二代机器学习“模型”220，并做出预测。镜头数据210包括相对的相机角度和相对的表情。

在一种实现方式中，粘接模块240被配置为从预测模块230接收预测，并实现粘接模式，该粘接模式涉及将墨水线条(例如，曲线几何形状)粘接或附着到动画角色上。因此，粘接模块240为艺术家提供调整图画从而维持正确的2-D灵感设计的容易的控制。例如，在一种实现方式中，粘接模块240使艺术家能够使用电子笔在CG动画的帧之上绘画。

在一种实现方式中，一旦绘画并附着了墨水线条，则微移模块250使艺术家能够使用微移“刷”来调节图画并移动图画至UV空间。因此，微移模块250使艺术家能够在2-D屏幕空间中工作，从而为艺术家提供最直观的空间来绘画和微移以产生期望的结果。微移模块250执行回到3-D空间的转换，无需艺术家干预。由微移模块250输出的图画260被导出以用于照明。

图3是根据本公开的一种实现方式的用于在CG动画中模拟艺术手绘线条的设备300的框图。在图3的图示实现方式中，设备300包括用于使艺术家能够绘画墨水线条的装置310，用于附着墨水线条的装置320、用于使艺术家能够修改墨水线条的装置330、用于将图画移动至UV空间的装置340、用于创建第一代机器学习模型的装置360、用于组合训练数据的装置380和用于创建第二代机器学习模型的装置390。

用于使艺术家能够绘画墨水线条的装置310使艺术家能够将墨水线条直接绘画到图画上的角色上，从而为角色的特定姿势提供正确的线条。在一种实现方式中，装置310包括平板电脑或平板类型的设备以及电子笔。在一种实现方式中，平板设备包括至少一个应用，该应用能够在逐帧的基础上显示CG动画。

用于附着墨水线条的装置320将绘画的墨水线条直接附着至CG动画的角色上。在一种实现方式中，装置320包括至少一个应用，该应用能够处理由艺术家对装置310的输入，以将输入集成到CG动画上。

用于使艺术家能够修改墨水线条的装置330使艺术家能够使用微移“刷”来调整图画。在一种实现方式中，装置330包括平板电脑或平板类型的设备以及用作微移刷的电子笔。在一种实现方式中，平板设备包括至少一个应用，该应用能够在逐帧的基础上显示CG动画。用于使艺术家能够修改墨水线条的装置330还使艺术家能够修改墨水线条的预测。

用于将图画移动至UV空间的装置340将图画移动至UV空间，以使艺术家能够在2-D屏幕空间中工作，从而为艺术家提供最直观的空间用于绘画和微移，以产生期望的结果。在一种实现方式中，用于将图画移动至UV空间的装置340使用微移来创建关键帧并在关键帧之间插值。例如，艺术家微移帧1中的图画中的墨水线条，并且然后在帧10中的图画的墨水线条上执行微移，以创建两个关键帧1和10。然后，装置340通过自动混合两个关键帧之间的所有帧以在关键帧之间插值。如果该遍是第一遍，则用于将图画移动至UV空间的装置340生成第一遍训练数据350，而如果该遍不是第一遍(即，是第二遍)，则用于将图画移动至UV空间的装置340生成第二遍训练数据370。

用于创建第一代机器学习模型的装置360创建第一代机器学习模型，并将模型发送到用于附着墨水线条的装置320以用于第二遍。

在第二遍中，用于组合训练数据的装置380将第一遍训练数据350和第二遍训练数据370组合。组合的训练数据由用于创建第二代机器学习模型的装置390使用以创建第二代机器学习模型。

图4A是根据本公开的实现方式的计算机系统400和用户402的代表。用户402使用计算机系统400来实现用于在CG动画中模拟艺术手绘线条的模拟应用490，如关于图1中图示的用于在CG动画中模拟艺术手绘线条的过程100和图2中示出的框图的模拟器200所图示和描述的。

计算机系统400存储并执行图4B的模拟应用490。此外，计算机系统400可以与软件程序404通信。软件程序404可以包括用于屏幕色调外观应用的软件代码。可以将软件程序404加载在诸如CD、DVD或存储设备驱动器的外部介质上，如将在下面进一步解释的。

此外，计算机系统400可以连接到网络480。网络480可以以各种不同的体系结构连接，例如，客户端-服务器体系结构、对等网络体系结构或其他类型的体系结构。例如，网络480可以与服务器485通信，该服务器485协调在模拟应用490内使用的引擎和数据。同时，该网络可以是不同类型的网络。例如，网络480可以是因特网、局域网或局域网的任何变体、广域网、城域网、内联网或外联网或者无线网络。

图4B是功能框图，其示出根据本公开的实现方式的托管模拟应用490的计算机系统400。控制器410是可编程处理器，并且控制计算机系统400及其组件的操作。控制器410从存储器420或嵌入式控制器存储器(未示出)加载指令(例如，以计算机程序的形式)，并执行这些指令以控制系统。在其执行中，控制器410给模拟应用490提供软件系统，诸如用于启用模拟应用490中的引擎和数据提取器的创建和配置。可替代地，该服务可以被实现为控制器410或计算机系统400中的单独的硬件组件。

存储器420临时存储数据以供计算机系统400的其他组件使用。

在一种实现方式中，存储器420被实现为RAM。在一种实现方式中，存储器420还包括长期或永久存储器，例如闪存和/或ROM。

存储设备430临时或长时间存储数据，以供计算机系统400的其他组件使用。例如，存储设备430存储由模拟应用490使用的数据。

在一种实现方式中，存储设备430是硬盘驱动器。

介质设备440接收可移除介质，并向插入的介质读取和/或写入数据。例如，在一种实现方式中，介质设备440是光盘驱动器。

用户接口450包括用于接受来自计算机系统400的用户的用户输入并向用户402呈现信息的组件。在一种实现方式中，用户接口450包括键盘、鼠标、音频扬声器和显示器。控制器410使用来自用户402的输入来调整计算机系统400的操作。

I/O接口460包括一个或多个I/O端口，以连接到相应的I/O设备，例如外部存储设备或辅助设备(例如，打印机或PDA)。在一种实现方式中，I/O接口460的端口包括诸如以下的端口：USB端口、PCMCIA端口、串行端口和/或并行端口。在另一种实现方式中，I/O接口460包括用于与外部设备无线通信的无线接口。

网络接口470包括有线和/或无线网络连接，诸如支持以太网连接的RJ-45或“Wi-Fi”接口(包括但不限于802.11)。

计算机系统400包括计算机系统所特有的附加的硬件和软件(例如，电源、冷却、操作系统)，尽管为简单起见，这些组件未在图4B中具体示出。在其他实现方式中，可以使用计算机系统的不同配置(例如，不同的总线或存储设备配置或多处理器配置)。

图5、图6、图7和图8图示了模拟系统、过程和设备的中间结果的示例。

在一种实现方式中，模拟系统100是完全由硬件配置的系统，该硬件包括一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程门/逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路。在另一种实现方式中，模拟系统100配置有硬件和软件的组合。

提供本文所公开的实现方式的描述以使本领域的任何技术人员能够制造或使用本公开。对这些实现方式的多个修改对于本领域技术人员而言将是显而易见的，并且本文定义的原理可以应用于其他实现方式而不脱离本公开的精神或范围。因此，本公开不旨在限于本文所示的实现方式，而是应被赋予与本文公开的原理和新颖性特征相一致的最广范围。

本公开的各种实现方式以电子硬件、计算机软件或这些技术的组合来实现。一些实现方式包括由一个或多个计算设备执行的一个或多个计算机程序。通常，计算设备包括一个或多个处理器、一个或多个数据存储设备组件(例如，易失性或非易失性存储器模块以及永久性的光和磁存储设备，例如硬盘和软盘驱动器、CD-ROM驱动器和磁带驱动器)、一个或多个输入设备(例如，游戏控制器、鼠标和键盘)和一个或多个输出设备(例如，显示设备)。

计算机程序包括可执行代码，所述可执行代码通常存储在持久性存储设备介质中，然后在运行时被复制到存储器中。至少一个处理器通过以预定顺序从存储器中检索程序指令来执行代码。当执行程序代码时，计算机从输入和/或存储设备接收数据，在数据上执行操作，并且然后将结果数据传递到输出和/或存储设备。

本领域技术人员将理解，本文描述的各种说明性的模块和方法步骤可以被实现为电子硬件、软件、固件或前述的组合。为了清楚地图示硬件和软件的这种互换性，本文中总体上根据它们的功能性描述了各种说明性的模块和方法步骤。将这种功能性实现为硬件还是软件取决于特定应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以各种方式来实现所描述的功能性，但是这种实现决定不应被解释为导致脱离本公开的范围。另外，模块或步骤内的功能分组是为了便于描述。可以将特定功能从一个模块或步骤移动至另一模块或步骤而不脱离本公开。

在本公开的特定实现方式中，并不一定需要每个上述示例的所有特征。此外，要理解，本文提出的描述和附图是由本公开广泛地构想到的主题的代表。还要理解，本公开的范围完全涵盖对于本领域技术人员而言会变得显而易见的其他实现方式，并且本公开的范围相应地仅由所附的权利要求来限制。