手绘流程图标准化生成方法及其装置

摘要

本申请公开了一种手绘流程图标准化生成方法及其装置。其中方法包括：获取用户绘制记录数据；将用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型；根据用户绘制意图类型判断结果，识别用户绘制信息；根据用户绘制信息识别结果，生成标准化流程图；其中，所述用户绘制记录数据包括用户绘制的起笔时间和坐标、路径信息、落笔时间和坐标至少其中一种，所述用户绘制意图类型包括图形绘制意图、文字绘制意图至少其中一种；所述用户绘制信息识别结果包括图形信息和文字信息至少其中一种。通过本申请的手绘流程图标准化生成方法，可以直接将用户手绘的流程草图生成标准化的流程框图，有效提高工作效率和用户体验。

说明书

技术领域

本申请涉及计算机技术领域，尤其涉及一种手绘流程图标准化生成方法及其装置。

背景技术

随着计算机技术的发展，通过visio或者processon等流程图软件，以及其他思维导图软件，在电脑端创建一个框线，输入文字，然后和多个框连接形成流程图，或者事件关系图的方法，得到了广泛的应用。但是，也有很多用户出于习惯，或者在不便使用电脑进行操作的时候，希望通过手写方式绘制框图。特别是司法人员在办案过程中，习惯于一边听取案情，一边思考，一边手绘各种流程图。但是这种手绘的流程图往往不够标准化，不便于归档或者展示。因此，需要一种能够将用户手绘的流程图自动生成为标准化的流程图的技术方案，从而实现随写随画随识别，最终形成工整、标准的可视化框图。

发明内容

本申请通过触控面板，配合电容笔，通过手画和手写文字的方式，随画随识别，最终形成工整的可视化框图。

本申请提供一种手绘流程图标准化生成方法，包括：

获取用户绘制记录数据；

将用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型；

根据用户绘制意图类型判断结果，识别用户绘制信息；

根据用户绘制信息识别结果，生成标准化流程图；

其中，所述用户绘制记录数据包括用户绘制的起笔时间和坐标、路径信息、落笔时间和坐标至少其中一种，所述用户绘制意图类型包括图形绘制意图、文字绘制意图至少其中一种；所述用户绘制信息识别结果包括图形信息和文字信息至少其中一种。

进一步的，在本申请提供的一种优选实施方式中，所述方法还包括预处理过程，具体包括：

预处理用户绘制时间戳数据，所述时间戳数据包括用户绘制的起笔时间和落笔时间；

将用户绘制的路径信息转换为特定大小的图片；

提取图片的边缘特征，并将特征转化为1维向量；

将预处理后的时间戳数据和路径信息特征向量进行拼接，获得特征化的用户绘制记录数据。

进一步的，在本申请提供的一种优选实施方式中，将特征化的用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型，具体包括：

根据当前和历史的特征化的用户绘制记录数据，组成序列为N的笔画绘制记录数据，所述N为大于1的正整数；

将所述笔画绘制记录数据输入至意图判断模型，判断当前的用户绘制意图类型。

进一步的，在本申请提供的一种优选实施方式中，将特征化的用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型，还包括：

根据当前的用户绘制意图类型判断结果，调整历史的用户绘制意图类型判断结果。

进一步的，在本申请提供的一种优选实施方式中，所述意图判断模型，通过 LSTM长短期记忆网络构建和优化。

进一步的，在本申请提供的一种优选实施方式中，当所述用户绘制意图类型为图形绘制意图时，根据用户绘制意图类型判断结果，识别用户绘制信息，具体包括：

提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；

将用户绘制路径信息图片输入至图形分类识别模型，识别用户绘制的图形类型。

进一步的，在本申请提供的一种优选实施方式中，所述图形分类识别模型，通过CNN神经网络构建和优化。

进一步的，在本申请提供的一种优选实施方式中，当所述用户绘制意图类型为文字绘制意图时，根据用户绘制意图类型判断结果，识别用户绘制信息，具体包括：

提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；

通过手写OCR技术识别图片中的文字信息。

进一步的，在本申请提供的一种优选实施方式中，根据用户绘制信息识别结果，生成标准化流程图，具体包括：

根据用户绘制记录的坐标信息和用户绘制信息识别结果的图形信息，生成和用户绘制记录大小和位置匹配的标准图形；

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将所述文字信息生成到相应位置的标准图形中；

根据文字信息数量，调整标准图形大小，适配文字信息数量；

将所述标准图形及相应的文字信息生成为结构化的数据信息。

进一步的，在本申请提供的一种优选实施方式中，根据用户绘制信息识别结果，生成标准化流程图，还包括：

根据用户绘制信息识别结果，建立标准图形之间的连接；

根据用户绘制信息识别结果，对生成的标准化流程图进行排版；

根据排版结果，适配调整不同标准图形及相应的文字信息的大小和位置。

进一步的，在本申请提供的一种优选实施方式中，所述用户绘制意图类型还包括操作绘制意图，所述操作绘制意图包括删除意图、修改意图、涂抹意图至少其中一种。

进一步的，在本申请提供的一种优选实施方式中，根据用户绘制信息识别结果，生成标准化流程图，还包括：

若所述用户绘制意图为删除意图，删除当前生成内容；

若所述用户绘制意图为修改意图，重新识别用户绘制信息，生成标准化流程图；

若所述用户绘制意图为涂抹意图，重新识别用户绘制信息，生成标准化流程图。

本申请还提供一种手绘流程图标准化生成装置，包括：

用户绘制记录获取模块，用于获取用户绘制记录数据；

用户绘制意图类型判断模块，用于将用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型；

用户绘制信息识别模块，用于根据用户绘制意图类型判断结果，识别用户绘制信息；

标准化流程图生成模块，用于根据用户绘制信息识别结果，生成标准化流程图；

其中，所述用户绘制记录包括用户绘制的起笔时间和坐标、路径信息、落笔时间和坐标至少其中一种，所述用户绘制意图类型包括图形绘制意图、文字绘制意图至少其中一种；所述用户绘制信息识别结果包括图形信息和文字信息至少其中一种。

通过本申请的手绘流程图标准化生成方法及其装置，可以直接将用户手绘的流程草图生成标准化的流程框图，有效提高工作效率和用户体验。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，其构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的手绘流程图标准化生成方法的流程图。

图2为本申请实施例提供的手绘流程图标准化生成装置的结构示意图。

图3为本申请实施例提供的手绘流程图标准化生成方法中一种绘制生成过程的示意图。

图4为本申请实施例提供的手绘流程图标准化生成方法中又一种绘制生成过程的示意图。

图5为本申请实施例提供的手绘流程图标准化生成方法中又一种绘制生成过程的示意图。

图6为本申请实施例提供的手绘流程图标准化生成方法中又一种绘制生成过程的示意图。

附图标记：

100 手绘流程图标准化生成装置

11 用户绘制记录获取模块

12 用户绘制意图类型判断模块

13 用户绘制信息识别模块

14 标准化流程图生成模块

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，为本申请实施例提供的手绘流程图标准化生成方法，具体包括以下步骤：

S100：获取用户绘制记录数据。

本申请通过触控面板获取用户绘制记录数据，所述触控面板包括具有触控功能的电脑、笔记本电脑、平板电脑、智能手机等触控终端，也包括通过USB或者Type-C等接口连接的触摸板、手写板。获取用户绘制记录数据的方式可以是按压式感应，也可以是电容式感应。其中，所述用户绘制记录包括用户绘制的起笔时间和坐标、路径信息、落笔时间和坐标至少其中一种。通过系统接口，读取用户绘制时按下笔的时间戳和坐标、触控笔在面板上运行的轨迹路径和抬起笔的时间戳和坐标，获取用户绘制记录数据。用户在触控屏上的绘制具有一定随机性，通常用户绘制过程具有一定的节奏性。书写的文字与文字之间，书写文字与绘制图形之间，具有一定的时间间隔。起笔时间通常为用户在一个时间间隙内首次触摸的时间，起笔之后的连续轨迹通常为用户绘制的轨迹，连续绘制完毕后落笔，并根据下一步书写目的在其他坐标处继续绘制。

S200：将用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型。所述用户绘制意图类型包括图形绘制意图、文字绘制意图至少其中一种。

进一步的，在本申请提供的一种优选的实施例中，所述方法还包括预处理过程，具体包括：

预处理用户绘制时间戳数据，所述时间戳数据包括用户绘制的起笔时间和落笔时间；

将用户绘制的路径信息转换为特定大小的图片；

提取图片的边缘特征，并将特征转化为1维向量；

将预处理后的时间戳数据和路径信息特征向量进行拼接，获得特征化的用户绘制记录数据。

具体的，以其中的一次起落笔为例：

预处理时间戳数据(1,2)1行2列，为起笔和落笔时间；

绘制的轨迹路径转图片，并把图片缩放到指定大小(m，n)，m，n代表尺寸、长宽；

提取图片的边缘特征，并将特征转化为1维向量(1,k)；

预处理后的时间戳数据和轨迹特征进行拼接(1,(k+2))。

进一步的，在本申请提供的一种优选的实施例中，将特征化的用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型，具体包括：

根据当前和历史的特征化的用户绘制记录数据，组成序列为N的笔画绘制记录数据，所述N为大于1的正整数；

将所述笔画绘制记录数据输入至意图判断模型，判断当前的用户绘制意图类型。

可以理解的是，用户在触控屏上的绘制具有一定随机性、节奏性和时间上的持续性，可以将一个时间段内的多次起落笔数据，组成一个序列为N的笔画绘制记录数据。具体见下表：

将该组序列为N的起落笔数据(N,k+2)输入至意图判断模型，根据输入模型中的当前的绘制记录数据和之前N-1次的历史绘制记录数据，判断当前的用户绘制意图类型。

进一步的，在本申请提供的一种优选的实施例中，将特征化的用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型，还包括：

根据当前的用户绘制意图类型判断结果，调整历史的用户绘制意图类型判断结果。

用户绘制意图类型的判断是一个持续动态的过程，需要根据持续获取的绘制记录数据进行调整。

例如用户起笔画出一条横线，则其可能是汉字“一”或者其他汉字的第一笔画，也可能是某一个框图边线的一段，需要根据后续的绘制记录，持续动态的调整和判断用户绘制意图类型。

进一步的，在本申请提供的一种优选的实施例中，所述意图判断模型，通过 LSTM长短期记忆网络构建和优化。

LSTM(Long short-term memory，长短期记忆)算法是一种RNN(Recurrent Neural Network，循环神经算法)算法的特殊类型，可以学习长期依赖信息。

本申请中，意图判断模型的构建，首先通过采集用户绘制的不同的图形和文字信息，或者模拟用户绘制出不同的图形和文字信息，作为初始训练数据，经过预处理为特征化的用户绘制记录数据后，输入至LSTM长短期记忆网络，人工判断其用户绘制意图类型为图形绘制意图或者文字绘制意图，进行标注后通过意图判断模型输出判断结果。

经过初始训练数据的模拟训练之后，部署意图判断模型，实时获取用户绘制记录数据，经过预处理为特征化的用户绘制记录数据后，输入至LSTM意图判断模型，判断当前的用户绘制意图类型。同时，在接下来的用户绘制过程中，通过不断的进行用户绘制意图类型判断，不断的根据识别的意图对绘制内容进行调整。

例如，在写汉字“川”的时候，写第一笔的时候预测结果是直线，将该笔画按照预测结果进行了调整，写第二画的时候还是预测的直线，根据预测结果也进行了调整，然而在输入第三笔的时候，预测结果就是汉字，并撤销了前两步的调整，重新进行文字的识别。

又如，用户连续输入3笔，生成如图3所示绘制轨迹，通过这些信息可以预测出是绘制一个三角形。

但是随着笔画的增加，如图4所示，可以识别出绘制的是一个五角星。

基于绘制，根据模型，判定之前是一组完整的图形，做完规整后继续识别后续的图，如图5所示。

S300：根据用户绘制意图类型判断结果，识别用户绘制信息。所述用户绘制信息识别结果包括图形信息和文字信息至少其中一种。

进一步的，在本申请提供的一种优选的实施例中，当所述用户绘制意图类型为图形绘制意图时，根据用户绘制意图类型判断结果，识别用户绘制信息，具体包括：

提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；

将用户绘制路径信息图片输入至图形分类识别模型，识别用户绘制的图形类型。

可以理解的是，当所述用户绘制意图类型为图形绘制意图时，提取当前用户绘制记录中的路径信息，并将用户绘制的路径信息转换为特定大小的图片，将用户绘制路径信息图片输入至图形分类识别模型，识别用户绘制的图形类型。

例如，当用户手绘的图形为不标准的长方形、圆形和直线时，通过图形分类识别模型，如图6所示，识别出其图形类型。

进一步的，在本申请提供的一种优选的实施例中，所述图形分类识别模型，通过CNN神经网络构建和优化。

本申请中，图形分类识别模型的构建，首先通过采集用户绘制的图形，或者模拟用户绘制的图形，作为初始训练数据，将收集到的图形绘制路径信息转换为特定大小的图片后，输入至CNN神经网络，人工判断其图形为圆形、方形、箭头、直线或者其他图形，进行标注后通过图形分类识别模型输出识别结果。

经过初始训练数据的模拟训练之后，部署图形分类识别模型，实时获取用户绘制记录数据，提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片，将用户绘制路径信息图片输入至CNN神经网络图形分类识别模型，识别用户绘制的图形类型。进一步的，在本申请提供的一种优选的实施例中，当所述用户绘制意图类型为文字绘制意图时，根据用户绘制意图类型判断结果，识别用户绘制信息，具体包括：

提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；

通过手写OCR技术识别图片中的文字信息。

可以理解的是，针对手写文字信息，可以通过提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；通过手写OCR技术识别图片中的文字信息。

S400：根据用户绘制信息识别结果，生成标准化流程图。

判断出用户绘制的意图和识别出用户绘制信息之后，即可根据用户绘制的坐标信息，生成标准化的绘制结果。

进一步的，在本申请提供的一种优选的实施例中，根据用户绘制信息识别结果，生成标准化流程图，具体包括：

根据用户绘制记录的坐标信息和用户绘制信息识别结果的图形信息，生成和用户绘制记录大小和位置匹配的标准图形；

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将所述文字信息生成到相应位置的标准图形中；

根据文字信息数量，调整标准图形大小，适配文字信息数量；

将所述标准图形及相应的文字信息生成为结构化的数据信息。

具体的，当识别出用户绘制信息为相应的图形信息后，即可根据用户绘制记录中的起笔和落笔坐标信息，确定图形在触控屏上的位置。可以理解的是，由于手绘图形和线条的误差，用户绘制记录中的起笔和落笔坐标与标准图形可能产生一定误差。可以起笔坐标为基准，也可以落笔坐标为基准，亦可根据起笔坐标和落笔坐标的算术平均值为基准，或者绘制轨迹中的其他坐标点为基准，以该基准为方形的顶点，圆形的圆周点或者箭头的起点，来确定生成的标准图形的大小和位置。

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将文字信息生成到相应的标准图形中。可以理解的是，文字信息的坐标，通常位于标准图形坐标范围内，考虑到用户手绘的误差，可以预设一定的坐标误差范围，该坐标误差范围内的文字信息与相应的标准图形相匹配。

为了进一步优化显示效果，可以根据文字信息数量，调整标准图形大小，适配文字信息数量。

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将文字信息生成到相应的标准图形中之后，建立文字信息和相应图形信息的关联，生成本次绘制的结构化信息，可通过此结构化信息进行标准流程图的还原，便于存储和多设备无损画质还原(如在大屏上保证清晰度)，亦可通过此结构化信息根据文字信息内容的多少和格式设定，适配调整图形大小。

进一步的，在本申请提供的一种优选的实施例中，根据用户绘制信息识别结果，生成标准化流程图，还包括：

根据用户绘制信息识别结果，建立标准图形之间的连接；

根据用户绘制信息识别结果，对生成的标准化流程图进行排版；

根据排版结果，适配调整不同标准图形及相应的文字信息的大小和位置。

可以理解的是，随着用户多次绘制的输入，需要建立不同的文字信息和相应的标准图形之间的连接和逻辑关系。例如，在两个方框之间创建箭头连接，则创建两个图形之间的连接。连接后，根据线段长度和方框大小自动调整位置进行排版。根据排版结果，适配调整不同标准图形及相应的文字信息的大小和位置，增加整体美观度。

进一步的，在本申请提供的一种优选的实施例中，所述用户绘制意图类型还包括操作绘制意图，所述操作绘制意图包括删除意图、修改意图、涂抹意图至少其中一种。

可以理解的是，用户在手写过程中，时常会出现笔误，需要临时的删除、修改和涂抹，因此需要将用户基于删除、修改和涂抹意图进行的绘制与正常的图形绘制意图和文字绘制意图区别开来。

进一步的，在本申请提供的一种优选的实施例中，其特征在于，根据用户绘制信息识别结果，生成标准化流程图，还包括：

若所述用户绘制意图为删除意图，删除当前生成内容；

若所述用户绘制意图为修改意图，重新识别用户绘制信息，生成标准化流程图；

若所述用户绘制意图为涂抹意图，重新识别用户绘制信息，生成标准化流程图。

可以理解的是，若所述用户绘制意图为删除意图，例如通过斜线、打叉或者其他绘制方式进行操作，则可删除之前在该绘制记录坐标范围内的生成内容，并根据删除后的用户绘制信息，重新生成标准化流程图。

若所述用户绘制意图为修改意图，例如删除后的重新书写，或者在原生成内容区域的覆盖书写，则重新识别用户绘制信息，删除原生成内容，并重新生成标准化流程图。

若所述用户绘制意图为涂抹意图，则删除涂抹区域的生成内容，根据涂抹删除后的绘制信息，重新生成标准化流程图。

本申请还提供一种手绘流程图标准化生成装置，请参照图2，为本申请实施例提供的手绘流程图标准化生成装置100，包括：

用户绘制记录数据获取模块11，用于获取用户绘制记录数据。

本申请的用户绘制记录数据获取模块11通过触控面板获取用户绘制记录数据，所述触控面板包括具有触控功能的电脑、笔记本电脑、平板电脑、智能手机等触控终端，也包括通过USB或者Type-C等接口连接的触摸板、手写板。获取用户绘制记录数据的方式可以是按压式感应，也可以是电容式感应。其中，所述用户绘制记录包括用户绘制的起笔时间和坐标、路径信息、落笔时间和坐标至少其中一种。

用户绘制记录数据获取模块11通过系统接口，读取用户绘制时按下笔的时间戳和坐标、触控笔在面板上运行的轨迹路径和抬起笔的时间戳和坐标，获取用户绘制记录数据。用户在触控屏上的绘制具有一定随机性，通常用户绘制过程具有一定的节奏性。书写的文字与文字之间，书写文字与绘制图形之间，具有一定的时间间隔。起笔时间通常为用户在一个时间间隙内首次触摸的时间，起笔之后的连续轨迹通常为用户绘制的轨迹，连续绘制完毕后落笔，并根据下一步书写目的在其他坐标处继续绘制。

用户绘制意图类型判断模块12，用于将用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型。所述用户绘制意图类型包括图形绘制意图、文字绘制意图至少其中一种。

进一步的，在本申请提供的一种优选的实施例中，所述手绘流程图标准化生成装置100还包括预处理模块，所述预处理模块具体用于：

预处理用户绘制时间戳数据，所述时间戳数据包括用户绘制的起笔时间和落笔时间；

将用户绘制的路径信息转换为特定大小的图片；

提取图片的边缘特征，并将特征转化为1维向量；

将预处理后的时间戳数据和路径信息特征向量进行拼接，获得特征化的用户绘制记录数据。

具体的，以其中的一次起落笔为例，所述预处理模块具体用于：

预处理时间戳数据(1,2)1行2列，为起笔和落笔时间；

绘制的轨迹路径转图片，并把图片缩放到指定大小(m，n)，m，n代表尺寸、长宽；

提取图片的边缘特征，并将特征转化为1维向量(1,k)；

预处理后的时间戳数据和轨迹特征进行拼接(1,(k+2))。

进一步的，在本申请提供的一种优选的实施例中，所述用户绘制意图类型判断模块12还用于：

将特征化的用户绘制记录数据输入至意图判断模型，判断用户绘制意图类型，具体包括：

根据当前和历史的特征化的用户绘制记录数据，组成序列为N的笔画绘制记录数据，所述N为大于1的正整数；

将所述笔画绘制记录数据输入至意图判断模型，判断当前的用户绘制意图类型。

可以理解的是，用户在触控屏上的绘制具有一定随机性、节奏性和时间上的持续性，可以将一个时间段内的多次起落笔数据，组成一个序列为N的笔画绘制记录数据。具体见下表：

将该组序列为N的起落笔数据(N,k+2)输入至意图判断模型，根据输入模型中的当前的绘制记录数据和之前N-1次的历史绘制记录数据，判断当前的用户绘制意图类型。

进一步的，在本申请提供的一种优选的实施例中，所述用户绘制意图类型判断模块12还用于：

根据当前的用户绘制意图类型判断结果，调整历史的用户绘制意图类型判断结果。

用户绘制意图类型的判断是一个持续动态的过程，需要根据持续获取的绘制记录数据进行调整。

例如用户起笔画出一条横线，则其可能是汉字“一”或者其他汉字的第一笔画，也可能是某一个框图边线的一段，需要根据后续的绘制记录，持续动态的调整和判断用户绘制意图类型。

进一步的，在本申请提供的一种优选的实施例中，所述意图判断模型，通过 LSTM长短期记忆网络构建和优化。

LSTM(Long short-term memory，长短期记忆)算法是一种RNN(Recurrent NeuralNetwork，循环神经算法)算法的特殊类型，可以学习长期依赖信息。

本申请中，意图判断模型的构建，首先通过采集用户绘制的不同的图形和文字信息，或者模拟用户绘制出不同的图形和文字信息，作为初始训练数据，经过预处理为特征化的用户绘制记录数据后，输入至LSTM长短期记忆网络，人工判断其用户绘制意图类型为图形绘制意图或者文字绘制意图，进行标注后通过意图判断模型输出判断结果。

经过初始训练数据的模拟训练之后，部署意图判断模型，实时获取用户绘制记录数据，经过预处理为特征化的用户绘制记录数据后，输入至LSTM意图判断模型，判断当前的用户绘制意图类型。同时，在接下来的用户绘制过程中，不断的进行用户绘制意图类型判断，不断的根据识别的意图对绘制内容进行调整。

例如，在写汉字“川”的时候，写第一笔的时候预测结果是直线，将该笔画按照预测结果进行了调整，写第二画的时候还是预测的直线，根据预测结果也进行了调整，然而在输入第三笔的时候，预测结果就是汉字，并撤销了前两步的调整，重新进行文字的识别。

又如，用户连续输入3笔，生成如图3所示绘制轨迹，通过这些信息可以预测出是绘制一个三角形。

但是随着笔画的增加，如图4所示，可以识别出绘制的是一个五角星。

基于绘制，根据模型，判定之前是一组完整的图形，做完规整后继续识别后续的图，如图5所示。

用户绘制信息识别模块13，用于根据用户绘制意图类型判断结果，识别用户绘制信息。所述用户绘制信息识别结果包括图形信息和文字信息至少其中一种。

进一步的，在本申请提供的一种优选的实施例中，当所述用户绘制意图类型为图形绘制意图时，所述用户绘制信息识别模块13具体用于：

提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；

将用户绘制路径信息图片输入至图形分类识别模型，识别用户绘制的图形类型。

可以理解的是，当所述用户绘制意图类型为图形绘制意图时，提取当前用户绘制记录中的路径信息，并将用户绘制的路径信息转换为特定大小的图片，将用户绘制路径信息图片输入至图形分类识别模型，识别用户绘制的图形类型。

例如，当用户手绘的图形为不标准的长方形、圆形和直线时，通过图形分类识别模型，如图6所示，识别出其图形类型。

进一步的，在本申请提供的一种优选的实施例中，所述图形分类识别模型，通过CNN神经网络构建和优化。

本申请中，图形分类识别模型的构建，首先通过采集用户绘制的图形，或者模拟用户绘制的图形，作为初始训练数据，将收集到的图形绘制路径信息转换为特定大小的图片后，输入至CNN神经网络，人工判断其图形为圆形、方形、箭头、直线或者其他图形，进行标注后通过图形分类识别模型输出识别结果。

经过初始训练数据的模拟训练之后，部署图形分类识别模型，实时获取用户绘制记录数据，提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片，将用户绘制路径信息图片输入至CNN神经网络图形分类识别模型，识别用户绘制的图形类型。

进一步的，在本申请提供的一种优选的实施例中，当所述用户绘制意图类型为文字绘制意图时，所述用户绘制信息识别模块13具体用于：

提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；

通过手写OCR技术识别图片中的文字信息。

可以理解的是，针对手写文字信息，可以通过提取用户绘制记录中的路径信息，将用户绘制的路径信息转换为特定大小的图片；通过手写OCR技术识别图片中的文字信息。

标准化流程图生成模块14，用于根据用户绘制信息识别结果，生成标准化流程图。

判断出用户绘制的意图和识别出用户绘制信息之后，即可根据用户绘制的坐标信息，生成标准化的绘制结果。

进一步的，在本申请提供的一种优选的实施例中，所述标准化流程图生成模块14，具体用于：

根据用户绘制记录的坐标信息和用户绘制信息识别结果的图形信息，生成和用户绘制记录大小和位置匹配的标准图形；

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将所述文字信息生成到相应位置的标准图形中；

根据文字信息数量，调整标准图形大小，适配文字信息数量；

将所述标准图形及相应的文字信息生成为结构化的数据信息。

具体的，当识别出用户绘制信息为相应的图形信息后，即可根据用户绘制记录中的起笔和落笔坐标信息，确定图形在触控屏上的位置。可以理解的是，由于手绘图形和线条的误差，用户绘制记录中的起笔和落笔坐标与标准图形可能产生一定误差。可以起笔坐标为基准，也可以落笔坐标为基准，亦可根据起笔坐标和落笔坐标的算术平均值为基准，或者绘制轨迹中的其他坐标点为基准，以该基准为方形的顶点，圆形的圆周点或者箭头的起点，来确定生成的标准图形的大小和位置。

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将文字信息生成到相应的标准图形中。可以理解的是，文字信息的坐标，通常位于标准图形坐标范围内，考虑到用户手绘的误差，可以预设一定的坐标误差范围，该坐标误差范围内的文字信息与相应的标准图形相匹配。

为了进一步优化显示效果，可以根据文字信息数量，调整标准图形大小，适配文字信息数量。

根据用户绘制记录的坐标信息和用户绘制信息识别结果的文字信息，将文字信息生成到相应的标准图形中之后，建立文字信息和相应图形信息的关联，生成本次绘制的结构化信息，可通过此结构化信息进行标准流程图的还原，便于存储和多设备无损画质还原(如在大屏上保证清晰度)，亦可通过此结构化信息根据文字信息内容的多少和格式设定，适配调整图形大小。

进一步的，在本申请提供的一种优选的实施例中，所述标准化流程图生成模块14，还用于：

根据用户绘制信息识别结果，建立标准图形之间的连接；

根据用户绘制信息识别结果，对生成的标准化流程图进行排版；

根据排版结果，适配调整不同标准图形及相应的文字信息的大小和位置。

可以理解的是，随着用户多次绘制的输入，需要建立不同的文字信息和相应的标准图形之间的连接和逻辑关系。例如，在两个方框之间创建箭头连接，则创建两个图形之间的连接。连接后，根据线段长度和方框大小自动调整位置进行排版。根据排版结果，适配调整不同标准图形及相应的文字信息的大小和位置，增加整体美观度。

进一步的，在本申请提供的一种优选的实施例中，所述用户绘制意图类型还包括操作绘制意图，所述操作绘制意图包括删除意图、修改意图、涂抹意图至少其中一种。

可以理解的是，用户在手写过程中，时常会出现笔误，需要临时的删除、修改和涂抹，因此需要将用户基于删除、修改和涂抹意图进行的绘制与正常的图形绘制意图和文字绘制意图区别开来。

进一步的，在本申请提供的一种优选的实施例中，所述标准化流程图生成模块14，还用于：

若所述用户绘制意图为删除意图，删除当前生成内容；

若所述用户绘制意图为修改意图，重新识别用户绘制信息，生成标准化流程图；

若所述用户绘制意图为涂抹意图，重新识别用户绘制信息，生成标准化流程图。

可以理解的是，若所述用户绘制意图为删除意图，例如通过斜线、打叉或者其他绘制方式进行操作，则可删除之前在该绘制记录坐标范围内的生成内容，并根据删除后的用户绘制信息，重新生成标准化流程图。

若所述用户绘制意图为修改意图，例如删除后的重新书写，或者在原生成内容区域的覆盖书写，则重新识别用户绘制信息，删除原生成内容，并重新生成标准化流程图。

若所述用户绘制意图为涂抹意图，则删除涂抹区域的生成内容，根据涂抹删除后的绘制信息，重新生成标准化流程图。

在一个典型的配置中，计算机可以包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM) 和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。