一种文本总结方法、文本总结装置和计算机可读存储介质

摘要

本申请公开了一种文本总结方法、文本总结装置和计算机可读存储介质，该方法包括：获取第一文本信息与文本总结模型，文本总结模型包括关键信息提取网络、嵌入层以及抽取生成网络；采用关键信息提取网络对第一文本信息进行处理，得到第一关键信息；将第一关键信息采用嵌入层映射为第一关键向量序列；采用抽取生成网络对第一关键向量序列进行处理，得到第一总结信息。通过上述方式，本申请能够优化文本总结的效果。

说明书

技术领域

本申请涉及数据处理技术领域，具体涉及一种文本总结方法、文本总结装置和计算机可读存储介质。

背景技术

客服工作是公司/机构与用户之间相互沟通的最主要形式，每通电话的内容被记录为一件工单，工单信息的分析和挖掘对于提高效率来说意义重大。本申请发明人经长期研究发现：通过自然语言处理(Natural Language Processing，NLP)技术可以很大程度地提高人效，帮助客户对工单做自动化的分析，例如：分类、总结或摘要等，但在实际使用过程中还存在较多的技术难题，例如：工单信息中对话内容很长，致使NLP技术的分析挖掘难度陡增。

发明内容

本申请提供一种文本总结方法、文本总结装置和计算机可读存储介质，能够优化文本总结的效果。

为解决上述技术问题，本申请采用的技术方案是：提供一种文本总结方法，该方法包括：获取第一文本信息与文本总结模型，文本总结模型包括关键信息提取网络、嵌入层以及抽取生成网络；采用关键信息提取网络对第一文本信息进行处理，得到第一关键信息；将第一关键信息采用嵌入层映射为第一关键向量序列；采用抽取生成网络对第一关键向量序列进行处理，得到第一总结信息。

为解决上述技术问题，本申请采用的技术方案是：提供一种文本总结装置，该文本总结装置包括：获取模块与处理模块，获取模块用于第一文本信息与文本总结模型，文本总结模型包括关键信息提取网络、嵌入层以及抽取生成网络；处理模块用于采用关键信息提取网络对第一文本信息进行处理，得到第一关键信息；将第一关键信息采用嵌入层映射为第一关键向量序列；采用抽取生成网络对第一关键向量序列进行处理，得到第一总结信息。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种文本总结装置，该文本总结装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的文本总结方法。

为解决上述技术问题，本申请采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的文本总结方法。

通过上述方案，本申请的有益效果是：先获取第一文本信息与文本总结模型，该文本总结模型包括关键信息提取网络、嵌入层以及抽取生成网络；然后将第一文本信息输入关键信息提取网络，生成第一关键信息；再将第一关键信息输入嵌入层，生成第一关键向量序列；再将第一关键向量序列输入抽取生成网络，生成第一总结信息。由于在嵌入层之前部增加关键信息提取网络，而关键信息提取网络具有定位输入文本信息中较为关键的信息的功能，可以有效解决因输入文本较长导致干扰较多，最终使得学习的成本较高、总结效果较差的问题，能够有效缩短总结所花费的时间以及提升总结的准确性，实现对文本总结的优化。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的文本总结方法一实施例的流程示意图；

图2是本申请提供的文本总结模型的结构示意图；

图3是本申请提供的第一文本信息与第一关键信息的示意图；

图4是本申请提供的文本总结方法另一实施例的流程示意图；

图5是本申请提供的关键信息提取网络的结构示意图；

图6是本申请提供的文本总结装置一实施例的结构示意图；

图7是本申请提供的文本总结装置另一实施例的结构示意图；

图8是本申请提供的计算机可读存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

工单总结的技术方案可分为两类，一类是抽取式的模型，主要思想是从原始输入文本中抽取部分段落作为总结结果，另一类是生成式的模型，主要思想是基于Transformer等网络模型，自动生成总结结果。对于长文本的处理，为了避免噪声干扰、保证总结效果，使用长文本截断的技术方案，默认客户进线的关键信息都在工单信息的前部，因此统一对文本进行截断处理；这种做法简单有效地解决了部分特定领域的问题，并且取得不错的效果；但是对于某些领域的客服工单来说，往往工单内容特别冗长，关键信息也并非一定在头部，如果简单粗暴地使用长文本截断的方式，很容易丢失关键信息，引入更多的无效干扰信息，因此分析挖掘的效果会变得很差。因此这些方案无法很好地定位输入的工单文本中的关键信息，往往容易损失关键信息。

请参阅图1，图1是本申请提供的文本总结方法一实施例的流程示意图，该方法包括：

步骤11：获取第一文本信息与文本总结模型。

文本总结模型为预先训练好的学习模型，如图2所示，该文本总结模型包括关键信息提取网络、嵌入(embedding)层以及抽取生成网络，可将第一文本信息输入文本总结模型，该文本总结模型对第一文本信息进行处理得到第一总结信息，该第一文本信息可以为工单信息或文章信息。

步骤12：采用关键信息提取网络对第一文本信息进行处理，得到第一关键信息。

在获取到第一文本信息后，可将该第一文本信息输入文本总结模型中的关键信息提取网络，该关键信息提取网络能够对第一文本信息进行处理，从第一文本信息中提取出较为关键的信息(即第一关键信息)；例如，如如3所示，第一文本信息为“您好，我想咨询下如何办理银行贷款？好的，稍等下。请问之前来我们银行办理过业务吗？没有，这是第一次来”，第一关键信息为“咨询下如何办理银行贷款”。

步骤13：将第一关键信息采用嵌入层映射为第一关键向量序列。

在从第一文本信息中提取出第一关键信息之后，可将该第一关键信息输入至嵌入层，该嵌入层对第一关键信息进行处理，以将该第一关键信息转换为向量，得到第一关键向量序列。

步骤14：采用抽取生成网络对第一关键向量序列进行处理，得到第一总结信息。

在获取到第一关键向量序列之后，可将该第一关键向量序列输入至抽取生成网络，以使得抽取生成网络对第一关键向量序列进行处理，生成第一总结信息，该第一文本信息可以为第一总结信息中的一部分；例如，假设第一文本信息为：“手机卡的套餐费用为多少”，第一总结信息为：“手机套餐费用”。

进一步地，抽取生成网络可以为抽取式的文本总结模型、生成式的文本总结模型或者这两种模型的融合(即融合模型)。

本实施例针对工单总结技术，提出了一种优化长文本的文本总结方案，由于在文本总结模型的网络结构中引入了关键信息提取网络，提高了关键信息的定位抽取效率和精度，能够减少输入的文本信息中的无效信息，降低无效信息对总结效果的干扰，能够让文本总结模型自动适应各种长度的文本信息，从而改善长文本总结效果差的问题。

请参阅图4，图4是本申请提供的文本总结方法另一实施例的流程示意图，该方法包括：

步骤41：获取音频数据，将音频数据转换成第二文本信息。

在实际应用过程中，获取到的原始数据可能是音频数据，通过语音转写技术将音频数据转写为文本数据(即第二文本信息)，从而满足文本总结模型的使用需求。

步骤42：对第二文本信息进行预处理，得到第一文本信息。

在获取到转写的第二文本信息后，可对第二文本信息进行预处理，生成第一文本信息；具体地，考虑数据转写质量以及数据本身质量等问题，可对第二文本信息的格式和质量进行校验和数据预处理，从而保证数据的可靠性。

进一步地，对第二文本信息的格式进行检测，以确定第二文本信息的格式是否为预设格式；若第二文本信息的格式为预设格式，则对第二文本信息进行格式转换处理，得到第一文本信息。或者，由于音频数据转成文本数据时可能不太准确，可以采用人工校验的方式对第二文本信息进行校验，实现对文本数据的质量进行校验，以保证输入至文本总结模型的文本数据是准确的。

步骤43：采用关键信息提取网络对第一文本信息进行处理，得到第一关键信息。

将第一文本信息输入到关键信息抽取网络中，得到第一关键信息，关键信息抽取网络可以为前馈网络。具体地，如图5所示，该关键信息提取网络包括输入层、非线性变换层与输出层，输入层用于将第一文本信息转换为单词特征序列，非线性变换层用于对单词特征序列进行处理得到关键特征，输出层用于对关键特征进行处理得到第一关键信息。

进一步地，非线性变换层包括多个神经元，单词特征序列包括预设数量个单词特征，第i个神经元用于对第m

在一具体的实施例中，假设非线性变换层包括K个神经元，K一般由用户设定，例如可以为5、10或15等，通常K越大，抽取效果越好，但训练模型花费的代价会更大，需要的样本数量将增加。每个神经元具有两个参数：m

其中，f为非线性变换层的输出，x为单词特征序列，x[m

通过非线性变化可以对输入的长文本数据(即第一文本信息)进行信息抽取，参数m

步骤44：将第一关键信息采用嵌入层映射为第一关键向量序列。

对于关键信息提取网络抽取的第一关键信息，在输入抽取生成网络进行结果预测之前，通过嵌入层进行向量化表示，生成第一关键向量序列。

步骤45：将第一关键向量序列输入抽取生成网络，得到单词的概率分布。

将第一关键向量序列输入抽取生成网络中以进行文本总结处理，得到总结的结果(即单词的概率分布)；该抽取生成网络可以为Transformer模型或者Transformer与copy的融合模型；第一关键信息包括至少一个单词，概率分布包括单词以及单词的概率，例如，第一关键信息包括三个字母：A-C，字母A的概率为0.72，字母B的概率为0.8，字母C的概率为0.95，则概率分布为{(A，0.72)，(B，0.8)，(C，0.95)}。

步骤46：基于概率分布获取第一总结信息。

判断概率分布中每个单词的概率是否大于预设概率，该预设概率可以预先根据经验或应用需要设置的概率值，比如：0.5、0.55或0.6；若该单词的概率大于预设概率，则将单词记作待输出单词；重复执行上述步骤，直至完成对每个单词的概率的判断；然后按照预设顺序对待输出单词进行排列，得到第一总结信息，该预设顺序可以为第一关键信息中单词的排列顺序；例如，假设第一文本信息为“您好，我想咨询如何办理银行存款？好的，请稍等。请问您需要开通信用卡吗？对，需要开通信用卡”，第一关键信息为“咨询如何办理银行存款，需要开通信用卡”，通过嵌入层与抽取生成网络的处理，得到第一总结信息：“办理存款、开通信用卡”。

可以理解地，在其他实施例中，文本总结模型还可包括网络输出层，网络输出层与抽取生成网络连接，其用于接收抽取生成网络输出的概率分布，即由输出层来执行基于概率分布获取第一总结信息的任务。

通过加入关键信息提取网络，可以对输入的长文本做精准的关键信息定位抽取，生成第一关键信息；然后将第一关键信息输入到后面的嵌入层与抽取生成网络中，进行特征向量化表示和特征提取。由于整个模型的模型参数能够随着损失计算和反向推理不断更新调整，可自适应地处理不同长度的文本数据，从而有效解决长文本的总结效率、效果差的问题。

在一具体的实施例中，为了实现对输入的文本数据进行总结，先训练文本总结模型，该文本总结模型包括关键信息提取网络、嵌入层以及抽取生成网络，采用如下步骤进行训练：

(1)获取训练样本集。

训练样本集包括多个训练样本，训练样本包括文本信息以及与文本信息对应的标签(即真实的总结信息)。

在一具体的实施例中，可先获取音频数据，再使用语音转文字的方法将音频数据转成文本数据(即文本信息)；为了使得文本总结模型的总结效果较好，可对文本信息进行基本的数据增强和数据去噪处理，以形成数据集，该数据集包括训练数据和测试数据。

(2)从训练样本集中选择一个训练样本的文本信息输入得到第二总结信息。

在获取到预处理后的文本信息后，将该文本信息输入关键信息提取网络，得到第二关键信息，实现对文本信息进行关键信息定位并抽取，以精准把握当前文本信息的核心内容，去除无效干扰信息，从而提高总结效果。然后将第二关键信息输入嵌入层，嵌入层能够实现对第二关键信息进行特征向量化表示，生成第二关键向量序列。再将第二关键向量输入抽取生成网络，得到第二总结信息。

(3)对第二总结信息与标签进行比较，并调整模型参数，直至满足预设停止条件。

将第二总结信息与相应的标签进行比较，计算出当前损失值，判断当前是否满足预设停止条件。如果未达到预设停止条件，则继续使用训练样本集中的训练样本进行训练，并调整模型参数，直至训练完成，得到训练好的文本总结模型。

进一步地，预设停止条件可以包括：损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件等。

模型参数包括关键信息提取网络的参数、嵌入层的参数或抽取生成网络的参数，即在训练过程中，学习将第二关键信息转为第二关键向量序列的嵌入层的参数、关键信息提取网络的参数以及抽取生成网络的参数，实现实时更新和优化模型参数，自适应的学习到最优的文本总结网络结构，在模型训练结束后，得到优化长文本关键信息定位的文本总结模型。

本实施例提供了一种基于关键信息定位机制的长文本工单总结方法，针对长文本工单总结效果较差的问题，在融合模型中引入关键信息提取网络，自适应学习最优抽取参数，提高了关键信息的定位抽取效率和精度，优化了长文本工单总结的效果。

请参阅图6，图6是本申请提供的文本总结装置一实施例的结构示意图，文本总结装置60包括：获取模块61与处理模块62。

获取模块61用于第一文本信息与文本总结模型，文本总结模型包括关键信息提取网络、嵌入层以及抽取生成网络。

处理模块62与获取模块61连接，其用于采用关键信息提取网络对第一文本信息进行处理，得到第一关键信息；将第一关键信息采用嵌入层映射为第一关键向量序列；采用抽取生成网络对第一关键向量序列进行处理，得到第一总结信息。

本实施例提出了一种优化长文本工单总结技术的方案，在文本总结的网络结构前部增加具有关键信息定位功能的关键信息提取网络，可以自动适应地处理各种长度的工单信息，从而改善长文本总结效果差的问题。

请参阅图7，图7是本申请提供的文本总结装置另一实施例的结构示意图，文本总结装置70包括互相连接的存储器71和处理器72，存储器71用于存储计算机程序，计算机程序在被处理器72执行时，用于实现上述实施例中的文本总结方法，文本总结装置70可以为坐席助手。

本实施例采用了新的关键信息抽取网络，能够自适应地抽取关键信息并输入嵌入层，适用于类似工单总结业务的长文本分析挖掘中，能够提升长文本工单的分析挖掘效果。

请参阅图8，图8是本申请提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质80用于存储计算机程序81，计算机程序81在被处理器执行时，用于实现上述实施例中的文本总结方法。

计算机可读存储介质80可以是服务端、U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。