一种基于场景图演化的过程性文本理解方法和系统

摘要

本发明公开了一种基于场景图演化的过程性文本理解方法和系统。该方法主要包含：图结构编码器充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息；上下文编码器充分挖掘当前时刻自然语言中表达的新事件信息；图结构预测器通过图结构编码器提供的场景图信息和上下文编码器提供的新事件信息预测下一时刻的场景图结构；状态推理器基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。本发明能够有效提升过程性文本理解任务的性能，并且基于图的推理方法能够同步追踪所有实体，显著提升了过程性文本理解系统的效率。

说明书

技术领域

本发明涉及一种过程性文本理解方法，特别是涉及一种基于场景图演化的过程性文本理解方法和系统，属于自然语言处理技术领域。

背景技术

理解事件是如何影响世界是智能的一个本质问题。过程性文本理解任务，旨在追踪自然语言文本中涉及到的不同实体的状态和位置信息，是评估机器能否理解世界变化智能的一个代表性任务。如图1(a)所示，给定一段描述光合作用的自然语言文本，机器需要追踪其中涉及到的实体“water”随着自然语言描述的进行，他们的状态变化序列“Move,Move”和位置变化序列“root,leaf”。相较于传统的机器阅读理解任务，过程性文本理解面临更大的挑战：机器需要认知建模动态变化的世界并进行推理。

目前几乎所有的过程性文本理解方法均采用逐实体的建模和推理框架：它们分别地追踪不同的实体，独立地预测每个实体地状态变化序列和位置变化序列。如图1(a)所示，逐实体过程性文本理解方法大多依赖层次神经网络结构。给定一个段落和一个特定的待追踪实体：首先，层次神经网络结构通过一个词级别的编码器获得词级别的句子内交互表示；其次，层次神经网络通过一个句子级别的编码器获得句子级的文档内交互表示；最后，再通过两个不同的追踪器分别追踪实体状态和位置信息。近年来，研究者们的研究热点大多在于利用预训练语言模型或图结构的编码器获得更加精确的文档-实体表示。

然而，传统的逐实体的过程性文本理解方法忽视了同一个自然语言文本中的不同实体应当存在的互相交互和同一个实体状态序列和位置序列应当存在的互相影响。如图1(b)所示，如果我们知道实体“water”和“minerals”会共同作用产生实体“mixture”，那么实体“water”和“minerals”肯定在同一个位置。类似的，如果我们知道实体“water”相邻的两个时刻处于不同的位置“root”和“leaf”，那么实体“water”在这个时刻的状态肯定是“Move”。同时，一些常识概念也有助于帮助机器理解世界，如果我们知道“root”和“leaf”都是“plant”的一部分，那么我们在预测位置变化序列的时候，会更倾向于在“root”之后预测“leaf”。最后，对输入的自然语言文本，逐实体的过程性文本理解方法缺少对上述几个方面的交互建模，大大降低了过程性文本理解的性能。并且，逐实体的过程性文本理解方法需要对每个单独实体进行分别推理追踪，大大降低了过程性文本理解的效率。

发明内容

为了克服逐实体的过程性文本理解方法缺乏实体间交互建模，状态变化序列及位置变化序列间的互相影响，和逐实体推理追踪的低效率问题，本发明提供了一种基于场景图演化的过程性文本理解方法和系统。

本发明采用的技术方案如下：

一种基于场景图演化的过程性文本理解方法，包括以下步骤：

利用图结构编码器，通过图注意力网络，充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息，以为场景图的演化提供丰富的当前场景图信息；

利用上下文编码器，通过Transformer结构的预训练语言模型充分挖掘当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，以为场景图的演化提供精确的新事件信息；

基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息，利用图结构预测器预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；

基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，利用状态推理器通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。

进一步地，利用过程性文本可以表示为一系列不同时刻的场景图和新时刻输入的自然语言描述的特点，分别通过所述图结构编码器和所述上下文编码器建模和捕捉对应信息，获得具有丰富交互信息的场景图信息和事件敏感的上下文信息。

进一步地，所述图结构预测器基于具有丰富交互信息的场景图信息和事件敏感的上下文信息预测下一时刻的场景图结构，并通过所述状态推理器同步追踪所有实体的状态和位置，有效提升过程性文本理解任务的性能，并显著提升过程性文本理解系统的效率。

一种采用上述方法的基于场景图演化的过程性文本理解系统，其包括：

图结构编码器，用于通过图注意力网络，充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息，以为场景图的演化提供丰富的当前场景图信息；

上下文编码器，用于通过Transformer结构的预训练语言模型充分挖掘当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，以为场景图的演化提供精确的新事件信息；

图结构预测器，用于基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息，预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；

状态推理器，用于基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。

与现有技术相比，本发明的有益效果是：

1)通过总结当前场景图信息的图结构编码器和捕获新事件信息的上下文编码器，能够获得具有丰富交互信息的场景图信息和事件敏感的上下文信息。

2)演化场景图的图结构预测器能够有效提升过程性文本理解任务的性能。

3)同时追踪所有实体的状态推理器显著提升了过程性文本理解系统的效率。

附图说明

图1为逐实体的过程性文本理解方法和场景级过程性文本理解方法比较示意图。

图2为基于场景图演化的过程性文本理解方法示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明主要利用过程性文本可以表示为一系列不同时刻的场景图和新时刻输入的自然语言描述的特点，内容包括：(一)总结当前场景图信息的图结构编码器；(二)捕获新事件信息的上下文编码器；(三)演化场景图的图结构预测器；(四)同时追踪所有实体的状态推理器。图结构编码器充分建模了当前场景图中不同实体、状态、位置和常识概念之间的交互信息。上下文编码器充分挖掘了当前时刻自然语言中表达的新事件信息。图结构预测器通过图结构编码器提供的场景图信息和上下文编码器提供的新事件信息预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系。状态推理器基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。通过上述基于场景图演化的过程性文本理解方法，本发明能够充分建模过程性文本中涉及到的多个实体以及实体相关的状态、位置和常识概念之间的交互，有效提升过程性文本理解任务的性能。并且，基于图的推理方法能够同步追踪所有实体，显著提升了过程性文本理解系统的效率。

本发明的一种基于场景图演化的过程性文本理解方法，其关键步骤包括：

1)总结当前场景图信息的图结构编码器，通过图注意力网络，充分建模了当前场景图中不同实体、状态、位置和常识概念之间的交互信息，为场景图的演化提供了丰富的当前场景图信息；

2)捕获新事件信息的上下文编码器，通过Transformer结构的预训练语言模型充分挖掘了当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，为场景图的演化提供了精确的新事件信息；

3)演化场景图的图结构预测器，基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；

4)同时追踪所有实体的状态推理器，基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。

5)基于上述三个互相协作的编码器、预测器，本发明能够充分建模过程性文本中涉及到的多个实体以及实体相关的状态、位置和常识概念之间的交互，有效提升过程性文本理解任务的性能。同时，基于上述状态推理器，能够同步追踪所有实体，显著提升了过程性文本理解系统的效率。

本发明涉及以下所述的关键要素：

1.总结当前场景图信息的图结构编码器

给定当前时刻t，图结构编码器利用图注意力网络编码当前时刻的场景图

如图2所示，具体地，给定时刻t下的一系列图节点特征

其中，

其中，

其中，σ表示激活函数。

最终，使用最后一次更新中代表整个场景图的[Global]全局节点的向量表示作为时刻t的场景图表示：

其中，

2.捕获新事件信息的上下文编码器

给定当前时刻t，上下文编码器利用Transformer结构的预训练语言模型编码下一时刻t+1的新自然语言文本。通过该方法，当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件能够被充分捕获。

如图2所示，具体地，给定时刻t+1下的新自然语言文本，首先重新构建输入自然语言文本为：{[CLS]water[SEP]minerals[SEP]This combination of water and mineralsflows from the stem into the leaf.[SEP]}。其中，[CLS]和[SEP]是特殊的分隔符。通过该方法，上下文编码器能够在进行编码前对需要追踪的实体“water”和“minerals”有充分的认知，从而获得实体敏感的上下文编码表示。

然后，将上述重构后的自然语言文本对应的词向量以及位置向量送入Transformer结构的预训练语言模型BERT。最终，使用最后一层中[CLS]对应向量表示作为时刻t+1的新事件表示：

其中，

3.演化场景图的图结构预测器

基于上述总结当前场景图信息的图结构编码器和捕获新事件信息的上下文编码器，演化场景图的图结构预测器通过自回归形式预测一系列不同时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系：

其中，

如图2所示，具体的，每个概念节点存在与否，图结构预测器通过预测一个对不同节点的掩码矩阵来实现：

相似的，场景图中两两概念节点之间的关系存在与否，类别是什么，图结构预测器通过预测一个三维的关系张量来实现：

其中，f

模型通过优化预测得到的节点掩码矩阵和关系张量和正确标注的节点掩码和关系张量之间的最大似然估计进行训练：

其中，

4.同时追踪所有实体的状态推理器

最后，在模型训练完毕用于测试追踪实体时，状态推理器通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。例如：

1)实体“water”相邻的两个时刻处于不同的位置“root”和“leaf”，那么实体“water”在这个时刻的状态肯定是“Move”。

2)实体“water”相邻的两个时刻处于从未被节点掩码变成了被节点掩码，那么实体“water”在这个时刻的状态肯定是“Destroy”。

下面以追踪自然语言文本“The roots absorb water and minerals from thesoil.This combination of water and minerals flows from the stem into theleaf.”中的实体“water”和“mineral”的状态变化序列“Move,Move”和位置变化序列“root,leaf”为例，对本发明做进一步说明。

场景：

训练语料：

过程性文本理解训练例1：“Chloroplasts in the leaf of the plant trapslight from the sun.”

实体“light”的状态变化序列“Exist,Move”,置变化序列“sun,leaf”。

构造的系列场景图以及对应的节点掩码矩阵和三维关系张量。

测试语料：

测试例1：“The roots absorb water and minerals from the soil.Thiscombination of water and minerals flows from the stem into the leaf.”

实施：

(一)基于训练语料，使用神经网络模型构建过程性文本理解系统。在本方法中，神经网络模型包括：总结当前场景图信息的图结构编码器，捕获新事件信息的上下文编码器，演化场景图的图结构预测器和同时追踪所有实体的状态推理器。

(二)基于神经网络模型，判定测试实例中每个时刻的场景图。例如测试例1，模型将预测如图2中的多个场景图。并通过场景图和专家知识约束预测出最终的状态变化序列以及位置变化序列：“Move,Move”和“root,leaf”。在本例中，这是由于，之前在模型训练中，模型从训练实例1中学习到了对当前场景图的丰富交互信息建模和对当前自然语言中描述的新事件信息挖掘，从而更好地演化动态图并进行推理。

基于同一发明构思，本发明的另一实施例提供一种采用上述方法的基于场景图演化的过程性文本理解系统，其包括：

图结构编码器，用于通过图注意力网络，充分建模当前场景图中不同实体、状态、位置和常识概念之间的交互信息，以为场景图的演化提供丰富的当前场景图信息；

上下文编码器，用于通过Transformer结构的预训练语言模型充分挖掘当前新的自然语言表述中存在的事件，尤其是对需要追踪的实体相关的事件，以为场景图的演化提供精确的新事件信息；

图结构预测器，用于基于图结构编码器提供的场景图信息和上下文编码器提供的新事件信息，预测下一时刻的场景图结构，包括场景图中存在的实体以及每个存在实体与位置、常识概念之间的关系；

状态推理器，用于基于图结构预测器自回归形式地预测出一系列时刻的场景图结构，通过对比相邻时刻的场景图结构和相应的专家知识同步追踪所有实体的状态和位置。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

以上公开的本发明的具体实施例，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例所公开的内容，本发明的保护范围以权利要求书界定的范围为准。