一种法律文书要素解析方法及系统

摘要

本发明提供一种法律文书要素解析方法及系统，该方法为：获取待解析的法律文书。对法律文书进行分句处理，得到多条待解析语句。逐一将待解析语句输入预先建立的要素解析模型进行要素解析，得到法律文书中每条待解析语句包含的要素，其中，要素解析模型由基于样本数据训练语言模型获得。在本方案中，通过海量的法律文书预先训练语言模型得到要素解析模型，将需要解析的法律文书进行分句处理得到多条待解析语句，将每一条待解析语句作为要素解析模型的输入得到每条待解析语句中的要素，从而节约人力成本和时间成本，提高判决的准确性和效率。

说明书

技术领域

本发明涉及法律文书处理技术领域，具体涉及一种法律文书要素解析方法及系统。

背景技术

随着现代社会的发展，法律是文明社会发展过程中的产物之一。法律通常是指由社会认可国家确认立法机关制定规范的行为准则，并由国家强制力保证规定当事人权利和义务为内容的，对全体社会成员具有普遍约束力的一种特殊行为规范。当社会成员之间出现纠纷时，由司法机关按照法律进行立案裁定。

在进行法律判决时，目前较为常见的方式为要素式审判。即基于案件信息，将案件中的要素逐一提取出来，最后根据提取出来的案件要素进行法律判决。但是一方面，由于案件信息包含多种信息，人工从多种信息中提取判决所需要的要素通常需要花费大量时间和人力成本。另一方面，由于语言的多样性，对同一个定罪要素通常有多个不同的描述和表达方式，会影响判决的准确性和效率。

发明内容

有鉴于此，本发明实施例提供一种法律文书要素解析方法及系统，以解决现有人工进行要素提取存在的人力成本高、时间成本高、准确性低和效率低等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开了一种法律文书要素解析方法，所述方法包括：

获取待解析的法律文书；

对所述法律文书进行分句处理，得到多条待解析语句；

逐一将所述待解析语句输入预先建立的要素解析模型进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素，其中，所述要素解析模型由基于样本数据训练语言模型获得，所述语言模型用于根据预设数量的法律文本进行预训练确定所述要素解析模型的初始化模型参数。

优选的，当所述语言模型为BERT模型，所述由基于样本数据训练语言模型获得要素解析模型的过程包括：

对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，其中，所述样本数据基于对公开的法律文书进行分句处理获得；

将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据，训练所述第一BERT模型直至所述第一BERT模型收敛；

将收敛后的所述第一BERT模型的模型参数作为第二BERT模型的初始化模型参数；

将第二训练数据作为所述第二BERT模型的输入，结合预设的第二损失函数训练所述第二BERT模型直至所述第二BERT模型收敛，得到所述要素解析模型，其中，所述第二训练数据通过从所述样本数据中选取预设数量的法律文书进行要素标注获得。

优选的，所述将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据训练所述第一BERT模型直至所述第一BERT模型收敛，包括：

将所述第一训练数据作为所述第一BERT模型的输入，得到对应文字替换位置的文字预测结果，以及得到对应句子拼接位置的句子预测结果；

使用第一子损失函数计算所述文字替换位置的实际文字和所述文字预测结果之间的文字误差，以及使用第二子损失函数计算所述句子拼接位置的实际句子与所述句子预测结果之间的句子误差；

基于所述文字误差和句子误差，结合所述第一训练数据训练所述第一BERT模型直至所述第一BERT模型收敛；

其中，所述实际文字和实际句子来源于所述样本数据。

优选的，所述对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，包括：

随机将所述样本数据中的文字替换为预设字符，以及随机为所述样本数据中的第一语句拼接第二语句，其中，所述第二语句为所述第一语句对应的下一句或不是所述第一语句对应的下一句。

优选的，所述逐一将所述待解析语句作为预先建立的要素解析模型的输入进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素之后，还包括：

合并每条所述待解析语句包含的要素。

本发明实施例第二方面公开了一种法律文书要素解析系统，所述系统包括：

获取单元，用于获取待解析的法律文书；

处理单元，用于对所述法律文书进行分句处理，得到多条待解析语句；

预测单元，用于逐一将所述待解析语句输入预先建立的要素解析模型进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素，其中，所述要素解析模型由基于样本数据训练语言模型获得，所述语言模型用于根据预设数量的法律文本进行预训练确定所述要素解析模型的初始化模型参数。

优选的，当所述语言模型为BERT模型，所述预测单元包括：

处理模块，用于对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，其中，所述样本数据基于对公开的法律文书进行分句处理获得；

第一训练模块，用于将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据，训练所述第一BERT模型直至所述第一BERT模型收敛；

设置模块，用于将收敛后的所述第一BERT模型的模型参数作为第二BERT模型的初始化模型参数；

第二训练模块，用于将第二训练数据作为所述第二BERT模型的输入，结合预设的第二损失函数训练所述第二BERT模型直至所述第二BERT模型收敛，得到所述要素解析模型，其中，所述第二训练数据通过从所述样本数据中选取预设数量的法律文书进行要素标注获得。

优选的，所述第一训练模块包括：

预测子模块，用于将所述第一训练数据作为所述第一BERT模型的输入，得到对应文字替换位置的文字预测结果，以及得到对应句子拼接位置的句子预测结果；

误差子模块，用于使用第一子损失函数计算所述文字替换位置的实际文字和所述文字预测结果之间的文字误差，以及使用第二子损失函数计算所述句子拼接位置的实际句子与所述句子预测结果之间的句子误差；

训练子模块，用于基于所述文字误差和句子误差，结合所述第一训练数据训练所述第一BERT模型直至所述第一BERT模型收敛；

其中，所述实际文字和实际句子来源于所述样本数据。

本发明实施例第三方面公开了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本发明实施例第一方面公开的法律文书要素解析方法。

本发明实施例第四方面公开了一种法律文书要素解析设备，包括存储介质和处理器，所述存储介质存储有程序，所述处理器用于运行所述程序，其中，所述程序运行时执行如本发明实施例第一方面公开的法律文书要素解析方法。

基于上述本发明实施例提供的一种法律文书要素解析方法及系统，该方法为：获取待解析的法律文书。对法律文书进行分句处理，得到多条待解析语句。逐一将待解析语句输入预先建立的要素解析模型进行要素解析，得到法律文书中每条待解析语句包含的要素，其中，要素解析模型由基于样本数据训练语言模型获得。在本方案中，通过海量的法律文书预先训练语言模型得到要素解析模型，将需要解析的法律文书进行分句处理得到多条待解析语句，将每一条待解析语句作为要素解析模型的输入得到每条待解析语句中的要素，根据提取出来的案件要素进行分析和判决等操作，不需要人工将案件中的要素逐一提取出来，从而节约人力成本和时间成本，提高判决的准确性和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的Transformer结构示意图；

图2为本发明实施例提供的一种法律文书要素解析方法的流程图；

图3为本发明实施例提供的获得要素解析模型的流程图；

图4为本发明实施例提供的训练第一BERT模型的流程图；

图5为本发明实施例提供的一种法律文书要素解析系统的结构示意图；

图6为本发明实施例提供的一种罪法律文书要素解析系统的结构示意图；

图7为本发明实施例提供的一种法律文书要素解析系统的结构示意图；

图8为本发明实施例提供的一种法律文书要素解析系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

由背景技术可知，目前对于案件要素提取的方式为人工基于案件信息，将案件中的要素逐一提取出来，最后根据提取出来的案件要素进行法律判决。但是一方面，由于案件信息包含多种信息，人工从多种信息中提取判决所需要的要素通常需要花费大量时间和人力成本。另一方面，由于语言的多样性，对同一个定罪要素通常有多个不同的描述和表达方式，会影响判决的准确性和效率。

因此，本发明实施例提供一种法律文书要素解析方法及系统，通过海量的法律文书预先训练语言模型得到要素解析模型，将需要解析的法律文书进行分句处理得到多条待解析语句，将每一条待解析语句作为要素解析模型的输入得到每条待解析语句中的要素，以节约人力成本和时间成本，以及提高判决的准确性和效率。

需要说明的是，在本发明实施例中涉及到的(BidirectionalEncoderRepresentation from Transformers，BERT)模型是由谷歌提出的语言模型，在自然语言处理领域上对于文本具有较强的抽象能力。所述BERT模型具有12层Transformer结构。所述BERT模型的具体结构为：将输入嵌入(embedding)层的文本按照字进行切分，基于谷歌提供的字向量映射权重将字映射为768维向量，再经过12层Transformer结构得到编码向量Enc。

参考图1，示出了Transformer的结构示意图，在所述图1中，所述Transformer包括多头注意力(Multihead Attention)，残差单元(Residual Unit)、层归一化(LayerNorm)和两层全连接(FFN)。

需要说明的是，本发明实施例中涉及到的要素解析模型是针对不同的法律领域构建的，即针对一类型的法律领域，采用该法律领域对应的样本数据训练BERT模型，得到与该法律领域对应的要素解析模型。比如对于婚姻家事领域，将法律文书网中有关于婚姻家事领域的法律文书作为样本数据训练BERT模型，得到与婚姻家事领域对应的要素解析模型。

参考图2，示出了本发明实施例提供的一种法律文书要素解析方法的流程图，所述法律文书要素解析方法包括以下步骤：

步骤S201：获取待解析的法律文书。

步骤S202：对所述法律文书进行分句处理，得到多条待解析语句。

在具体实现步骤S202的过程中，使用语言技术平台(Language TechnologyPlatform，LTP)对所述法律文书进行分句处理，得到包含多条待解析语句的句子集合。

步骤S203：逐一将所述待解析语句输入预先建立的要素解析模型进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素。

在具体实现步骤S203的过程中，从法律文书网公开的数据中筛选出训练要素解析模型所需要的法律文书，并利用LTP对该法律文书进行分句处理，得到样本数据，基于样本数据训练语言模型获得所述要素解析模型。比如：假设所述要素解析模型对应的法律领域为婚姻家事领域，则从法律文书网上筛选出婚姻家事领域的法律文书，使用LTP对婚姻家事领域的法律文书进行句子切分，得到样本数据，基于所述样本数据训练语言模型获得婚姻家事领域对应的要素解析模型。当需要对婚姻家事领域的法律文书进行要素解析时，对该法律文书进行分句处理后输入婚姻家事领域对应的要素解析模型中进行要素解析，得到婚姻家事领域的法律文书中每一语句包含的要素。

需要说明的是，所述语言模型用于根据预设数量的法律文本进行预训练确定所述要素解析模型的初始化模型参数。所述语言模型的类型包括但不仅限于：ELMo模型、GPT模型和BERT模型。

需要说明的是，将每一条所述待解析语句输入预先建立的要素解析模型进行要素解析，可以获得每一条所述待解析语句中包含的0个要素或者1个以上要素。

优选的，在执行步骤S203之后，合并每条所述待解析语句包含的要素。

需要说明的是，对应法律文书要素解析结果有以下两种需要，一种是只需要获得法律文书中每一语句包含的要素，另一种是需要将法律文书中每一语句包含的要素合并，得到该法律文书的要素集合。

在本发明实施例中，通过海量的法律文书预先训练语言模型得到要素解析模型，将需要解析的法律文书进行分句处理得到多条待解析语句，将每一条待解析语句作为要素解析模型的输入得到每条待解析语句中的要素，根据提取出来的案件要素进行法律判决。不需要人工将案件中的要素逐一提取出来，再根据人工提取的要素进行法律判决，节约人力成本和时间成本，提高判决的准确性和效率。

上述本发明实施例图2公开的步骤S203中涉及到的基于样本数据训练语言模型获得要素解析模型的过程，在所述语言模型为BERT模型的情况下，可以参考图3，其中示出了本发明实施例提供的获得要素解析模型的流程图，包括以下步骤：

步骤S301：对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据。

在具体实现步骤S301的过程中，所述样本数据经由对公开的法律文书进行分句处理获得，具体的处理过程参见上述本发明实施例图2公开的步骤S203中相对应的内容，在此不再进行赘述。

在进行文字替换以及句子拼接处理时，从所述样本数据中随机挑选文字，将该文字替换为预设字符，以及随机为所述样本数据中的第一语句拼接第二语句，其中，所述第二语句为所述第一语句对应的下一句或不是所述第一语句对应的下一句。比如：随机将所述样本中的文字替换成“[MASK]”。选择需要进行句子拼接处理的句子，有50％的概率为该句子拼接对应的下一句，有50％的概率为该句子拼接其它句子。

需要说明的是，上述涉及到的随机进行文字替换和句子拼接仅适用于举例说明，也可由技术人员具体选择哪些文字需要替换成字符，以及具体选择哪些句子需要进行拼接。同理，也可每隔预设个数的文字将某些文字替换成字符，每隔预设条数的句子将某一句子进行拼接，在本发明实施例中不做具体限定。

步骤S302：将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据，训练所述第一BERT模型直至所述第一BERT模型收敛。

需要说明的是，在具体实现步骤S302的过程中，通过将所述第一训练数据作为第一BERT模型的输入，预测文字替换部位的文字和句子拼接部位的句子，结合预测结果和实际结果之间的误差，训练所述第一BERT模型对文字和句子的判断能力。例如：对于一句完整的句子，随机将该句子中的一个字替换成预设字符，训练所述第一BERT模型判断该句子的预设字符部位的实际文字是什么。对于由多个语句构成的一整段内容，对某一语句进行句子拼接处理，训练所述第一BERT模型判断该语句拼接部位对应的实际句子是什么。

步骤S303：将收敛后的所述第一BERT模型的模型参数作为第二BERT模型的初始化模型参数。

在具体实现步骤S303的过程中，将收敛后的所述第一BERT模型中embedding层和12层transformer结构的参数作为所述第二BERT模型中embedding层和12层transformer结构的初始化参数。

步骤S304：将第二训练数据作为所述第二BERT模型的输入，结合预设的第二损失函数训练所述第二BERT模型直至所述第二BERT模型收敛，得到所述要素解析模型。

在具体实现步骤S304的过程中，在所述第二BERT模型中的编码向量Enc之后选取一个768维的向量，该768维的向量通过一个768维的全连接层连接要素解析需要的类别数目，将加权交叉熵损失函数(sigmoid cross entropy loss)作为所述第二损失函数，训练所述第二BERT模型。具体训练过程如过程A1-A3示出的内容。需要说明的是，上述涉及到的向量和全连接层的维数包括但不仅限于768维。所述第二训练数据通过从所述样本数据中选取预设数量的法律文书进行要素标注获得。比如：从所述样本数据中选取800-1000篇法律文书进行分句处理后进行要素标注，得到所述第二训练数据。

A1：针对所述第二训练数据中的每一训练语句，将每一所述训练语句输入所述第二BERT模型进行预测，得到每一所述训练语句中包含的预测要素。

A2：使用所述第二损失函数计算所述预测要素与每一所述训练语句中包含的实际要素之间的误差。

A3：若所述误差小于阈值，则基于所述第二BERT模型当前的模型参数，构建所述要素解析模型。若所述误差大于阈值，则基于所述误差调整所述第二BERT模型的模型参数，基于所述第二训练数据训练所述第二BERT模型直至误差小于阈值，确定训练后的第二BERT模型为所述要素解析模型。

需要说明的是，上述过程A1-A3涉及的内容仅用于举例说明。

需要说明的是，训练神经网络模型在训练时需要一个或一系列初始参数，传统的神经网络模型的初始参数通常采用一个0均值方差较小的正态分布的随机参数，传统的神经网络模型的初始参数确定方式，对文本要素的预测效果较差。在本发明实施例中，通过预先训练所述第一BERT模型直至收敛，在训练所述第二BERT模型时，利用训练完成的所述第一BERT模型的参数结构初始化所述第二BERT模型的参数，为所述第二BERT模型提供充分的法律领域先验信息，有效提高所述要素解析模型的要素预测准确度。

在本发明实施例中，通过第一训练数据训练第一BERT模型直至收敛，将收敛的第一BERT模型的模型参数作为第二BERT模型的初始化模型参数，并通过第二训练数据训练第二BERT模型直至收敛，得到要素解析模型。利用要素解析模型对进行分句处理后的法律文书进行要素解析，得到法律文书中每一语句所包含的要素，根据提取出来的案件要素进行法律判决。不需要人工将案件中的要素逐一提取出来，再根据人工提取的要素进行法律判决，能有效降低人力成本和时间成本，提供判决准确性和效率。

上述本发明实施例图3公开的步骤S302涉及到的训练第一BERT模型的过程，参考图4，示出了本发明实施例提供的训练第一BERT模型的流程图，包括以下步骤：

步骤S401：将所述第一训练数据作为所述第一BERT模型的输入，得到对应文字替换位置的文字预测结果，以及得到对应句子拼接位置的句子预测结果。

需要说明的是，获取所述第一训练数据的过程参见上述本发明实施例图3公开的步骤S301相对应的内容，在此不再进行赘述。

步骤S402：使用第一子损失函数计算所述文字替换位置的实际文字和所述文字预测结果之间的文字误差，以及使用第二子损失函数计算所述句子拼接位置的实际句子与所述句子预测结果之间的句子误差。

在具体实现步骤S402的过程中，在所述编码向量Enc中选取第一个768维向量，该768维向量通过一个768维的全连接层分别连接所述第一子损失函数和第二子损失函数。需要说明的是，上述涉及到的向量和全连接层的维数包括但不仅限于768维。

需要说明的是，所述第一子损失函数包括但不仅限于：多分类的softmax交叉熵损失函数，所述第二子损失函数包括但不仅限于：二分类的softmax交叉熵损失函数。

步骤S403：基于所述文字误差和句子误差，结合所述第一训练数据训练所述第一BERT模型直至所述第一BERT模型收敛。

在具体实现步骤S403的过程中，所述实际文字和实际句子来源于所述样本数据，即通过所述样本数据可以获得文字替换位置的实际文字和句子拼接位置的实际句子。若所述文字误差和句子误差均小于阈值，则将所述第一BERT收敛。若所述文字误差和句子误差均大于阈值，则基于所述文字误差和句子误差调节所述第一BERT模型的模型参数，使用所述第一训练数据继续训练所述第一BERT模型直至所述文字误差和句子误差均小于阈值。

在本发明实施例中，在获取要素解析模型之前，先基于第一子损失函数和第二子损失函数，通过第一训练数据训练第一BERT模型直至收敛，将收敛后的第一BERT模型的模型参数作为第二BERT模型的初始化模型参数，再基于训练数据训练第二BERT模型直至收敛获得要素解析模型，能提高要素解析的准确性。

与上述本发明实施例公开的一种法律文书要素解析方法相对应，参考图5，本发明实施例还提供了一种法律文书要素解析系统，所述法律文书要素解析系统包括：获取单元501、处理单元502和预测单元503。

获取单元501，用于获取待解析的法律文书。

处理单元502，用于对所述法律文书进行分句处理，得到多条待解析语句。对所述法律文书的具体处理过程参见上述本发明实施例图2公开的步骤S202相对应的内容。

预测单元503，用于逐一将所述待解析语句输入预先建立的要素解析模型进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素，其中，所述要素解析模型由基于样本数据训练语言模型获得，所述语言模型用于根据预设数量的法律文本进行预训练确定所述要素解析模型的初始化模型参数。获取所述样本数据的过程参见上述本发明实施例图2公开的步骤S203相对应的内容。

在本发明实施例中，通过海量的法律文书预先训练语言模型得到要素解析模型，将需要解析的法律文书进行分句处理得到多条待解析语句，将每一条待解析语句作为要素解析模型的输入得到每条待解析语句中的要素，根据提取出来的案件要素进行法律判决。不需要人工将案件中的要素逐一提取出来，再根据人工提取的要素进行法律判决，节约人力成本和时间成本，提高判决的准确性和效率。

参考图6，示出了本发明实施例提供的一种法律文书要素解析系统的结构框图，当所述语言模型为BERT模型，所述预测单元503包括：处理模块5031、第一训练模块5032、设置模块5033和第二训练模块5034。

处理模块5031，用于对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，其中，所述样本数据基于对公开的法律文书进行分句处理获得。

在具体实现中，所述处理模块5031具体用于随机将所述样本数据中的文字替换为预设字符，以及随机为所述样本数据中的第一语句拼接第二语句，其中，所述第二语句为所述第一语句对应的下一句或不是所述第一语句对应的下一句。具体内容参见上述本发明实施例图3公开的步骤S301相对应的内容。

第一训练模块5032，用于将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据，训练所述第一BERT模型直至所述第一BERT模型收敛。

设置模块5033，用于将收敛后的所述第一BERT模型的模型参数作为第二BERT模型的初始化模型参数。

第二训练模块5034，用于将第二训练数据作为所述第二BERT模型的输入，结合预设的第二损失函数训练所述第二BERT模型直至所述第二BERT模型收敛，得到所述要素解析模型，其中，所述第二训练数据通过从所述样本数据中选取预设数量的法律文书进行要素标注获得。具体训练所述第二BERT模型的过程参见上述本发明实施例图3公开的步骤S304相对应的内容。

在本发明实施例中，通过第一训练数据训练第一BERT模型直至收敛，将收敛的第一BERT模型的模型参数作为第二BERT模型的初始化模型参数，并通过第二训练数据训练第二BERT模型直至收敛，得到要素解析模型。利用要素解析模型对进行分句处理后的法律文书进行要素解析，得到法律文书中每一语句所包含的要素，根据提取出来的案件要素进行分析和法律判决等操作，不需要人工将案件中的要素逐一提取出来，从而能有效降低人力成本和时间成本，提供判决准确性和效率。

参考图7，示出了本发明实施例提供的一种法律文书要素解析系统的结构框图，所述第一训练模块5032包括：预测子模块50321、误差子模块50322和训练子模块50323。

预测子模块50321，用于将所述第一训练数据作为所述第一BERT模型的输入，得到对应文字替换位置的文字预测结果，以及得到对应句子拼接位置的句子预测结果。

误差子模块50322，用于使用第一子损失函数计算所述文字替换位置的实际文字和所述文字预测结果之间的文字误差，以及使用第二子损失函数计算所述句子拼接位置的实际句子与所述句子预测结果之间的句子误差。

训练子模块50323，用于基于所述文字误差和句子误差，结合所述第一训练数据训练所述第一BERT模型直至所述第一BERT模型收敛。训练所述第一BERT模型的过程参见上述本发明实施例图4公开的步骤S403相对应的内容。

其中，所述实际文字和实际句子来源于所述样本数据。

在本发明实施例中，在获取要素解析模型之前，先基于第一子损失函数和第二子损失函数，通过第一训练数据训练第一BERT模型直至收敛，将收敛后的第一BERT模型的模型参数作为第二BERT模型的初始化模型参数，再基于训练数据训练第二BERT模型直至收敛获得要素解析模型，能提高要素解析的准确性。

优选的，结合图5，参考图8，示出了本发明实施例提供的一种法律文书要素解析系统的结构框图，所述法律文书要素解析系统还包括：

合并单元504，用于合并每条所述待解析语句包含的要素。

需要说明的是，对应法律文书要素解析结果有以下两种需要，一种是只需要获得法律文书中每一语句包含的要素，另一种是需要将法律文书中每一语句包含的要素合并，得到该法律文书的要素集合。

在本发明实施例中，根据实际需求，可以合并每条所述待解析语句包含的要素，得到所述待解析的法律文书的要素集合，以满足不同的法律需求。

基于上述本发明实施例公开的法律文书要素解析系统，上述各个模块可以通过一种由处理器和存储器构成的硬件设备实现。具体为：上述各个模块作为程序单元存储于存储器中，由处理器执行存储在存储器中的上述程序单元来实现法律文书要素解析。

其中，处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现法律文书要素解析。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

进一步的，本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述法律文书要素解析方法。

进一步的，本发明实施例提供了一种法律文书要素解析设备，该设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取待解析的法律文书；对所述法律文书进行分句处理，得到多条待解析语句；逐一将所述待解析语句输入预先建立的要素解析模型进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素，其中，所述要素解析模型由基于样本数据训练语言模型获得，所述语言模型用于根据预设数量的法律文本进行预训练确定所述要素解析模型的初始化模型参数。

其中，当所述语言模型为BERT模型，所述由基于样本数据训练语言模型获得要素解析模型的过程包括：对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，其中，所述样本数据基于对公开的法律文书进行分句处理获得；将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据，训练所述第一BERT模型直至所述第一BERT模型收敛；将收敛后的所述第一BERT模型的模型参数作为第二BERT模型的初始化模型参数；将第二训练数据作为所述第二BERT模型的输入，结合预设的第二损失函数训练所述第二BERT模型直至所述第二BERT模型收敛，得到所述要素解析模型，其中，所述第二训练数据通过从所述样本数据中选取预设数量的法律文书进行要素标注获得。

其中，所述将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据训练所述第一BERT模型直至所述第一BERT模型收敛，包括：将所述第一训练数据作为所述第一BERT模型的输入，得到对应文字替换位置的文字预测结果，以及得到对应句子拼接位置的句子预测结果；使用第一子损失函数计算所述文字替换位置的实际文字和所述文字预测结果之间的文字误差，以及使用第二子损失函数计算所述句子拼接位置的实际句子与所述句子预测结果之间的句子误差；基于所述文字误差和句子误差，结合所述第一训练数据训练所述第一BERT模型直至所述第一BERT模型收敛；其中，所述实际文字和实际句子来源于所述样本数据。

其中，所述对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，包括：随机将所述样本数据中的文字替换为预设字符，以及随机为所述样本数据中的第一语句拼接第二语句，其中，所述第二语句为所述第一语句对应的下一句或不是所述第一语句对应的下一句。

其中，所述逐一将所述待解析语句作为预先建立的要素解析模型的输入进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素之后，还包括：合并每条所述待解析语句包含的要素。

进一步的，本发明实施例还提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现法律文书要素解析。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取待解析的法律文书；对所述法律文书进行分句处理，得到多条待解析语句；逐一将所述待解析语句输入预先建立的要素解析模型进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素，其中，所述要素解析模型由基于样本数据训练语言模型获得，所述语言模型用于根据预设数量的法律文本进行预训练确定所述要素解析模型的初始化模型参数。

其中，当所述语言模型为BERT模型，所述由基于样本数据训练语言模型获得要素解析模型的过程包括：对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，其中，所述样本数据基于对公开的法律文书进行分句处理获得；将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据，训练所述第一BERT模型直至所述第一BERT模型收敛；将收敛后的所述第一BERT模型的模型参数作为第二BERT模型的初始化模型参数；将第二训练数据作为所述第二BERT模型的输入，结合预设的第二损失函数训练所述第二BERT模型直至所述第二BERT模型收敛，得到所述要素解析模型，其中，所述第二训练数据通过从所述样本数据中选取预设数量的法律文书进行要素标注获得。

其中，所述将所述第一训练数据作为第一BERT模型的输入，结合预设的第一损失函数和所述样本数据训练所述第一BERT模型直至所述第一BERT模型收敛，包括：将所述第一训练数据作为所述第一BERT模型的输入，得到对应文字替换位置的文字预测结果，以及得到对应句子拼接位置的句子预测结果；使用第一子损失函数计算所述文字替换位置的实际文字和所述文字预测结果之间的文字误差，以及使用第二子损失函数计算所述句子拼接位置的实际句子与所述句子预测结果之间的句子误差；基于所述文字误差和句子误差，结合所述第一训练数据训练所述第一BERT模型直至所述第一BERT模型收敛；其中，所述实际文字和实际句子来源于所述样本数据。

其中，所述对所述样本数据进行文字替换以及句子拼接处理得到第一训练数据，包括：随机将所述样本数据中的文字替换为预设字符，以及随机为所述样本数据中的第一语句拼接第二语句，其中，所述第二语句为所述第一语句对应的下一句或不是所述第一语句对应的下一句。

其中，所述逐一将所述待解析语句作为预先建立的要素解析模型的输入进行要素解析，得到所述法律文书中每条所述待解析语句包含的要素之后，还包括：合并每条所述待解析语句包含的要素。

综上所述，本发明实施例提供一种法律文书要素解析方法及系统，该方法为：获取待解析的法律文书。对法律文书进行分句处理，得到多条待解析语句。逐一将待解析语句输入预先建立的要素解析模型进行要素解析，得到法律文书中每条待解析语句包含的要素，其中，要素解析模型由基于样本数据训练语言模型获得。在本方案中，通过海量的法律文书预先训练语言模型得到要素解析模型，将需要解析的法律文书进行分句处理得到多条待解析语句，将每一条待解析语句作为要素解析模型的输入得到每条待解析语句中的要素，根据提取出来的案件要素进行法律判决。不需要人工将案件中的要素逐一提取出来，再根据人工提取的要素进行分析和法律判决等操作，从而节约人力成本和时间成本，提高判决的准确性和效率。

本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、客户端、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。