一种从文章中获取结构化标签的方法

摘要

本发明公开了一种从文章中获取结构化标签的方法，通过创立多个单独的特征库，每个特征库中的特征词任意两个或多个自由组合形成特征词集合圈；先从文章的全文中截取文章的标题以及首尾段，并提取剩余的关键词；将该新的特征库中的所有关键词组合形成若干个特征词集合圈；与特征库进行类比，找到相同和相邻的所有特征词集合圈，优选交集和相差的关键词组合成文章预选的结构化标签；将文章除了首尾部分提取关键词形成新的特征库，形成文章预选的结构化标签；交、差集形成结构化标签和附加补充的结构化标签。本发明可以快速从文件中提取出需要的文章结构化标签，无需对全部的文章内容进行结构化标签提取，提高了文章结构化标签的处理速度。

说明书

技术领域

本发明属于结构化标签获取技术领域，具体涉及一种从文章中获取结构化标签的方法。

背景技术

如今随着互联网数据量的指数式增长，如何在海量数据中精准的获得用户需求已经成为所有互联网公司避不开的一个问题，所以近几年的新兴互联网技术，包括数据挖掘，人工智能，机器学习都是为处理海量数据而出现的，互联网已经进入了大数据时代，而NLP在大数据时代占据有举足轻重的地位，在日常业务当中，可以应用于各个领域例如文章推送，用户画像，内容审核，情感倾向分析，AI客服等等，具有相当广泛的使用价值和应用前景。自然语言处理(NPL)是人工智能领域最困难的问题之一，结合公私的大量浏览数据，通过分析文章关键词情感倾向，通过神经网络算法推测出用户标签，再根据用户喜好进行文章推送，同时会根据近期的用户浏览记录进行相应更新，提高用户使用体验。

在高速发达的现代社会，很多网络服务或推荐需要了解客户或用户的习惯、爱好等问题，而如何准确快速获得用户的喜好成为了最为需要的技术，现有的多采用NPL技术和神经网络算法根据用户阅读的文章推测出用户标签，这种用户标签的仅仅通过高频的关键词进行提取，而很多关键词并不一定符合用户的喜好，无法准确体现用户需求。且现有的很多文章的篇幅过多，如果全文进行篇幅提取，数据量处理速度过大，处理速度过慢。因此，我们提出一种快速准确地从文章中获取结构化标签的方法。

发明内容

本发明的目的在于提供一种从文章中获取结构化标签的方法，以解决上述背景技术中提出现有技术中无法准确提取出文章中结构化标签，且处理量过大的问题。

为实现上述目的，本发明采用了如下技术方案：

一种从文章中获取结构化标签的方法，包括以下步骤：

S1、依据数据源以及文章信息标签库，按照领域、地域以及时间，创立多个分类，并在每个分类下创立多个单独的特征库，每个特征库包括单独的一个或多个特征词，每个特征库中的特征词任意两个或多个自由组合形成特征词集合圈；

S2、先从文章的全文中截取文章的标题以及首尾段，利用分词法将文章的标题以及首尾段进行分词处理，参考去词库，并利用去词法排除分词后无用的词语，并提取剩余的关键词；

S3、将S2中提出的所有关键词去重后作为一个新的特征库，并在去重前计算出每个关键词出现的词频，将该新的特征库中的所有关键词进行任意自由组合，形成若干个特征词集合圈；

S4、将S3中形成的特征词集合圈与S1中的特征词集合圈进行类比，找到相同和相邻的所有特征词集合圈，优选其中的交集和相差的关键词描述进行组合，形成文章预选的结构化标签；

S5、将文章除了首尾部分的其他部分内容截取出来或分成多个部分随机截取两到三个部分，通过分词系统对于截取的文章内容进行分析后，提取关键词形成新的特征库，按照S3和S4的步骤进行去重、计算词频、形成特征词集合圈、优选关键词、最后形成另一文章预选的结构化标签；

S6、将S4和S5形成的预选的结构化标签进行交集提取，构建成准确的较窄范围的结构化标签，并将S4和S5形成的预选结构化标签进行差集提取，差集提出的结构化标签作为附加补充的结构化标签，便于结构化标签优化及更新。

优选的，在S1中，每个单独的特征库中设置一个或两个中心特征词，其他特征词与中心特征词相关联。

优选的，在S1中，每个特征库内的特征词的个数设置为n，则

优选的，在S2中设置有字数统计模块，若文章首段或文章尾段的字数不足200字时，则选择截取文章的首部内容的200字或文章的尾部200字，作为文章首尾段截取内容。

优选的，所述S3中，提出的词频计算方式如下：

P(词频)＝n(单个关键词出现的次数)/t(所有关键词出现的次数)，在特征词集合圈中，将P(词频)从高到低排序后，选择P(词频)排列最高的一至五个关键词作为该文章的标志性特征词集合圈。

优选的，在S2中采用的分词法，利用jieba中文分词系统进行分词，且在S2中采用的去词法，对分词进行词性判断，去除部分修饰词、动词。

优选的，在S2中的关键词提取过程中，涉及到人名、地名、时间、技术术词、特色艺术的词语或组合，进行标记记录形成单独的特征词，进行组合入特征词集合圈内。

本发明的技术效果和优点：本发明提出的一种从文章中获取结构化标签的方法，与现有技术相比，具有以下优点：

1、本发明可以快速从文件中提取出需要的文章结构化标签，无需对全部的文章内容进行结构化标签提取，仅通过首尾段或文章的首尾部分进行截取，以及对文章中的部分内容进行截取，提高了文章结构化标签的处理速度，适用于较长篇幅的文章结构化标签提取；

2、本发明改变传统的单独关键词标签化的方式，通过将文章提取特征词集合圈的方式，与现有文章信息库特征词集合圈的方式结合，结构化标签更为精准，且可以提供邻近的特征词结合圈，便于扩展和方向性推荐，提高文章对于用户推荐的精准性。

附图说明

图1为本发明一种从文章中获取结构化标签的方法的流程图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1所示的一种从文章中获取结构化标签的方法，包括以下步骤：

S1、依据数据源以及文章信息标签库，按照领域、地域以及时间，创立多个分类，并在每个分类下创立多个单独的特征库，每个特征库包括单独的一个或多个特征词，每个特征库中的特征词任意两个或多个自由组合形成特征词集合圈；每个单独的特征库中设置一个或两个中心特征词，其他特征词与中心特征词相关联；每个特征库内的特征词的个数设置为n，则

S2、先从文章的全文中截取文章的标题以及首尾段，利用分词法将文章的标题以及首尾段进行分词处理，参考去词库，并利用去词法排除分词后无用的词语，并提取剩余的关键词；且设置有字数统计模块，若文章首段或文章尾段的字数不足200(或100)字时，则选择截取文章的首部内容的200(或100)字或文章的尾部200字，作为文章首尾段截取内容；采用的分词法，利用jieba中文分词系统进行分词，采用的去词法，对分词进行词性判断，去除部分修饰词、动词；在关键词提取过程中，涉及到人名、地名、时间、技术术词、特色艺术的词语或组合，进行标记记录形成单独的特征词，进行组合入特征词集合圈内；

S3、将S2中提出的所有关键词去重后作为一个新的特征库，并在去重前计算出每个关键词出现的词频，将该新的特征库中的所有关键词进行任意自由组合，形成若干个特征词集合圈；提出的词频计算方式如下：

P(词频)＝n(单个关键词出现的次数)/t(所有关键词出现的次数)，在特征词集合圈中，将P(词频)从高到低排序后，选择P(词频)排列最高的一至五个关键词作为该文章的标志性特征词集合圈；

S4、将S3中形成的特征词集合圈与S1中的特征词集合圈进行类比，找到相同和相邻的所有特征词集合圈，优选其中的交集和相差的关键词描述进行组合，形成文章预选的结构化标签；

S5、将文章除了首尾部分的其他部分内容截取出来或分成多个部分随机截取两到三个部分，通过分词系统对于截取的文章内容进行分析后，提取关键词形成新的特征库，按照S3和S4的步骤进行去重、计算词频、形成特征词集合圈、优选关键词、最后形成另一文章预选的结构化标签；

S6、将S4和S5形成的预选的结构化标签进行交集提取，构建成准确的较窄范围的结构化标签，并将S4和S5形成的预选结构化标签进行差集提取，差集提出的结构化标签作为附加补充的结构化标签，便于结构化标签优化及更新。

本发明可以快速从文件中提取出需要的文章结构化标签，无需对全部的文章内容进行结构化标签提取，仅通过首尾段或文章的首尾部分进行截取，以及对文章中的部分内容进行截取，提高了文章结构化标签的处理速度，适用于较长篇幅的文章结构化标签提取；本发明改变传统的单独关键词标签化的方式，通过将文章提取特征词集合圈的方式，与现有文章信息库特征词集合圈的方式结合，结构化标签更为精准，且可以提供邻近的特征词结合圈，便于扩展和方向性推荐，提高文章对于用户推荐的精准性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。