关键词抽取

摘要： [目的/意义]传统的关键词自动抽取将摘要看成一个整体,常以候选词的出现频次等非语义信息构建特征,并未考虑学术文献摘要中目的、方法、结论等各个结构功能语义蕴含的差异性。本文以中文文献为研究对象,探讨候选词所在的结构功能域对关键词抽取的影响和作用。[方法/过程]本文将文献标题和摘要文本共分为4个结构功能域,在传统的词频、词长、词跨度等基准特征上,融合了基于BERT的语义特征和结构功能特征,并以不同的特征组合方式,使用图书情报领域的中文学术文献,基于分类模型进行关键词自动抽取实验。[结果/结论]实验结果表明,融合结构功能特征后,关键词抽取效果整体提升了6.82%,证明了学术文献摘要结构功能的识别形成的结构功能特征对关键词抽取效果的提升有良好作用。

摘要： 将信息熵融入TextRank算法中分词器部分以改善关键词抽取的准确度。在分词前,先用信息熵的方式提取文章的关键新词,加入到分词字典中,使分词器能够自主识别新词,以增强文章关键词提取的准确性。当语料中存在新词的时候,关键词抽取准确度效果提升明显,对不存在新词的语料关键词抽取准确度无明显提升。改善分词效果可以提升关键词抽取准确度。

摘要： 现有的主题标引方法一般只能抽取文本中出现的词汇,无法从几万或数十万主题词中选择语义关联强且未出现的词汇;基于机器学习的多标签分类算法则需要每一个标签下有训练数据,限制了它们在主题标引上的应用。面向大规模主题词在海量文献上的标引需求,提出一个基于分布式词向量的混合型自动标引方法,利用大规模语料训练的词向量生成同维度的主题词表示向量和文本表示向量,实现主题词与文本语义相似度的计算。基于大规模语料构建主题词与普通词的映射表,使文本向量只和少量的语义强相关主题词向量比较,大大减少了计算量,提高了标引效率。开发的自动标引工具对近亿篇文献进行了主题标引,达到了较高的速度。与结巴关键词的实验对比结果显示,本文方法抽取的主题词与作者关键词重合度较低,且在去除结巴关键词中的非主题词后,取得了比结巴关键词更高的标引准确率;与人工标引的实验对比结果显示,随着人工标引词数量的增加,本文方法的效果、结果与人工标引结果的一致性在不断增加。

摘要： [目的/意义]关键词抽取技术可以帮助用户从海量文本中快速定位核心内容,对情报收集工作有着重要意义。目前,关键词抽取主要依靠词频和共现关系,忽视了知识库对关键词抽取的指导作用。[方法/过程]本文提供了一种融合知识的关键词抽取方法,首先基于义原和词林构建词汇知识图谱,其次结合词语的共现关系,生成新的概率转移矩阵,最后实现关键词抽取。[结果/结论]基于海量摘要数据集的实验表明,融合知识的关键词抽取方法,能有效提高现有关键词抽取方法的性能。

摘要： 在大数据时代,用户画像对于企业了解并获取目标用户的重要性日益提升,但基于统计的用户画像方法无法处理非结构化的文本数据,而传统的基于模型的用户画像方法亦无法从多角度深层次提取用户特征。为实现更加全面且精准的用户属性预测,该文提出一种基于多层级特征提取的融合网络用户画像生成方法,通过对用户原始文本关键词的提取和排序,分别生成基于top 2关键词的子句表示和top N关键词的词向量,并结合循环神经网络和注意力机制,构建多层次用户特征提取的分类模型,利用原始用户数据进行用户属性预测。在搜狗用户搜索文本数据集上的实验表明,文中模型较其他基线模型在分类准确率上显著提升,达到0.73,通过消融实验进一步表明各个模块均为有效提取用户特征从而提升分类准确率发挥了重要作用。

摘要： 随着互联网行业的发展,在灾难发生期间,社交媒体已经成为公众重要的交流手段,通过对受灾地区公众的社交媒体数据进行合理的抽取与内容分析,可以为应急管理人员提供有效的决策支持。本研究选取了2021年10月山西暴雨期间的微博数据作为研究数据,通过运用词频-逆文档频率算法(TF-IDF)、中文词法分析(LAC)和百度AI(Artificial Intelligence)情感分析等方法对社交媒体数据进行综合分析以获取该灾害下公众情感以及公众注意力焦点变化趋势,为新媒体时代救援减灾工作提供支撑。

摘要： 关键词表征了文本的主题,是文本概念和主题的凝练。通过关键词,读者可以快速了解文档表达的主旨和思想,从而提升信息检索效率;此外,关键词抽取也可以为自动摘要、文本分类提供支撑。近年来,自动抽取关键词的研究引起了广泛关注,但如何精准地抽取文档的关键词仍是一个挑战。一方面,关键词是人们主观的认识,判断一个词是否是关键词本身具有主观性;另一方面,中文词汇往往具有丰富的语义信息,单纯依赖传统统计特征和主题特征难以准确提炼文本所表达的主旨思想。针对中文关键词抽取中存在的准确率低、信息冗余和信息缺失等问题,提出了一种联合知识图谱和预训练模型的无监督关键词抽取方法。该方法首先利用预训练模型进行主题聚类,并通过一种以句子为单位的聚类方法保证最终选取的关键词对全文内容的覆盖度;同时,通过知识图谱进行实体链接,以此实现精准分词及歧义消除;然后,根据主题信息构建语义词图,并以此为基础计算词语间的语义权重;最后,通过加权的PageRank算法进行关键词排序。在DUC 2001和CSL两个公开数据集和一个单独标注的CLTS数据集上,以预测结果的准确率、召回率及F1值为指标进行对比实验。实验结果表明,该模型相比多种基线方法,准确率均有所提升,在CLTS数据集上与传统统计方法 TF-IDF相比F1值提高了9.14%,与传统图方法 TextRank相比F1值提高了4.82%。

摘要： 为有效指导服装企业生产经营决策,选取服装网购评论为数据样本和研究对象,提出了基于服装网购评论的消费热点情报分析方法,以探究消费者对所采购的服装的关注热点.采用网络爬虫技术采集服装网购评论数据并进行预处理后,利用SnowNLP技术进行情感倾向性分类.在关键词抽取时针对分词过程存在错分专业词汇问题,引入服装专业领域分词词典和停用词典,并结合GooSeeker方法和人工调整方法进一步提高关键词抽取精准度.关键词抽取后建立共词矩阵,并聚类进行社会网络分析得到消费热点情报信息.以真丝服装网购评论进行实证分析以验证方法的有效性.结果发现:真丝服装网购消费者依次易就面料、颜色、尺码、质量等热点关键词给出负面反馈;此外还得到这些热点关键词关联的负面反馈信息及与其他热点关键词之间的相互关系,如面料的负面反馈主要与薄透、褶皱、缩水和引申的丝料价格贵有关,对面料差评的消费者往往会更关注尺码、物流、价格以及退换货等信息.

摘要： 眼动数据记录了浏览者在浏览信息时的眼球轨迹,已有研究依据眼动数据度量阅读者在不同单词上的注意力强弱,并进一步将该特征加入微博关键词抽取模型中,从而提高抽取模型的性能.然而,目前的微博关键词抽取模型仅考虑通用领域眼动数据的总注视时长这一特征,尚未全面探究眼动数据对微博关键词抽取任务性能的影响.因此,本文将从眼动特征的选择、眼动特征与文本特征的组合这两个方面,全面考察通用语料的眼动数据对微博关键词抽取任务性能的影响.同时,由于眼动数据集与测试数据集在数据规模上相差较大,使得眼动特征过于稀疏,进而影响其作用的发挥,本文提出了一个眼动数据的扩充方案用于解决这一问题.

摘要： [目的]对关键词提取研究的主要方法、相关特征以及评价方法进行总结梳理,为后续的关键词提取研究提供借鉴.[文献范围]以“Keyword Extraction”、“Keyword Generation”、“Keyphrase Extraction”、“Keyphrase Generation”、“关键词抽取”、“关键词生成”等检索式在Web of Science、DBLP、Engineering Index、Google Scholar、CNKI和万方等数据库进行检索,结合个人积累与文献溯源得到代表性文献89篇.[方法]梳理关键词提取的发展脉络,从研究方法、相关特征与评价方法三个主要方面对关键词提取的相关研究进行深入分析与总结.[结果]关键词提取方法随着机器学习技术的发展,逐步从特征驱动的模型转向数据驱动的模型,并面临数据标注、评价规范等问题.[局限]更为关注关键词提取研究中主流的方法.[结论]本文通过对关键词提取方法,尤其是关键词生成方法进行总结,阐明了关键词提取方法的研究重心从特征转向数据的趋势与原因,并指出现有关键词提取评价体系所存在的缺陷.

摘要： 传统的关键词抽取算法不能够抽取那些没有在文本当中出现过的关键词,因此传统的关键词抽取算法在抽取法律问题(短文本)的关键词任务上效果不佳.本文提出了一种基于强化学习的序列到序列(seq2seq)模型从法律问题中抽取关键词.首先,编码器将给定法律问题文本的语义信息压入一个密集矢量;然后,解码器自动生成关键词.因为在关键词抽取任务中,生成的关键词的前后顺序无关紧要,所以引入强化学习来训练我们的模型.所提出的模型结合了强化学习在决策上的优势和序列到序列模型在长期记忆方面的优势,在真实数据集上的实验结果表明,带有强化学习的序列到序列模型在关键词抽取任务上有较好的实验效果.

摘要： 关键词抽取是从文本中抽取代表性关键词的过程，在文本处理领域中具有重要的应用价值。本文尝试利用一种近年来受到广泛关注的新的信息源--社会化标签(Tag)来提高网页关键词抽取的质量。在对Tag 数据进行统计分析的基础上，提出了利用Tag 进行关键词抽取的框架，并给出了一种具体的实现方法Tag-TextRank。该方法在TextRank 基础上，通过目标文档中的每个Tag引入相关文档来估计词项图的边权重并计算得到词项的重要度，最后将不同Tag下的词项权重计算结果进行融合。在公开语料上的实验表明，Tag-TextRank 在各项评价指标上均优于经典的关键词抽取方法TextRank，并具有很好的适用性。

摘要： 本文提出一种基于TextRank的多文档关键词抽取方法,该方法利用ATF*PDF方法计算文档集中的词语权重,抽取权重较大的实词为候选关键词,并根据候选关键词之间的语义相似关系建立TextRank模型,递归计算至收敛,最后生成关键词序列并抽取关键词.该方法综合考虑了词语的频率,词性以及词语之间的语义关系等信息,实验表明,该方法能有效抽取多个文档的关键词,同基于关键词的聚类标记方法相比,其准确率提高了4.2%.召回率提高7%,F-measure提高4.6%.

摘要： 关键词抽取在文本聚类、文本分类、文本摘要等许多文本处理领域有着重要作用。本文介绍了文本语言网络的概念和三种类型的语言网络；进而提出了一种基于语言网络和Pagerank的关键词抽取算法：首先，将文本表示为一个语义网络，然后应用PageRank决定文本语义网络中词语的重要度，最后选择前N个重要词语作为文档的关键词。在对CISTR学术论文库抽取关键词的实验中，证明了算法的有效性。

摘要： 本文提出一种基于词频统计的的关健词抽取方法。利用了TextTiling方法、遗传算法和“成对比较法”进行了算法优化。

摘要： 本文提出了一种针对对话语料的自动标签推荐方法——KeyEx.该方法首先基于加权TFIDF进行关键词抽取,加权因子融入对话者权重、句子重要程度和句子长度等因素;然后,通过频繁模式匹配进行关键词的二元扩展获取信息含量大的二元关键词;最后在同一尺度下对候选关键词进行排序得到top-n推荐标签.在10,265段中文对话上的实验结果表明,KeyEx优于已有的KNN和TextRank模型。

摘要： 计算句子的相似度在机器问答系统,基于实例的机器翻译,文本分类等自然语言处理的许多领域中都有着非常重要的作用。该文对基于相同关键词的句子相似模型做了进一步的改进,包括关键词抽取,以及在句子相似度的定义中引入同义词以及近义词的情形.实验结果表明,改进方法比以前方法具有较高的准确率。

摘要： 针对网络中热点话题发现问题，本文提出了一种基于话题特征统计的互联网热点话题发现方法。该方法首先从文本中提取话题特征,然后对话题特征进行聚类分析，从而发现热点话题特征，再利用检索技术，将热点话题特征对应的话题报文检索出来，形成热点话题。

摘要： 针对网络中热点话题发现问题，本文提出了一种基于话题特征统计的互联网热点话题发现方法。该方法首先从文本中提取话题特征,然后对话题特征进行聚类分析，从而发现热点话题特征，再利用检索技术，将热点话题特征对应的话题报文检索出来，形成热点话题。

摘要： 针对网络中热点话题发现问题，本文提出了一种基于话题特征统计的互联网热点话题发现方法。该方法首先从文本中提取话题特征,然后对话题特征进行聚类分析，从而发现热点话题特征，再利用检索技术，将热点话题特征对应的话题报文检索出来，形成热点话题。

摘要： 本发明揭示一种由电子装置执行的用于获得由用户指定的关键词的说话者不相依关键词模型的方法。所述方法可包含从所述用户接收指示所述关键词的至少一个样本声音。所述方法还可基于所述至少一个样本声音而产生所述关键词的说话者相依关键词模型、响应于产生所述说话者相依关键词模型而向服务器发送对于所述关键词的所述说话者不相依关键词模型的请求，和从所述服务器接收适于检测由多个用户说出的所述关键词的所述说话者不相依关键词模型。

摘要： 本发明揭示一种由电子装置执行的用于获得由用户指定的关键词的说话者不相依关键词模型的方法。所述方法可包含从所述用户接收指示所述关键词的至少一个样本声音。所述方法还可基于所述至少一个样本声音而产生所述关键词的说话者相依关键词模型、响应于产生所述说话者相依关键词模型而向服务器发送对于所述关键词的所述说话者不相依关键词模型的请求，和从所述服务器接收适于检测由多个用户说出的所述关键词的所述说话者不相依关键词模型。

摘要： 检索系统（100）具备：登录侧分割部（111），输入按照能够进行分割成多个层次的层次化的规定的表现形式表现的登录用关键词，基于决定了层次化的规律的层次化规律，将所述登录用关键词分割成针对每个层次的要素；登录侧符号化部（112），向作为由登录侧分割部（111）分割的各个要素的登录用层次要素中附加表示所属的层次的位置信息；登录侧加密部（113），按照规定的数据变换规则，将由登录侧符号化部（112）附加了位置信息的各个登录用层次要素进行数据变换。

摘要： 本发明涉及一种信息处理装置，其用于从视频播放媒体的解码后的图像数据和声音数据中分别提取出感兴趣广告的关键词，包括：广告检测部（201），其从所述图像数据和声音数据中检测出广告；感兴趣广告确定部（206），其从所述广告检测部（201）所检测出的广告中确定用户感兴趣的广告；关键词提取部（209、212、213），其从所述感兴趣广告确定部（206）确定的用户感兴趣的广告中提取出关键词。

摘要： 本发明涉及一种因特网关键词广告方法，以及更具体地，涉及一种广告方法和系统，该方法和系统在用户请求关键词搜索时，提供与相应的关键词相关的次级关键词，从而允许用户经由因特网通过关键词搜索来找出实际的信息和/或商品，并提供相应的数据。此外，本发明涉及一种用于提供与初级关键词搜索相关的次级关键词列表的方法和系统。根据本发明，用户使用具有相对广泛意义的初级关键词进行搜索，然后进行更加详细的次级关键词的搜索，从而可以容易地找到和检查由用户搜寻的信息和/或商品。同时，广告商向有效的顾客公开了通过相应的次级关键词连接的信息和/或商品，从而可以极大地提高广告的效率。

摘要： 本发明公开了一种基于Word2Vec与词共现相结合的文本关键词抽取方法，采用ICTCLAS分词系统对文本进行分词和词性标注得到词汇集合；然后对词汇集合进行预处理，将不合理的词汇组合过滤，得到初步候选集；将初步候选集放置到训练好的Word2Vec模型中得到词向量表，计算词向量表中词向量间的距离，对初步候选集进行kmeans聚类得到关键词的二次候选集，根据词向量距离得到二次候选集在初步候选集中的词共现率；不同词汇长度赋予不同的权值，根据词共现率、词汇长度得到相应的权重，根据权重排序，排名靠前的m个即为最终的关键词。本发明采用Word2Vec生成的词向量进行聚类，再结合词共现等基本特征提取文本关键词，提取的关键词更准确，可以适应不同文本的关键词抽取。

摘要： 本发明提出了一种基于图模型和词嵌入模型面向新闻领域的关键词抽取方法，本发明首先需要将新闻文本进行清洗，去除其中无用信息；然后通过文本处理模块，得到新闻文本中的潜在关键词和词频信息；之后采用图模型和预训练的词嵌入模型对关键词进行语义空间映射，最后融合前述两个模型对关键词的排序分布获得最后关键的分布，从而获得新闻文本关键词；本发明能够改进新闻文本关键词提取的精度，进一步提高舆情分析系统在针对新闻文本分析时内容检索的准确性，更为全面地覆盖新闻文本的主要信息，节省人工复核的时间。

摘要： 本发明公开了一种基于关键词抽取和词移距离的知识产权匹配技术，包括专利文本中标记部分文本、专利标题和内容的关键词特征工程、LightGBM训练模型、通过关键词LightGBM模型抽取关键词和关键词权重，用WMD计算两个专利文本之间关键词和权重结合在一起的距离值，基于专利标题和内容的匹配方法首先提取专利和标题拼接成文本之后，用训练好的模型抽取关键词并得到关键词在文本中的权重，当计算专利的文本相似度时，将抽取的关键词和权重和另一篇专利的关键词和权重放在WMD（word mover’s distance）中计算两篇文章的相似度，相似度以两篇文章的距离值作为参考，距离值越近表示越相似，最后设定阈值将小于阈值的值排序，最后将排序的距离对应的专利推荐给搜索用户。

摘要： 本发明公开了一种基于Word2Vec与词共现相结合的文本关键词抽取方法，采用ICTCLAS分词系统对文本进行分词和词性标注得到词汇集合；然后对词汇集合进行预处理，将不合理的词汇组合过滤，得到初步候选集；将初步候选集放置到训练好的Word2Vec模型中得到词向量表，计算词向量表中词向量间的距离，对初步候选集进行kmeans聚类得到关键词的二次候选集，根据词向量距离得到二次候选集在初步候选集中的词共现率；不同词汇长度赋予不同的权值，根据词共现率、词汇长度得到相应的权重，根据权重排序，排名靠前的m个即为最终的关键词。本发明采用Word2Vec生成的词向量进行聚类，再结合词共现等基本特征提取文本关键词，提取的关键词更准确，可以适应不同文本的关键词抽取。

摘要： 本发明涉及自然语言处理领域，特别涉及基于词向量和词统计信息的关键词抽取方法；借助词性信息对分词后的候选词进行筛选，保证关键词的抽取方向，更加具有对分析方向的针对性，并提高了计算效率；不仅如此，本发明方法通过选择一个大规模的第一语料库，通过Word2vec来对大规模语料库中分词结果的向量转换，转换后的词向量带有在大规模语料中的与其他词的语义近似和共同出现频次的关系，在计算候选词的权重时，将候选词与其他词的余弦距离作为考虑因素，通过词向量为待提取关键词文档的关键词抽取引入更多外部信息的考量因素，扩充了关键词的提取考察范围，关键词的抽取结果更加合理。