词频

摘要： 为加强水库安全管理监督工作,提高水库安全管理文档评估效率,研究中文分词技术以及关键词学习方法与文档质量评估方法,提出一种基于词频的水库安全管理文档质量评估方法。选择结巴分词工具,采用Django框架开发水库安全管理文档质量评估系统。实验结果表明,该系统对水库安全管理文档的质量评估结果准确,与实际情况基本一致。该系统能够通过学习全部文档获得评估标准,计算文档质量指数并给出文档质量水平,可广泛应用于水库安全管理文档质量评估工作中,具有一定的实用价值。

摘要： 在英语词汇学习中,近义词辨析既是重点也是难点。学习者借助词典进行辨析依然感到困难重重。语料库因其语料丰富、搜索功能强大等特点能够很好地取代词典,学习者可以利用语料库进行数据驱动式的近义词辨析。文章基于COCA语料库,从词频、语域分布、搭配、类联接、语义韵切入,辨析了近义动词abolish、cancel和repeal,探索了基于语料库的近义词辨析新路径。

摘要： 新媒体时代,对外传播主体越来越多元化。选取YouT ube平台李子柒的相关视频,通过Python技术抓取评论,采用词频计量和文本分析相结合的方法,探讨海外粉丝对李子柒视频中中国传统工艺的认知和情感态度。从受众角度出发探究李子柒在传统工艺跨文化传播中的影响力,并对基于社交媒体短视频传播中国传统工艺提出可行性分析。

摘要： 词云技术是对学生在课堂中使用的语言和文本进行关键词抓取,通过词频统计、重要性分析等方法确定学生观点、情感和态度的一种分析方法。基于词云技术的言论观点采撷和统计能够帮助教师捕捉学生在课堂教学中的情感体验,进而将内化态度外在表现出来。这种由内到外的转化是突破当前课程思政效果评价瓶颈的有益尝试。在实践应用中,词云技术能够帮助教师更好地把握学生在课堂中态度形成的动态阶段和路径,进而在教学设计中改进课程思政元素的挖掘与融入方式。分析运用词云技术进行课程思政评价的相关内容,对于课程思政评价体系的完善具有重要意义。

摘要： 本文运用手工录入与Python相结合的方法,收集了天山网新疆新闻标题,建立“天山网新闻标题语料库”,并分别使用NLPIR-ICTCLAS汉语分词系统和MyZiciFreq字词频率统计工具对语料进行分词处理和词频统计。本文对天山网新疆新闻标题的统计和社会价值分析,为新闻标题的编写提供了参考依据,同时也展现了新疆地区融媒体所关心的热点事件,也体现出了新疆各族人民团结一心的坚定决心。

摘要： 垃圾信息的识别是自然语言处理方面主要的任务之一。传统方法是基于文本特征或词频的方法,其识别准确率主要依赖于特定关键词的出现与否,存在对关键词识别错误或对未出现关键词的垃圾信息文本识别能力较差的问题,提出基于神经网络的方法。首先,利用传统方法针对这一类垃圾信息文本进行识别训练和测试;然后,利用从垃圾短信、广告和垃圾邮件数据集中挑选出传统方法识别困难的垃圾信息,再从原数据集中随机挑选出同样数量的正常信息,将其组成三个无重复数据的新数据集;最后,以卷积神经网络和循环神经网络为基础,建立了三个模型,并在新数据集上进行识别训练。实验结果表明,基于神经网络的方法可以从文本中学习到更好的语义特征,在三个数据集上均能达到98%以上的准确率,高于朴素贝叶斯(NB)、随机森林(RF)、支持向量机(SVM)等传统方法。实验结果还显示,不同的神经网络适用于不同长度的文本分类,由循环神经网络组成的模型擅长识别句子长度的文本,由卷积神经网络组成的模型擅长识别段落长度的文本,由两者共同组成的模型擅长识别篇章长度的文本。

摘要： 本文以中国航运企业英文网站企业简介环节为研究对象,本文利用语料库工具antconc, 将我国航运企业相关数据从词汇密度和词频两方面,与美国航运企业网站企业简介文本相关数据进行对比,借以研究中国公司英文网站的跨文化适应程度。研究结果表明,中美航运企业的英文网站词汇密度差异较小,但是用词方面存在一定差异。本文试图从语言学的角度和研究方法来为“走出去”公司的商务交流效能提供有益尝试。

摘要： 具体学科学术词表的建立对学习者具有重大意义。Coxhead在2000年推出了Academic Word List学术词汇表(简称AWL),该词表语料来自于文、商、法及理四个学科的英文材料,同时每门学科下还有七个子学科,共计350万字符,涵盖28个学科。尽管其中包含的学术词族总体上适用于理工科,但无法充分覆盖具体学科特别是采矿工程专业的需要。采矿业作为我国经济发展的组成要素之一,其专业学术词表的建立能够满足专业学习的需求。因此本文旨在通过语料库的方法下建立采矿工程英语学术词表。该词表通过提取汇集语料库中高频出现的词汇形成的学术词表,且收录的词汇基于大规模真实语料,能够助力研究者日后的论文写作与翻译实践。

摘要： 本文提出一种“基于词频分析的K-means特征聚类算法”来分析存疑文献的作者信息。以《红楼梦》为例,根据在前80回和后40回中确定的特征汉字的出现频率,用基于词频分析的K-means特征聚类算法对其分析。以每10回为一个文本,研究前、中、后四十回的相似度,从而得出《红楼梦》的前八十回与后四十回很可能并非一人所作的论断。

摘要： 目的比较世界中医药学会联合会颁布的《中医基本名词术语中英对照国际标准》(ISNTCM)和世界卫生组织颁布的《WHO西太区传统医学名词术语国际标准》(ISTTM)两大中医术语英译标准在论文发表实践中的使用情况。方法收集两大标准的原始资料并转换为Excel和TXT格式,统计各自的词组和单词数量。收集《中医杂志》英文版和《美洲中国医学杂志》自创刊以来至2019年9月发表的中医药论文共计202篇,建成小型的中医英语语料库,检索两大标准的词组和单词在语料库中的词频。结果两大标准的共有单词超过了各自的特有单词,提示其核心词素基本一致,但是由于搭配的不同导致各自的特有词组多于共有词组。检索两大标准在语料库中的词频发现,同一中文术语所对应的英译,ISNTCM的词频一般高于ISTTM的词频,提示ISNTCM在中医药论文发表实践中的被接受程度高于ISTTM。结论中医术语英译标准既要符合中医学、语言学等学科的语言规约性,又要遵循“约定俗成”的原则。以语料库为工具,检验已有标准在实践中的使用情况,为理论研究提供实证证据支持,是解决理论层面争议的有效手段。此外本研究也表明可以尝试语料库技术建立中医术语英译词典或英译标准。

摘要： 本文从自动标引现状出发，通过大量实验数据统计，分析了词频分布规律，明确了词频分布规律对于关键词的选取没有太大作用，揭示了目前自动标引技术过渡依赖词频统计的误区。

摘要： 提出了根据邮件特征域信息和特征词频进行垃圾邮件过滤的新方法,并介绍在该方法中的文本特征选取、特征词典构造以及基于TF的权值计算等相关技术,以及改进的文本相似度计算概率模型.实验表明该方法在邮件过滤的查全率、查准率等几个性能评价指标上,比传统的Rocchio方法有了明显改善.

摘要： 本文针对类词缀在三字词中能产性强的特征,提出构建一个三字词的类词缀知识库.我们对《现代汉语语法信息词典》数据库的8万多词语进行了抽取,共有13778个三字词,然后综合考虑词频、语法结构、读音、义项等诸多因素,分别建立三字词的类后缀库和类前缀库,并把我们所建立的类词缀知识库放到《人民日报》1998年上半年语料库中去检验、补充.

摘要： 设计一个文本过滤实验,首先从语料库的词频统计结果中挖掘出词频的二元关联度,然后用一个Hopfield网络将词频的二元关联关系转化为语境关联关系,训练语言单位在整个上下文环境下的权重,并建立用户模板.该算法改善了词频特征提取算法与文本上下文环境的匹配状况,实验结果表明,对专业性Web文档的过滤可达到更高的精确度.

摘要： 本文对两本信息技术术语词典中的术语的用字、用词、术语长度等进行了统计,并做了比较分析.另外,还对术语系统的经济指数等做了一些初步的探讨.

摘要： 针对目前专业词典的建设中如何获取专业词汇这一问题.本文采用了TFIDF算法求加权词频,按词频高低确定专业领域词汇的方法,并针对这一思路给出了在体育领域内研究的样例,同时对这一设想作了预期评估和展望.

摘要： 本文汇报了对"北京大学计算机语言所1998年《人民日报》语料库"半年语料的统计分析工作.其中统计了语料库中的词频、词在词类上的分布、词类的二元和三元共现、词与二元及三元词类的共现、各种共现在句子首尾端的边界分布.本文还对上述统计结果进行了分析,着重讨论了高频词语词类的分布以及句子的边界情况.这些结论对于该语料库的全面分析提供了重要的基础数据.

摘要： 2005年7月6日在美国科学情报研究所(InstituteforScientificInformation,ISI)网络数据库(WebofKnowledge)上检索1900年至今的关于地理信息系统(GeographicInformationSystem,GIS)的文献6988条,本文运用德文特分析软件(DerwentAnalytics3.2a)对其进行数据挖掘和可视化分析,用文献计量学的方法对这一学科的国际发展现状进行科学定量的分析研究,以期对该学科的研究现状获得较全面客观的认识.

摘要： 2005年7月6日在美国科学情报研究所(InstituteforScientificInformation,ISI)网络数据库(WebofKnowledge)上检索1900年至今的关于地理信息系统(GeographicInformationSystem,GIS)的文献6988条,本文运用德文特分析软件(DerwentAnalytics3.2a)对其进行数据挖掘和可视化分析,用文献计量学的方法对这一学科的国际发展现状进行科学定量的分析研究,以期对该学科的研究现状获得较全面客观的认识.

摘要： 2005年7月6日在美国科学情报研究所(InstituteforScientificInformation,ISI)网络数据库(WebofKnowledge)上检索1900年至今的关于地理信息系统(GeographicInformationSystem,GIS)的文献6988条,本文运用德文特分析软件(DerwentAnalytics3.2a)对其进行数据挖掘和可视化分析,用文献计量学的方法对这一学科的国际发展现状进行科学定量的分析研究,以期对该学科的研究现状获得较全面客观的认识.

摘要： 本发明涉及一种基于mysql慢查询日志词频分析的索引智能推荐方法，采用全新设计策略，基于mysql慢查询日志，对所记录的查询语句进行模式匹配、算出各查询字段、以及查询字段组合的出现次数，将查询字段作为无向图的节点，字段组合作为图的边，对生成的无向图进行改进的广度优先遍历，以寻找最长子序列作为最优索引；如此基于慢查询sql作分析，得到的索引更加客观、有效；并且通过所设计方法尽量寻找覆盖率最大的组合索引，可以尽量避免多单列索引的情况。

摘要： 本发明公开了一种基于词频分析的企业评价方法及系统，该方法包括：步骤S1、对多个留存企业以及多个放弃企业分别执行以下操作：进行企业信息检索，根据保存的检索结果得到企业的词袋模型；步骤S2、确定留存企业的词汇词频表及放弃企业的词汇词频表；步骤S3、形成共有词汇词频表，形成共有词汇词频商表；步骤S4、将共有词汇词频商表中的词汇分成若干种评分类别；步骤S5、对待评价企业执行以下操作：进行企业信息检索，根据保存的检索结果得到企业的词袋模型；步骤S6、确定待评价企业在每一种评分类别上的分数；步骤S7、对待评价企业进行评价。本发明在企业的真实财务数据无法获取的情况下，能够批量、快速的对企业进行评价。

摘要： 本发明提出了一种基于词频分布的文字分类方法、装置、设备及介质。包括：获取历史短信样本，将历史短信样本分成训练集合以及验证集合，从训练集合中选择关键词并建立对应的矩阵，提取特征值，根据该特征值获取对应关键词的频率向量以及对应的分类组别，根据该频率向量构建向量空间，获取标准化关键词频率向量；根据关键词从验证集中获取每个关键词的出现频率向量，根据出现频率向量以及标准化关键词频率向量通过加权平均空间距离算法在向量空间中计算短信息到分类组别的加权平均空间距离，根据距离对短信息进行分类，本发明通过构建向量空间来对短信息进行分类，并在分类结束之后，对分类过程进行优化和迭代，能够高效、精准完成短信息自动分类。

摘要： 本发明属于文本挖掘技术领域，具体涉及一种基于词频共现分析的文献表示方法。本发明通过数据收集引入布尔权重，构建VSM，根据CLSVSM计算出共现矩阵，获得特征词的出现频次以及特征词之间两两共现频次和共现相对强度矩阵，引入指标集，构建CLSVSM，整理文本数据，从文本分词中搜寻并对应统计相关频次，最后构建文本词频向量；基于词频共现分析方法，运用元素替换法和加权法分别构建词频CLSVSM和词频加权模型。本发明构建新的文本向量空间从而提升文本分类检索的效果。

摘要： 本发明提供了一种基于词频的专利信息处理服务系统及其服务方法，属于专利信息服务系统技术领域，该一种基于词频的专利信息处理服务系统包括专用存储器、自动入库模块、关联匹配模块、专题数据服务模块、技术供需匹配模块和专利权许可评估辅助决策模块，所述专用存储器用于替代词词库存储，所述自动入库模块用于建立替代词词库并获得标准化的检索程序，在第一间隔时间内根据所述替代词词库的词语作为关键词在全领域专利数据库进行检索得到第一专利信息，通过对检索词汇的处理后，提高了专利的检索查询的效果，节省了人工进行专利分析的成本，提高了系统性能，减少了检索查询分析过程中原专利文本中心信息冗余导致的相似相关专利分析困难。

摘要： 本发明公开了一种基于词频统计的互联网社区产品贴评过滤方法及系统，其首先基于社区语料库建立社区语料分词词表；然后根据分词词表对社区语料库进行分词，计算得到每个分词在社区语料库中的IDF值；并根据分词词表分别对每一条贴评进行分词，根据每一条贴评中的分词平均IDF值及分词最大IDF值计算得到每一条贴评的IDF值；将贴评的IDF值与设定阈值进行比较，判断是否为水贴。本发明基于社区本身的语料库来筛选固定词表，得到的分词词表最贴合社区生态，同时将分词平均IDF值及分词最大IDF值应用到互联网社区产品贴评去水中，能高效的识别低质量无意义贴评，且算法简单，迭代速度快，且成本低。

摘要： 本发明属于语言学习技术领域，公开了一种基于NLP技术的单词频率排序及词汇表分析的方法，包括：收集语料库数据集；清洗数据、格式化数据、统计数据中的词汇，以频率为参数，利用排序算法，得到单词频率排序信息；利用NLP技术进行单词聚类分析，分析单词类别属性，构建过滤工具；利用机器学习方法和NLP技术训练数据集，得到单词向量模型，利用单词向量模型实时的分析计算所有单词的关联单词及语境词汇表。本方案利用NLP技术，通过机器学习来训练、提炼大规模数据集语料库生成词典的单词频率排序、单词聚类、语境词汇表等，以此构建词典的创新功能，来帮助学习者提高学习效率，解决使用者背词典效率和目标问题，帮助使用者掌握大量相关词汇。

摘要： 本发明实施例提供了一种词频调整及信息推荐方法、装置和电子设备，其中，所述词频调整方法包括：获取用户的历史输入信息；依据所述历史输入信息，确定所述用户的用户特征信息；基于所述用户特征信息，调整所述用户的预设词库中词条对应的词频；进而后续基于预设词库能够为用户进行个性化推荐，从而推荐满足用户需求的候选，提高用户输入效率。

摘要： 本公开的实施方式提供了一种基于词频的日志处理方法、介质、装置和计算设备，获取多个接口请求的日志对应的文本；针对每个接口请求，对接口请求对应的文本进行分词处理，获得文本中的多个待处理词语；根据多个待处理词语在文本中的词频，确定接口请求对应的至少一个目标片段；根据多个接口请求对应的目标片段，确定多个接口请求中的同源接口请求。通过本方案，最大程度利用了每个词语的词频特征来获得目标片段，其准确性更高，同时避免了采用逆文本频率对日志进行处理时，日志中词语无穷小而无法进行计算区分的问题，可以提升同源接口请求判定结果的准确性，进而根据判定结果进行进一步处理，提升平台的处理效率。

摘要： 本发明公开了一种网站词频的统计方法，包括以下步骤：S1、初始化URL列表，获取指定网站所有网页的URL，通过URL对网页进行查重后，执行步骤S2；S2、更新URL列表，对URL列表中对应的网页进行关键字提取后，执行步骤S3；S3、通过关键字对所对应的网页进行查重，提取并统计网页中的词频，判断是否结束词频统计后，执行步骤S4；S4、输出网站的词频统计结果。以及一种网站词频的统计系统，其包括URL查重模块、URL列表、关键字查重模块及词频统计模块。本发明通过对网页的双次查重，对网页的词频进行提取及统计，能够快速统计出网站词频，本方案保证了网站词频统计的公正性与准确性。