一种基于NLP技术的单词频率排序及词汇表分析的方法

摘要

本发明属于语言学习技术领域，公开了一种基于NLP技术的单词频率排序及词汇表分析的方法，包括：收集语料库数据集；清洗数据、格式化数据、统计数据中的词汇，以频率为参数，利用排序算法，得到单词频率排序信息；利用NLP技术进行单词聚类分析，分析单词类别属性，构建过滤工具；利用机器学习方法和NLP技术训练数据集，得到单词向量模型，利用单词向量模型实时的分析计算所有单词的关联单词及语境词汇表。本方案利用NLP技术，通过机器学习来训练、提炼大规模数据集语料库生成词典的单词频率排序、单词聚类、语境词汇表等，以此构建词典的创新功能，来帮助学习者提高学习效率，解决使用者背词典效率和目标问题，帮助使用者掌握大量相关词汇。