一种网络媒体平台评论文本分类标注数据纠正方法

摘要

本发明公开了一种网络媒体平台评论文本分类标注数据纠正方法，首先获取文本的词项序列，与其他标注文本进行词项匹配获得初步候选相似标注文本集合；然后定义基于词频、词性和词语长度的词项权重度量方法，获得词项权重向量，实现候选相似标注文本集合的粗提取，实现标注数据的粗纠正；对于经过粗纠正处理步骤的标注文本，若标注文本未进行纠正且存在初步候选相似标注文本集合，则使用深度学习语言模型提取文本的语义向量，计算语义向量相似度，实现标注数据的精细纠正。采用本发明方法能够实现对错误标注数据的自动精确识别和纠正，大量减少人工处理，提高了标注数据的质量。