一种健康体检大数据文本资料不合法词清洗的方法

摘要

本发明公开了一种健康体检大数据文本资料不合法词清洗的方法，该方法包括以下步骤：步骤1、通过收集原始的体检数据，通过人工标注及机器训练与挖掘，得到不同体检项目的不合法数据，建立文本资料不合法词库；步骤2、按照指定的数据结构输入待清洗的健康体检文本数据；步骤3、利用文本资料不合法词库对健康体检文本数据进行算法匹配，并判断是否为不合法形态；步骤4、利用算法将匹配的不合法词删除；步骤5、检查输出的健康体检文本数据是否正确；步骤6、对输出健康体检文本数据进行结果检查，并对文本资料不合法词库进行补充；步骤7、完成对不合法词的清洗。本发明提供了一种规范、合理的文本不合法词清洗的方法，算法精度高，计算效率高。