一种基于字典树的中文未登录词识别方法

摘要

本发明公开了一种基于字典树的中文未登录词识别方法，包括以下步骤：步骤一：将文本输入，将一些标点符号等问题进行去除，建立中文文本库；步骤二：将文本库构造成字典树，在这个任务中需要构造两颗Trie树，表示正向和反向两个字符字段集；步骤三：计算词语左右信息熵的最小值,与信息熵阈值进行比较，保留可能成词的候选词；步骤四：计算词语互信息，与互信息阈值进行比较，将大于互信息阈值的词保留；步骤五：将之前保留的词语和词典进行比较，将原词典中没有的词加入作为词典的一部分，消除未登录词。有益效果：本发明不需预先通过词典进行分词，字典树的时间复杂度和存储字符串的数据量无关只与查询的字符串长度有关，在一定程度上能加速算法。