一种分词方法、系统、分词器生成方法及系统

摘要

本申请涉及一种分词方法、系统、分词器生成方法及系统，属于数据处理技术的领域，分词方法其包括获取待测目标文本；得到一个及一个以上的词项及每个词项的词频，并得到包含所有所述词项的初分词方案；得到单字词项和/或超低频词项，或将初分词方案中的词项一起作为最终分词结果；对超低频词项和单字词项进行处理得到特定词和再分词方案；得到初分词方案和每个再分词方案的词频值；得到最优分词方案，将最优分词方案中的结果词和初分词方案中未合并的词项一起作为最终分词结果。与相关技术相比，本申请具有改善专用领域文本搜索准确性较低的问题的效果。