有限状态机在中文文本分词中的应用

摘要

提出并实现一种有限状态机算法,该方法结合二分查找树算法将整个词典构造成一个有限状态机,从而使词典中的每个不同的汉字以不同弧权值的形式存在于有限状态机中。当要判断某个字符串是不是词时,只要从这个有限状态机的第一个状态结点依次进行查找即可。实验显示,通过这个有限状态机词典可以实现对字符串的快速查找。