汉语自动分词实用系统CASS的设计和实现

摘要

近年来,汉语自动分词成为中文信息处理的一大热门课题,其研究进展令人关注。本文主旨,是通过介绍CASS系统的设计和实现,阐述汉语自动分词实用系统的一般性原理,包括系统的总体结构、自动分词算法和分词词典的实现、各种多义切分字段的识别和处理,等等。CASS系统由总控程序、自动分词程序、设施管理程序、分词词典和知识库等五大部分组成。自动分词算法程序选用正向增字最大匹配法ASM(+1,+1,+1)实现,该算法的嵌套调用,可以识别出各种多义切分字段,包括任意多重的交集型多义字段。这个算法经过相应的运行控制,可以实现其它各种分词方法。