分词规范亟需补充的三方面内容

摘要

本文认为,为提高语料库的分词标注质量应在分词规范中补充三个内容: ①命名实体(人名、地名、机构名)标注细则;②表义字串(日期、时间、百分数等)标注细则;③歧义字串的消解细则.因为一方面命名实体和表义字串已被不少分词语料库视为分词单位,另一方面在以往的分词规范中几乎从不谈及歧义消解问题.其实人们对歧义字串的语感往往是不同的.因此有必要在规范中对典型的歧义字串予以说明.实践表明,在规范中交待清楚以上三方面内容,就可以在很大程度上避免标注的错误和不一致性.