中文分词在成果地质资料中的应用——以分析摘要相似性为例

摘要

中文分词是利用计算机自动识别文本中词的边界的过程,是中文原始文本处理最重要的预处理步骤.目前,北京地质资料馆拥有近万档电子化成果地质资料,但是作为公益投资形成的、具有社会服务属性的准公共产品,仍属于不完整的信息产品,难以开展二次开发.本文探讨利用中文分词模块分析成果地质资料的摘要文本相似性,为馆内后续利用计算机进行文本分类、信息检索、信息过滤等后续中文文本信息处理打下基础.