一种基于实体知识库的语言模型平滑方法

摘要

本发明公开一种基于实体知识库的语言模型平滑方法，包括：预先确定实体知识库；采用最大似然估计法，对语料库中的每篇文档构建原始文档语言模型，以及对整个语料库构建语料库语言模型；使用命名实体识别技术识别每篇文档中的命名实体，使用命名实体链接技术将识别的命名实体链接到实体知识库中实体上，将每篇文档与实体知识库之间建立联系；根据实体链接，提取每篇文档中的命名实体在实体知识库中的信息，融合成每篇文档的背景知识文档，采用最大似然估计法，构建背景知识语言模型；结合背景知识语言模型和语料库语言模型两种语言模型信息，对原始文档语言模型进行两次平滑。本发明提高了平滑后语言模型的鲁棒性。