汉语句法分析建模中基于模型质量的特征选择方法

摘要

在汉语句法分析建模中,有选择地使用结构消歧特征,有利于把握句法分析的规律,解决数据稀疏问题,提高模型的鲁棒性.本文提出了一种量化的特征选择方法,通过由特征构建的句法分析模型对训练样本的对数似然估计,去评价特征在句法分析建模中所起的作用.初步实验表明,本文提出的方法可以大幅度减少模型所需要的特征数量,使用不超过10％的关键特征构建的句法分析模型,在封闭测试时,精确率和召回率可以接近使用全部特征构建的句法分析模型,而对于开放测试,经过特征选择的模型其效果好于未经过特征选择的模型.