一种基于部分监督学习的中文概括性文本切分方法

摘要

本发明属于语言处理技术领域，公开了一种基于部分监督学习的中文概括性文本切分方法，将中文短文本分词任务看作二分类或者三分类问题，并根据短文本的主要特征提取具有较小噪声的前后文特征信息结合部分监督学习方法来进行分词。本发明通过五组外加一组“困难”数据集的对照实验，不难发现短文本分词的结果深受前后文信息长度的影响，其中二元前后文信息最能贴合短文本分词的特征，能够有效提高分词性能；二、三元混合特征更能表达出每个“空”的信息其性能最优秀，再多或者再少就会损失性能了；部分监督学习在短文本分词中的应用也能体现出其优秀的补齐参数能力，能够大大的减少人工标注的工作并且获得更加优秀的性能。