一种基于分词工具共性信息和部分监督学习的分词方法

摘要

本发明公开了一种基于分词工具共性信息和部分监督学习的分词方法。本发明步骤如下：(1)使用大量无标注数据和BiLSTM神经网络预训练一个具有多种分词工具共性信息的BiLSTM模块，获得训练好的BiLSTM神经网络模块；(2)使用少量标注数据训练初始分词模型，得到基于卷积神经网络和多种分词工具共性信息的初始分词模型M0。(3)利用M0对大量无标注数据集进行标注，得到大量伪标签数据。修改M0中的损失函数，利用少量标注数据和大量伪标签数据共同训练损失函数修改后的M0，得到基于多种分词工具共性信息和部分监督学习的中文分词模型M1。(4)迭代步骤(3)n次,得到最终分词模型Mn。本发明提高跨领域中文分词的准确率。