基于BERT模型的医学短文本分类算法研究

摘要

提出基于预训练语言模型的医疗命名实体审核算法.首先借助BERT预训练模型对短文本数据进行句子层面的特征向量表示;然后通过构建循环神经网络和迁移学习模型实现短文本分类;最后在参数相同的条件下,将获得的文本特征向量分别输入到循环神经网络和迁移学习模型中进行训练.实验结果表明,与迁移学习相比,基于BERT和循环神经网络模型的医疗命名实体审核模型的精确率和稳定性都有所提升,其在测试集上的精确率最高可达93.2%,具有更好的短文本分类效果.