基于BERT在非结构化医疗文本数据处理中的研究与应用

摘要

目的:基于BERT对医院近4年的肺部影像非结构化文本报告中的肺结节直径大小进行归类处理,以开发和利用非结构化数据的临床应用效能。方法:通过KETTLE清洗医院近4年有关肺结节的影像文本报告数据,随机选取500个样本报告,对报告中关于肺结节直径大小进行3分类标注,分别是:<8 mm、≥8 mm和未作描述;将标注的样本数据利用第四范式的基于BERT模型的文本分类模块进行自动机器学习,并发布成服务。结果:训练过程中,500个样本报告数据通过自动学习后,模型的准确率达到88.46%;之后对近4年13万份的肺结节报告通过训练后的模型进行了分类推论,并从中随机抽查了500份归类报告(不同于训练用数据),有462份符合实际情况,准确率高达92.40%。结论:BERT在非结构化医疗文本数据处理中更加方便,训练的样本量更少,准确率更高,降低了医疗文本利用最新自然语言处理技术进行学习的门槛。