一种基于Bert语言模型的中文写作短语推荐方法

摘要

本发明公开了一种基于Bert语言模型的中文写作短语推荐方法，该方法包括：获取网络上的现代文长短文语料；根据类别获取写作中常用的短语及成语；构造基于短语的Bert掩蔽文本预测任务数据；基于现有的中文预训练Bert模型进行基于表征的短语预测任务训练；将存在空缺等待填入短语的句子输入到短语预测模型中，得到模型推断的短语词性类别及对应类别下推荐出的短语结果。本发明与现有技术相比充分利用了语言模型的知识，基于上下文对待填写的短语进行推荐，同时结合文本的中文句法结构，以及前后文所蕴含的语义语境信息，构建短语的表征，提高短语预测模型的精度，推荐更加准确且合适的短语，对中文写作辅助训练和中文语言学习具有很高的价值。