一种基于知识增强和知识迁移的句子语义相关度判断方法

摘要

本发明公开了一种基于知识增强和知识迁移的句子语义相关度判断方法，根据语料集中已标注的训练数据和验证数据构造相应的无监督训练语料，并利用该语料对预训练BERT进行再次训练，从而得到包含任务相关领域知识的预训练语言模型TBERT；一方面根据BERT的输入要求将待判断的两个句子构造成句子对作为TBERT的输入，通过多层Transformer模型的学习句子对的全局上下文信息及其关系，从而得到句子对的全局语义相关信息；另一方面通过一个孪生BERT网络分别学习各个句子的局部语义信息，然后结合距离函数计算它们之间的语义相关度信息，从而得到包含句子局部语义及距离信息的语义向量，并最后合并得到最终的句子语义相关度表示。