基于知识库对齐的命名实体识别方法

摘要

训练语料库的贫乏对低资源语种的命名实体识别效果有很大影响,高资源语种向低资源语种进行标签投影解决了低资源语种的语料问题。但由于词典的投影昂贵且单一,而Wikidata提供多语词条,一对多的标注投影极大地减少了投影产生的噪声,通过易获得的双语平行文本,基于Wikidata词条可构建多语种知识库,完成标签投影,构建训练语料库,提升低资源语种实体的识别功能。