双语篇章可比语料构建方法

摘要

本发明特别涉及一种双语篇章可比语料构建方法，包括如下步骤：A、利用深度学习建立每种语言词汇间的语义关系；B、利用现有有限双语语料训练产生跨语言主题分布，对语料覆盖的不同语言词汇进行主题标注；C、利用未登陆词汇与覆盖词汇之间的语义关系，通过知识迁移分析未登录词汇的主题分布，构建多语言词汇统一的语义空间；D、构建具有较强泛化能力的跨语言主题向量；E、利用跨语言主题向量相似度筛选双语篇章，构建可比语料库。通过将单语词向量反映的语义关系、双语词汇对齐关系以及双语词向量融入跨语言主题，可提升跨语言主题模型对开放域文本信息的泛化能力，提高了可比语料构建的准确性。