用于多个自然语言处理(NLP)任务的联合多任务神经网络模型

摘要

所公开的技术提供了所谓的“联合多任务神经网络模型”，以在单个端到端模型中使用不断增长的层深度来解决各种日益复杂的自然语言处理(NLP)任务。通过考虑语言层级，将词表示直接连接到所有模型层，明确地使用较低任务中的预测，并应用所谓的“连续正则化”技术来防止灾难性遗忘，来连续训练该模型。较低级模型层的三个示例是词性(POS)标注层、语块划分层和依赖性解析层。更高级模型层的两个示例是语义相关性层和文本蕴涵层。该模型实现了关于语块划分、依赖性解析、语义相关性和文本蕴涵的最先进的结果。