经由主题稀疏自编码器和实体嵌入的用于输入分类的表示学习

摘要

本文公开了一种将主题建模、词嵌入和实体嵌入(TWEE)集成以用于输入的表示学习的统一神经网络框架的实施例。在一个或多个实施例中，新型主题稀疏自编码器被引入以将区别性主题结合到输入的表示学习中。输入的主题分布是从全局视点生成的，并且用于使自编码器能够学习主题表示。可以添加稀疏性约束以确保大部分区别性表示与主题相关。此外，词相关信息和实体相关信息都被嵌入到网络中以帮助学习更全面的输入表示。大量的经验实验表明，在不同的数据集上，TWEE框架的实施例优于现有的方法。