基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法

摘要

本发明公开了基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法，涉及自然语言处理技术领域。本发明包括以下步骤：将文本数据集表示为传统的词袋模型BOW作为自编码器的输入；数据通过编码器得到主题向量θ；使用高斯混合模型GMM作为一个先验分布，生成潜在的向量表示θ′；对得到的主题分布θ进行解码，将其映射到V个单元的输出层，获得计算输入BOW和输出的重构损失，以及分布θ′和分布θ之间的最大均值差异MMD损失；迭代，更新模型参数对生成模型进行优化。本发明使用MMD来度量先验分布和后验分布之间的差异，并且训练过程中不使用监督信息，能够获得一系列更为多样以及连贯的主题。