镜像损失神经网络

摘要

本说明书涉及神经网络，该神经网络具有多个网络参数并且被配置为接收表征环境的状态的输入观察并且处理输入观察以生成环境的状态的数字嵌套。该神经网络可以用于控制机器人智能体。可以使用包括以下步骤的方法来训练该网络：获得由第一模态捕获的第一观察；获得与第一观察一起发生并且由第二不同的模态捕获的第二观察；获得由第一模态捕获的不与第一观察一起发生的第三观察；确定三元组损失的梯度，所述三元组损失使用第一观察、第二观察和第三观察；以及使用所述三元组损失的梯度来更新所述网络参数的当前值。