一种基于概率密度估计的逆强化学习方法

摘要

一种基于概率密度估计的逆强化学习方法，包括：初始化策略模型；获取专家示范；利用专家示范估计专家的状态分布概率密度；利用专家示范估计专家状态动作联合分布概率密度；利用策略与环境交互，收集策略状态样本；利用状态样本估计策略状态分布概率密度；利用专家状态分布概率密度以及专家状态动作联合分布概率密度还原奖励函数；利用PPO方法优化策略；重复上述步骤到模型收敛；保留模型参数，输出策略模型。该方法可以整合到各类现有的逆强化学习框架中，大大提高各类逆强化学习算法的效率；同时，可以显著降低各类逆强化学习框架的计算复杂度，提高逆强化学习框架的样本利用率，以及加快逆强化学习框架的收敛速度。