基于深度强化学习的双足机器人斜坡步态控制方法

摘要

为提高准被动双足机器人斜坡步行稳定性,本文提出了一种基于深度强化学习的准被动双足机器人步态控制方法.通过分析准被动双足机器人的混合动力学模型与稳定行走过程,建立了状态空间、动作空间、episode过程与奖励函数.在利用基于DDPG改进的Ape-X DPG算法持续学习后,准被动双足机器人能在较大斜坡范围内实现稳定行走.仿真实验表明,Ape-X DPG无论是学习能力还是收敛速度均优于基于PER的DDPG.同时,相较于能量成型控制,使用Ape-X DPG的准被动双足机器人步态收敛更迅速、步态收敛域更大,证明Ape-X DPG可有效提高准被动双足机器人的步行稳定性.