一种二次釆样的强化学习方法

摘要

为了提高强化学习算法训练过程中信息价值高样本的回放频率,缩短算法训练时间,本文提出一种二次采样方法.对经验池中随机采集批量样本进行分层,将每层中样本的TD_error分布采样,用二次采样得到的样本训练深度Q网络,并将二次采样方法采用在DQN算法中,利用OpenAI Gym平台上测试其效果,分析算法参数对学习性能的影响.实验结果表明:相较于DQN算法,该方法能提高更有信息价值样本以及表现优秀样本的被选概率,提高Agent的学习速度,减少Agent与环境的交互次数,改善Agent的学习效果.