基于深度强化学习的四足机器人步态分析

目录

声明

摘要

1．1选题背景及研究意义

1．2四足机器人研究现状

1．2．1国外四足机器人研究现状

1．2．2国内四足机器人研究现状

1．3基于强化学习的腿足式机器人研现状

1．4主要研究内容及章节安排

2．1引言

2．2基于D-H方法的运动学建模

2．2．1正运动学分析

2．2．2逆运动学分析

2．3仿真建模及参数

2．4电动四足机器人控制系统

3．1引言

3．2强化学习

3．2．1马尔可夫决策过程

3．2．2强化学习流程

3．2．3价值函数和贝尔曼方程

3．2．4深度强化学习

3．3强化学习控制器设计

3．3．1状态空间设计

3．3．2动作空间设计

3．3．3奖励函数

3．4强化学习控制算法

3．4．1基于策略梯度强化学习的控制器

3．4．2基于深度强化学习算法的控制器

第四章基于PPO强化学习的步态分析

4．1引言

4．2PPO强化学习方法

4．3步态规划及实现

4．3．1对角小跑步态规划

4．3．2基于PPO学习算法的trot步态

4．3．3基于PPO算法的仿真实验

4．4实验数据分析

4．4．1运动稳定性比较

4．4．2前向速度比较

4．4．3能耗对比

4．5总结

第五章基于A2C和DDPG强化学习的步态分析

5．1引言

5．2强化学习方法

5．2．1Adventage Actor Oritic强化学习方法

5．2．2DDPG强化学习方法

5．3trot步态规划

5．3．1基于A2C的trot步态规划

5．3．2基于DDPG的trot步态规划

5．4基于A2C的数据分析

5．4．1运动稳定性分析

5．4．2强化学习目标分析

5．4．3能耗分析

5．5基于DDPG的数据分析

5．5．1运动稳定性分析

5．5．2强化学习目标分析

5．5．3能耗分析

5．6本章小结

6．1总结

6．2展望

参考文献

致谢

攻读学位期间获得的专利

硕士学位期间参加的科研项目