POMDPs環境のための決定的政策を学習するProfit Sharing による 二足歩行ロボットの姿勢制御

摘要

強化学習とはとるべき行動を学習する機械学習の一種である．強化学習は環境との相互作用で学習を進めるため，事前に理想的な解を示す教師信号を与えることなく，適切な行動系列が獲得可能であるという利点があり，現在，様々な手法が研究されている．本研究では，POMDPs (Partially Observable MarkovDecision Processes) 環境のための決定的政策を学習するProfit Sharing[1] を用いて，二足歩行ロボットの姿勢制御モーションの獲得を実現する．ロボットの学習に強化学習を用いることには，(1) 目的に応じて報酬を設定するだけで学習を行うことができる，(2) 故障などの想定外の状況に対しても学習により自動的に適応できる，(3) 手動で設定した場合よりも試行錯誤により優れた制御ルールを獲得できる可能性があるなどの利点がある．