経路積分強化学習による猫ひねり運動の制御

摘要

猫ひねり運動は，落下中のネコが外力なしに行う姿勢制御運動であり，その制御法は，宇宙ロボットの制御にも応用可能なものとして実用性を有する.しかし，ネコの姿勢制御システムは非ホロノミックシステムに分類されるものであり，一般的な状態フィードバック則での制御が困難であることが知られている.本研究では，状態には依存せずに時間のみに依存するものとして表現した方策を，経路積分強化学習法によって学習するアプローチを提案する.提案する手法により，ネコの姿勢制御を模したシステムにおける目標状態を達成する制御則を効率よく獲得できることを示す.%The falling-cat motion is a motion for controlling the cat's posture under no existence of external force. To obtain a controller that emits such a motion is of practice, because of its applicability to controlling problems of various systems including space robots. It is not an easy task, however, because the cat's posture control is a nonholonomic system to which general state feedback control is hard to be applied. In this study, we propose an approach to use path integral reinforcement learning for identifying a control policy that is dependent on time but independent of system state. We will show that the proposed method can acquire such a control policy that achieves a goal state (a goal posture) of a dynamical system which models the cat's posture control, in an efficient manner.