負の報酬を獲得する状況を重視した畳み込みニューラルネットワークを用いたProfit Sharing におけるルールの再利用

摘要

深層学習と強化学習とを組み合わせた手法は深層強化学習と呼ばれる。Q Learning をDeep Learning の代表的な手法である畳み込みニューラルネットワークを用いて実現したDeep Q-Networkは、多くのゲームで人間や従来の手法を上回るスコアを獲得できることが示され、注目されている。また、Q Learningの代わりにProt Sharing を畳み込みニューラルネットワークを用いて実現する手法[4] も提案されている。この手法では、いくつかのゲームにおいてDeep Q-Network よりも高いスコアが獲得できるように学習が行えることが示されている。Deep Q-Network[3]はQ Learning に基づいた手法であるため、多くの報酬を得られるような政策を獲得するように学習が行われることになる。しかし、課題によっては負の報酬を獲得しないことを学習することが重要な場合もある。また、障害物回避問題などにおいては、負の報酬を獲得する状況におけるルールは環境が変わっても再利用できる可能性がある。