逆強化学習による医療臨床データの分析

摘要

近年電子的に蓄積されるようになっている大量の医療臨床情報を活用し，治療過程の質の向上につなげることは重要な課題である.我々は，診療過程を医師と患者の間のインタラクションと見なす立場から，循環器内科における診療記録データをマルコフ決定過程でモデル化し，患者の予後のシミュレーションや医師の措置の価値評価を行うことを試みている.医師の措置の価値を評価するためには，なんらかの報酬情報が必要であるが，診療記録データにはその情報は含まれていない.こうした問題に対処するため，エキスパートの観測·行動系列から，エキスパートが想定している報酬情報を推定する逆強化学習の枠組みが提案され，様々なアルゴリズムが提案されている.本発表では，その中からベイズ的逆強化学習のァルゴリズムを紹介し，医療臨床データに適用した結果について述べる.%It is an important issue to utilize large amount of medical records which are accumulated on medical information systems. Medical treatment processes can be considered as interaction processes between doctors and a patients. From the viewpoint, we are modeling medical treatment records by Markov decision processes. By the method, we can simulate future states of patients and evaluate the value of medical treatments. In order to evaluate the value of treatment, reward function which doctors are using is necessary. However, treatment records do not include the reward information. To cope with such problem, the problem of inverse reinforcement learning (IRL) has been formalized and various algorithms to solve the problem are proposed. IRL estimates experts' reward function from experts' observation and action data. In this presentation, we introduce IRL and report on the applicability of the Bayesian IRL to the medical records of heart disease patients.