基于强化学习的HP模型优化方法研究

摘要

蛋白质结构预测问题一直是生物信息学中的重要问题.基于疏水极性模型的蛋白质二维结构预测问题是一个典型的NP难问题.目前疏水极性模型优化的方法有贪心算法、粒子群算法、遗传算法、蚁群算法和蒙特卡罗模拟方法等,但这些方法成功收敛的鲁棒性不高,容易陷入局部最优.由此提出一种基于强化学习的HP模型优化方法,利用其连续马尔可夫最优决策与最大化全局累计回报的特点,在全状态空间中,构建基于能量函数的奖赏函数,引入刚性重叠检测规则,充分挖掘生物序列中的全局进化关系,从而进行有效与稳定的预测.以3条经典论文序列和5条Uniref50序列为实验对象,与贪心算法和粒子群算法分别进行了鲁棒性、收敛性与运行时间的比较.贪心算法只能在62.5％的序列上进行收敛,该文方法能在5万次训练后稳定的在所有序列上达到了收敛.与粒子群算法相比,两者都能找到最低能量结构,但该文的运行时间较粒子群算法降低了63.9％.