基于惯性动力系统的加速梯度算法

摘要

加速梯度算法是指在仅使用一阶梯度信息的前提下,比传统的梯度下降法有更快收敛速率的算法.针对二阶惯性动力系统,采用三种离散格式:辛格式、显式Euler及隐式Euler,分别对系统进行离散化,得到了三种不同的优化算法,通过构造了合适的Lyapunov函数,证明了由辛格式和隐式Euler得到的优化算法是加速梯度算法.