几种非线性共轭梯度法的算法研究及全局收敛性分析

摘要

最优化问题分为无约束和有约束两种。而通常有约束最优化问题，从‘转化’的角度而言，常可以转化为无约束优化问题，所以无约束最优化问题是重要的基础和手段对于优化问题来讲。非线性共轭梯度法是一种常用的能够有效解决大型无约束最有化问题的方法，在社会科学、自然科学、生产实际、和现代化管理中有着广泛应用。
　　 本课题是在国内外已有研究成果的基础上，经过仔细分析、推敲、验证，对非线性共轭梯度法选择适宜的搜索条件和改进的参数，构造新的搜索方向，得到新的算法。新方法是在前人成果的基础上，进行了拓展研究。
　　 本课题对近年来备受关注的共轭梯度算法进行了深入剖析，得到了以下一些成果：
　　 1.在PRP共轭梯度方法的基础上，提出的PRP新算法具有充分下降性和在无任何线搜索下搜索方向自动保持可行性，而且该算法也具有很好的收敛性，表现在非凸函数和一致凸函数上。
　　 2.在Liu-Storey(LS)公式的基础上给出了一个修正的共轭梯度公式。该新公式在Wolfe-Powell 线搜索下，甚至在强Wolfe-Powell 线搜索下，同时在满足时，新算法具有充分下降性和全局收敛性。数值实验结果展现了算法的可行性。
　　 3. 通过联立共轭梯度法和谱梯度法，提出一种新非线性修正的谱CD共轭梯度方法。由该方法得到的搜索方向对于目标函数而言是很好的下降方向，这一性质既不受线搜索规则的影响，也不受目标函数的凸性影响。而且该修正的方法在精确线搜索条件下，能诱导出标准的CD共轭梯度方法。同时得到了在线搜索规则下新方法的全局收敛性，初步数值实验结果显示了算法的可行性。
　　 4.在前人提出的方法基础上了，构建了一种MWYL算法，该算法具有(*)性且在强Wolfe-Powell 线搜索下，算法全局收敛，数值实验效果远远好于PRP+方法。

目录

文摘

英文文摘

1 绪 论

2 两类Armijo线搜索下的PRP新算法及其收敛性

3 修正的LS共轭梯度法

4 谱CD共轭梯度法

5 强Wolfe-Powell线搜索下的MWYL方法

6 总结与展望

致 谢

参考文献

附 录

作者在攻读硕士学位期间发表的论文目录