基于自适应动态规划的几类非线性时滞系统最优化控制方法研究

摘要

因为时滞非线性系统最优控制解的解析形式很难求得，所以时滞非线性系统最优控制一直是控制领域研究的热点和难点之一.另一方面，自适应动态规划(ADP)作为一种近似求解最优控制问题的新算法，自从诞生之日起就一直被认为是解决非线性系统最优控制的有效方法之一.自适应动态规划成功地结合了神经网络、自适应评判设计、加强学习和经典动态规划等理论，在求解非线性系统最优控制时有效地避免了“维数灾”问题，因而获得广泛的关注.因此，深入地探讨自适应动态规划理论及其算法，对解决时滞非线性系统的最优控制问题有着重要的理论意义和应用价值.本文基于自适应动态规划理论与算法，对时滞非线性系统的最优镇定控制、最优跟踪控制、有限时间最优控制问题等进行了深入地研究，取得了如下创新性成果:
　　1.针对一类带有饱和执行器的时滞非线性系统，提出了一种局部寻优和全局寻优相结合的最优反馈控制方案.该方案引入非二次型的性能指标函数，采用ADP算法得到了最优控制策略。两个神经网络分别用来近似性能指标函数和控制策略.给出的定理证明了所提出的ADP算法的收敛性.
　　2.首次应用启发式动态规划(HDP)迭代算法解决了时滞非线性离散系统的最优跟踪控制问题，并且提出了一种包含状态迭代，控制律迭代和性能指标迭代的HDP迭代算法。利用Lyapunov理论证明了所得到的控制能够使得系统渐近跟踪上给定的期望轨迹。
　　3.针对一类离散时滞系统提出了一个基于回声状态网(ESNs)的迭代二次启发式规划(DHP)算法.在每次迭代中，ESNs被用来近似协状态函数。为了保证ESNs近似器的可靠性，ESNs的均方误差被限定在一定的范围内。给出的定理证明了协状态函数的有界性，并且指出如果系统渐近稳定，则协状态函数收敛到零。
　　4.针对仿射时滞非线性系统提出了一种新的有限时域最优控制方法。证明了当迭代步数增长到无穷时，迭代算法收敛。同时指出性能指标函数的极限满足离散时间HJB方程，且有限时域迭代算法可以达到理想的误差范围内。
　　5.针对非仿射非线性时滞系统，提出了一种有限时间最优控制方案。该方案考虑了两种不同的初始情况，并分别给出了相应的控制算法。证明了在不同初始情况下算法的收敛性，而且给出了系统运行时间步数的表达式。
　　6.针对非线性时滞系统提出了一种有限时间最优跟踪控制方法.该方法基于自适应动态规划理论，能够使得时滞非线性系统在N步内跟踪上一个时不变轨迹?首先最优跟踪问题被转化成了一个调节问题，定义的代价函数保证了系统跟踪能量最小。其次，应用有限时间自适应动态规划方法提出了最优N步控制方案。最后给出的定理证明了所提出算法的收敛性。

目录

声明

摘要

第一章 绪论

1．1 非线性时滞系统最优控制理论概述

1．1．1 非线性时滞系统研究背景

1．1．2 非线性时滞系统最优控制研究的现实意义及研究现状

1．2 动态规划理论基本原理

1．2．1 动态规划方法简述

1．2．2 离散系统动态规划方法概述

1．2．3 连续系统动态规划方法概述

1．3 自适应动态规划理论基本原理

1．3．1 自适应动态规划方法的发展历程

1．3．2 自适应动态规划的基本原理

1．3．3 自适应动态规划的分类

1．3．4 无限时域与有限时域自适应动态规划

1．3．5 自适应动态规划的发展现状

1．4 本文的主要工作

第二章 基于ADP算法的带有饱和执行器的一类时滞非线性系统的最优控制

2．1 引言

2．2 问题描述

2．3 基于迭代ADP算法的最优控制

2．3．1 迭代ADP算法的推导

2．3．2 迭代ADP算法收敛性分析

2．4 迭代ADP算法实现

2．4．1 评判网络

2．4．2 执行网络

2．5 仿真研究

2．6 本章小结

第三章 基于HDP迭代算法的离散时间非线性时滞系统的最优跟踪控制

3．1 引言

3．2 问题描述

3．3 迭代HDP算法及其收敛性

3．3．1 迭代HDP算法的推导

3．3．2 迭代HDP算法的收敛性分析

3．3．3 迭代HDP算法的设计步骤

3．4 迭代HDP算法的神经网络实现

3．4．1 评判网络

3．4．2 执行网络

3．5 仿真研究

3．6 本章小结

第四章 基于ESNs结构的时滞非线性系统的迭代DHP实现方法

4．1 引言

4．2 迭代DHP算法

4．2．1 迭代DHP算法的基本结构

4．2．2 迭代DHP算法的收敛性分析

4．3 基于ESNs实现迭代DHP算法

4．3．1 ESNs的基本构造

4．3．2 ESNs的训练过程

4．3．3 迭代DHP算法的实现

4．4 仿真研究

4．5 本章小结

第五章 基于迭代ADP算法的一类仿射非线性时滞系统最优有限时域控制

5．1 引言

5．2 问题描述

5．3 仿射非线性系统的有限时域最优迭代算法

5．3．1 算法的收敛性分析

5．3．2 迭代算法的实现步骤

5．4 迭代ADP算法实现

5．4．1 评判网络

5．4．2 执行网络

5．5 仿真研究

5．6 本章小结

第六章 一类非仿射非线性时滞系统的有限时间最优控制

6．1 引言

6．2 问题描述

6．3 迭代ADP算法及其收敛性分析

6．3．1 迭代ADP算法的推导

6．3．2 算法的收敛性分析

6．4 仿真研究

6．5 本章小结

第七章 基于ADP算法的有限时间时滞非线性系统最优跟踪控制

7．1 引言

7．2 问题描述

7．3 基于ADP算法的Ⅳ步最优时不变轨迹跟踪控制

7．3．1 N步迭代ADP算法

7．3．2 N步ADP算法的收敛性

7．4 仿真研究

7．5 本章小结

第八章 问题与展望

参考文献

攻读博士学位期间的研究成果

致谢

个人简历