一种非线性离散时间系统的在线学习控制方法

摘要

本发明公开了非线性离散时间系统的在线学习控制方法，包括行为策略选择步骤，最优Q‑函数定义步骤，评价网络和执行网络引入步骤，估计误差计算步骤，以及最后的最优权重计算步骤，当评价网络和执行网络的权重收敛之后，执行网络的输出即为最优控制器的近似值。本发明无需在策略评估和策略提高之间反复迭代，可实现对最优控制器的实时在线学习；采用离轨策略学习机制，有效克服了直接启发式动态规划方法对状态‑策略空间探索不足的问题，执行网络和评价网络可使用任意形式的激活函数，本发明可实现对最优控制器的在线学习，并且无需系统模型，仅需要行为策略产生的状态数据。