非高斯随机系统的残差分布和熵的研究与分析

摘要

状态空间模型是一类应用范围很广而且实用性很强的统计模型,在一定假设条件下,由状态空间模型导出的各类Kalman滤波和平滑可以应用到模型推断的各个方面,因此,状态空间模型对参数估计、检验以及预测和更新等推断问题的处理存在着很大的优势。本文重点研究了基于线性状态空间模型的高斯和非高斯随机动态系统的推断问题,具体包括以下四个方面:
　　1.在线性时变控制系统中,当随机噪声(输入噪声和观测噪声)为高斯时,经典Kalman滤波理论是一种线性递推滤波方法,并且借助系统的状态估值和当前时刻的观测值递推新的状态估值,本文给出了Kalman滤波算法并且通过仿真实验实现其算法。对于随机噪声为非高斯时,本文通过仿真实验进行比较,检测Kalman滤波的结果。
　　2.本文针对传统的极大似然参数估计方法在解决实际问题时所存在的不足,引入了EM算法。讨论了EM算法原理和实施步骤,并把EM算法推广到状态空间模型的参数估计问题,然后推导了基于卡尔曼平滑和EM算法的状态空间模型参数估计的过程,仿真实验也表明EM算法用于状态空间模型参数估计,其估计结果还是不错的。
　　3.本文首先介绍了离散信源的信息熵,在此基础上,其中介绍信息熵相关背景和它的基本特性。接着重点阐述了连续信源的差熵与离散信源的信息熵之间的联系和区别。最后推导了服从高斯分布的随机变量的熵,明确得出了高斯随机矢量的熵的大小取决于协方差矩阵的大小的结论。
　　4.在非高斯线性时变控制系统中,本文通过控制滤波器输出残差或状态估计误差的条件概率密度函数形状来建立有效的滤波设计算法,创建滤波器输出残差或状态估计误差的条件概率密度函数的统一表现形式。利用复合概率密度函数的关系对残差或状态估计误差的条件概率密度函数的近似来实现非高斯残差的高斯化或相应的熵最小化。

目录

封面

声明

中文摘要

英文摘要

目录

第一章引言

1.1 Kalman滤波理论的简介

1.2本文章节安排和创新之处

第二章状态空间模型及Kalman滤波理论

2.1引言

2.2状态空间模型

2.3经典Kalman滤波理论

2.4实验仿真

2.5小结

第三章EM算法研究

3.1引言

3.2 EM算法及其应用

3.3 EM算法的线性状态空间模型参数估计

3.4 EM算法的非线性状态空间模型参数估计

3.5实验仿真

3.6小结

第四章熵理论

4.1引言

4.2离散信源的信息熵

4.3连续信源的差熵

4.4高斯分布随机变量的熵研究

4.5小结

第五章高斯化和熵极小化的研究

5.1引言

5.2高斯化过程

5.3熵极小化

5.4算法实施步骤

5.5实验仿真

5.6小结

第六章总结和展望

6.1本文研究的总结

6.2需进一步开展的工作

参考文献

附录A图索引

Appendix A Figure Index

致谢

攻读硕士期间发表论文及参与的研究项目