基于先验信息的支持向量机核函数选择

摘要

支持向量机是由统计学习理论发展而来的一种机器学习方法，是众多机器学习方法在发展过程中从经验风险到结构风险的一次重大理论突破。它对传统机器学习方法中难以处理的小样本以及非线性等问题具有特有的优势，被广泛应用于人工智能领域。支持向量机对非线性可分问题拥有较好的学习能力，这是因为它是一种基于核的学习方法。核函数的引入使得支持向量机模型不必再针对输入空间计算内积，而是将输入空间嵌入到高维特征空间中进行计算。这样不仅可以实现非线性问题的分类，同时也降低了计算的复杂度。然而，各核函数相对应的映射方式不同，也就是核函数蕴含的度量特征不同，故核函数对支持向量机模型的泛化性能有着极其重要的影响。因此，针对支持向量机模型在训练的过程中怎样高效地选择核函数是支持向量机研究中至关重要的部分。　　核函数决定支持向量机模型性能的关键点在于通过映射使得输入的样本点在特征空间中的相互关系。而现有核选择研究大多数仅考虑核函数本身的特征，如全局特性、局部特性等，或者根据经验进行选择。这些核选择方法显然存在着一系列的偶然性和局限性，故本文针对训练样本蕴含的先验信息以及不同核函数生成的核矩阵的特征信息进行综合分析，设计出基于输入样本先验信息的支持向量机核函数选择机制。主要工作有：　　1. 对支持向量机相关理论进行阐述，通过相应的理论推导引出本文研究的重点—核函数，首先对核函数的定义、核函数的性质以及常用的核函数等方面加以描述；然后从黎曼度量、距离度量和角度度量详细地分析核函数所蕴藏的特征信息；最后从研究背景、理论依据以及实际具体问题的先验信息分布等方面做出阐述，对后续研究内容做一铺垫。　　2. 由于诸多实际问题可以借助图论知识加以表达，本文创造性地将图论中无向图邻接矩阵的概念与输入样本相结合，然后针对生成的邻接矩阵进行分析得到样本分布信息，并利用主成成分分析方法求得邻接矩阵的本征维数，以及结合不同类型的核函数所蕴藏的本征维数，从而确定选择核函数类型。最后通过不同的数值实例仿真，验证本文方法能够在充分考虑样本先验信息的前提下有效地进行核选择，避免核函数选择的盲目性。　　3．针对实际问题中往往无法用整数描述给定样本的本征维数，同时对于复杂问题简单核函数也难以使生成的模型拥有较好的性能。本文建设性地借助分形几何中的分形维数对样本的先验信息进行估计，同时依据分形中自相似性的特点进行基核函数选择或者混合核函数选择。首先利用关联维数的方法计算训练样本的分形维数，并通过实验分析得出阈值进行核函数的选择；然后引入信息熵对训练样本的分布信息表征，以此为基础选择或者组合适合于具体问题的核函数。该方法即可以有效地对训练样本的先验信息进行计算，又能够兼顾核函数的特征信息，并通过相应的数值实例仿真验证了其有效性。　　4．考虑到上述研究均是以UCI中的数据为基础进行的，本文利用在上海某公司实习期间所采集的数据与基于深度学习和人脸五官点信息的人脸姿态分类算法分别进行了相应的仿真实验，以测试上述核函数选择方法的优越性。通过具体实例仿真得到，利用本文方法选择的核函数构造支持向量机模型对人脸姿态分类的准确率要比基于深度学习的方法分类准确率高，同时在运行时间上支持向量机模型的速度远优于深度学习模型的运行速度。　　通过对UCI数据库中的数据以及现实生活中提取的人脸数据进行仿真证明，上述方法在充分运用样本的先验信息与核函数的特征信息进行核函数选择的方法是行之有效的。

目录

声明

第一章 绪论

1.1 研究的背景与意义

1.2 国内外研究现状

1.3本文的主要工作与创新点

1.4 本文主要的符号

1.5 本文主要内容与章节安排

第二章 支持向量机

2.1 引言

2.2 统计学习理论

2.2.1学习器的输入

2.2.2 学习器的输出

2.2.3 评价学习器的标准与学习器的优化

2.2.4 VC维

2.2.5 结构风险最小化

2.3 支持向量机

2.3.1 线性支持向量机

2.3.2 非线性支持向量机

2.4 核函数

2.4.1 核函数定义

2.4.2 核函数度量特征

2.4.3 常用的核函数类型

2.5 本章小结

第三章 样本先验信息特征描述

3.1 样本先验信息

3.2 样本先验信息几种常见的表现形式

3.2.1 本征维数

3.2.2 稀疏表示

3.2.3 样本分布特征

3.3 总结

第四章 基于图论的支持向量机核函数选择

4.1 引言

4.2 理论基础

4.3 算法框架

4.3.1 样本数据预处理

4.3.2 k邻域选取

4.3.3邻接矩阵的构造

4.3.4 本征维数估计

4.3.5 核函数类型选择

4.4 实验仿真与分析

4.4.1 实验仿真

4.4.2 样本数据对比试验分析

4.5 结束语

第五章 分形理论下支持向量机核函数选择

5.1 引言

5.2 理论基础

5.2.1 分形理论

5.2.2 自相似性与核函数

5.2.3 拉普拉斯映射

5.3 算法框架

5.3.1 数据预处理

5.3.2 信息熵计算

5.3.3 核矩阵构造

5.3.4 分形维数计算

5.3.5 核函数选择

5.3.6 算法验证

5.4 实例仿真与分析

5.4.1 实验仿真

5.4.2 实验结果分析

5.5 总结

第六章 基于分形理论的支持向量机人脸姿态分类

6.1 引言

6.2 五官点信息获取

6.3 实验与分析

6.3.1实验数据集

6.3.2对比实验与分析

6.4 总结

第七章 总结与展望

7.1 总结

7.2 展望

参考文献

致谢

攻读学位期间的研究成果