基于二分类SVM的多分类方法比较研究

摘要

支持向量机(Support Vector Machine，SVM)是一种基于统计学习理论的新型机器学习方法，具有全局最优、结构简单、推广能力强等优点，因此得到了广泛的研究和应用。但是SVM方法最初是设计用来解决两类分类问题的，如何将SVM扩展到多分类问题是SVM研究的重要内容之一。
　　本文在分析了SVM的基本理论和基本性质的基础上，针对基于二分类器SVM的多分类方法进行了深入研究。主要研究工作如下。
　　针对目前常见的多分类方法，包括OAA方法、OAO方法、DAG方法、ECOC方法等，总结并给出了理论上的分类原理分析、纠错能力分析和算法复杂度比较。引入一种基于数据驱动的拓扑保持输出编码(TPOC)方法。
　　在iris、segment、NCI、ISOLET、Letter等多组数据集上使用OAA、DAG、ECOC、DECOC等几种常用多分类算法以及TPOC方法进行了识别率、复杂度和训练时间的对比实验。结果表明，DAG算法具有较高的识别能力和推广能力，TPOC与ECOC、DECOC相比在识别率损失不大的情况下可有效减少支持向量的数目。

目录

文摘

英文文摘

第一章 绪论

1.1 选题背景

1.2 支持向量机的研究现状

1.2.1 SVM的训练算法

1.2.2 SVM多分类方法

1.2.3 SVM的应用研究

1.3 本文的研究内容

1.4 本文的结构安排

第二章 支持向量机理论概述

2.1 统计学习理论简介

2.1.1 学习的一致性问题

2.1.2 VC维

2.1.3 推广性的界

2.1.4 结构风险最小化

2.2 支持向量机

2.2.1 SVM的相关数学基础

2.2.2 最优分类超平面

2.2.3 线性可分情况

2.2.4 线性不可分情况

2.3 SVM核函数及模型选择

2.3.1 核函数

2.3.2 SVM模型选择

2.4 特征选择

2.5 本章小结

第三章 基于二分类器的多分类算法

3.1 常见多分类算法介绍

3.1.1 一对多SVM算法(One-against-all，OAA)

3.1.2 一对一SVM分类算法(One-against-one，OAO)

3.1.3 有向无环图多分类算法(Directed Acyclic Graph，DAG)

3.1.4 纠错输出编码方法(Error Correcting Output Codes，ECOC)

3.1.5 DECOC方法

3.2 一种基于拓扑保持输出编码的多分类算法

3.2.1 TPOC分类思想

3.2.2 TPOC的特性

3.3 本章小结

第四章 基于二分类SVM多分类算法比较

4.1 分类思想分析

4.2 算法复杂度比较

4.3 纠错能力分析

4.4 本章小结

第五章 实验与结果分析

5.1 实验数据与实验环境

5.2 LIBSVM工具包简介

5.3 LIBSVM使用方法简介

5.4 实验结果与分析

5.4.1 在iris数据集上的实验

5.4.2 在NCI数据集上的实验

5.4.3 在ISOLET数据集上的实验

5.4.4 实验总结

5.5 本章小结

第六章 总结与展望

致谢

参考文献