基于类间最大间隔理论的多级决策树归纳算法

摘要

决策树归纳算法由于其实现简单，归纳能力强而逐渐成为了最常用的机器学习算法之一。但当要处理的问题类别个数增多时，传统的决策树算法由于产生的单一决策树过于复杂，而出现概括能力降低，预测精度下降的问题。针对该问题，本文提出了一种基于类间最大间隔理论的多级决策树归纳算法，多级决策树的主要思想是首先把多类别问题转化成正反两类问题来产生第一级的决策树，然后把正子类再细分为正、反两类来产生第二级的决策树，同理把第一级的反子类也细分为正、反两类来产生第三级的决策树，在第二级的得到的正反两类重复上面的工作，直到把所有类别都分开。本文将最大间隔理论引入到了多级决策树归纳中，以期在每一级划分正反子类时能得到较优的划分。
　　 本文在闸述算法思想和步骤的基础上，通过与传统的决策树算法进行实验对比，得到了如下结论：多级决策树算法能够得到条数较少、概括性更强的规则，从而能够有效提高训练和测试精度。因此，该算法在多类别的分类问题及相关应用领域中具有明显的优势和潜力。

目录

文摘

英文文摘

声明

第1章 绪论

1.1决策树算法及研究现状

1.2多级决策树算法的提出

1.3本文主要研究内容

第2章 基于统计学习理论的多类分类器综述

2.1 统计学习理论的发展

2.2 支持向量机的基本问题

2.3 基于SVM的多类分类器

2.3.1 1-VS-n方法

2.3.2 1-VS-1方法

2.3.3 基有向无环图多类分类器(DAGSVM)

2.3.4 最大间隔SVM多类分类器

2.3.5 多级SVM(Multi-Stage SVM)多类分类器

第3章 基于类间最大间隔的多级决策树

3.1 传统的决策树算法的描述

3.2 最大间隔理论

3.2.1 VC维

3.2.2 最大间隔理论

3.2.3 SVM的反问题理论的提出

3.2.4 类间最大间隔

3.3 基于类间最大间隔的多级决策树(LMDT)

3.4 改进算法

3.4.1 类间矩阵

3.4.2 只考虑类间间隔

3.4.2 综合考虑类间间隔和类内间隔

3.5 产生规则与匹配规则

第4章 实验结果及其应用

4.1 试验结果与分析

4.2 多极决策树在变压器综合故障诊断中的应用

第5章 结论

参考文献

攻读硕士学位期间科研工作情况

致谢