一种异构数据集特征质量可视化方法

摘要

一种异构数据集特征质量可视化方法，通过对异构的训练集和验证集特征分布进行统计，引入特征离散值的发生率，采用异构方法在极坐标系中对特征集合以及特征类别值集合进行可视化，通过计算类别值的正样本发生率、规范化发生率、漂移比、综合发生率，以漂移比为半径、综合发生率为偏角，在极坐标中绘制特征质量图。根据特征可视化方法帮助解决有监督学习中典型的四个特征工程问题：特征评估、特征归因、特征选择、特征改进。本发明使有监督机器学习模型面对领域迁移学习问题或者同领域但数据分布有趋势性漂移时，能够克服训练集和测试集分布差异问题，进而可以进行有效的特征评估、特征归因、特征选择，甚至通过改善特征以提升模型效果。