一种基于Spark分布式数据挖掘算法封装与调参方法

摘要

本发明提供一种基于Spark分布式数据挖掘算法封装与调参方法，对spark机器学习算法抽象出四类通用参数，基于算法配置，完成抽象参数针对性赋值；根据数据存储、算法设置和应用场景，将同一种算法的数据输入参数、算法参数和算法输出参数设置为不同形式；将不同算法运行评估结果存储为算法执行结果表，对抽象参数不同赋值后，监控算法每次调用记录及其评估结果后自定义辅助输出；通过监控辅助输出对算法完成调参，获取运行效果。本发明将算法的调参与输入数据、硬件条件、软件环境相分离，通过配置完善算法实体；算法可自定义算法并将其封装打包，支持算法包及其信息的新增与修改；在算法打包时，对其输出结果进行自定义封装。