一种用户定义函数UDF运行情况的处理方法及系统

摘要

一种用户定义函数UDF运行情况的处理方法，其能够以在线的方式自动收集UDF运行状态，定时输出数据报表，量化了UDF调用情况。该方法包括：(1)在HIVE执行计算作业时，每一个计算作业JOB包含N个任务TASK，收集计算作业的JOBID、TASKID、执行开始时间、执行人员、IP地址、作业名称、结束时间；(2)对处理数据量以及调用次数、成功次数以及失败次数做计数；(3)在TASK执行结束之前，在CLOSE方法中把步骤(1)和(2)收集到的信息持久化，存储到mysql数据库；(4)根据mysql数据库中存储的数据，定时统计分析出每一个UDF的执行状态，并输出数据报表。还有一种用户定义函数UDF运行情况的处理系统。