一种检测HDFS小文件和数据倾斜的自动化测试方法及工具

摘要

本发明公开了一种检测HDFS小文件和数据倾斜的自动化测试方法及工具。本发明具体包括以下步骤：(1)首先，在PostgreSQL数据库创建用例表及测试结果表，用于后续存储测试用例和测试结果；(2)根据数据测试需求，在数据库表中配置测试用例；(3)读取并解析用例表中的测试用例数据；(4)执行代码类调用Shell脚本；(5)获取Shell脚本返回的结果，对比测试结果与期望结果的一致性；(6)将测试结果写表存储。本方法及工具亦可保存历史已配置好的用例，进行自动化回归测试，以及可运用在基于相同产品架构下的不同定制项目中，本数据测试方法及工具可极大提升测试工作效率。