一种大数据海量数据秒级查询方法、装置及计算机介质

摘要

本发明提供一种大数据海量数据秒级查询方法、装置及计算机介质，涉及计算机技术领域，所述方法包括：识别待查询目标文本的字段中数据量大的字段；排除所述的识别出的数据量大的字段，将剩余字段的字段信息存入ES中；将待查询目标文本的所有字段都存入Hbase；在hive中创建hive与ES、hive与Hbase的映射外表；通过向hive映射外表加载数据实现将hive数仓数据写入ES和Hbase；根据条件检索数据ID，ES返回数据ID；根据ID查询Hbase中响应的记录；返回查询结果,解决了当目标查询文件字段的信息量较大，对前端应用服务器的查询响应造成影响；ES查询数据较慢，做不到秒级的查询，影响用户的使用感受并且数据都存在ES上，增加了ES集群的压力，提高了ES集群的维护成本的问题。