大规模人群行为分析数据的二级索引方案设计

摘要

大规模人群行为数据,是通过高清摄像头采集的公共场所行人的群像数据,采集到的原始数据需要进一步进行数据分析,进而判断大规模人群的下一步动作.而Hbase作为知名Nosql数据库,无法有效的支撑根据多条件精准定位,亦不适用于大范围扫描查询.针对Hbase的以上特性,设计了一种基于Elasticsearch的二级索引方案.使用Kafka、Elasticsearch以及Hbase搭建了一套高效的数据采集,数据查询和数据分析的海量数据平台架构;利用Elasticsearch的高效、多条件的检索功能,实现对Hbase的TB级别数据量的多条件快速查询,协同解决了对大规模人群行为分析数据的问题.