一种确定大数据流中的特殊数据项的方法及装置

摘要

本发明提供确定大数据流中的特殊数据项的方法及装置，涉及计算机领域，能够比较准确确定大数据流中的特殊数据项。包括在采样周期内获取采样的n个数据项，用先获取的k个均不相同的数据项形成队列；若k个均不相同的数据项后获取的第m个数据项与队列的一数据项相同，则对该数据项计数后移至队列的队首；若第m个数据项与队列的数据项均不同，则将队列队尾的数据项换为第m个数据项，并对该数据项计数后移至队列的队首；每经过预设时间根据k个计数器的值、前次估算的k个数据项的出现频率和计算公式，估算k个数据项的出现频率；数据流采样周期后，根据最终估算的k个数据项的出现频率，确定出现频率满足预设阈值的数据项为特殊数据项。