数据过滤

摘要： 就应用的普遍而言,当今工业自动化是唯一一个仍然使用专用计算机、PLC和DCS控制系统,而不是在系统边缘使用标准计算平台进行本地控制、优化、分析和数据提炼的行业。从OT领域的发展历程来看,经典的PLC/DCS(特别是大型DCS)除了具备数据采集、实时控制和完成确定性任务,以及一定的网络通信功能外,也具备一定的数据库、数据过滤、数据分析的功能。不过数据采集的范围还是局限于原先设定的控制对象,充其量只能就地进行数据分析、过滤和局部优化,不可能从生产的全局视野去安排决策控制的目标。

摘要： 大数据技术是城市电网数字化规划中的重要工作内容,具有重要的理论和实践价值。但是这些数据体积大、类型多、更新速度快,为防止海量数据带来的分析干扰,提出了基于电力大数据平台的三层数据过滤机制,对过滤数据构建分段式小样本回归模型。该模型在上海某风力发电厂风机发电功率预测中进行应用,算例结果表明三层数据过滤机制有效地解决了庞大数据量的无序、可用性较低等问题,对整体数据具有良好的表征性,提升了预测精度,促进了电网信息价值密度的高质量提升。

摘要： 根据疫情流调数据特点,建立流调数据模型量化防疫具体需求。为了快速筛选出防疫需求的数据,基于MySQL数据库使用多条件数据查询及过滤、数据分组、数据清洗方法,并使用Python第三方库Pandas对流调数据做时间间隔计算。最后,在此基础上对模型数据做可视化处理,直观地反映流调数据情况,并对流调数据的传输作了安全分析。本文数据处理方法对基层民警提高大数据处理效率有借鉴意义,对疫情防疫流调工作有重要意义。

摘要： 提出了一种全新的文件失泄密溯源技术,能够对文件进行全面跟踪,从而使泄密过程一目了然。我们借鉴数据血缘的相关理论来维护文件数据关联图谱,初始化阶段将完成对现有文件的密级内容识别标记,该过程涉及已删除数据的恢复和文件相似及同源的判定。在关联图谱更新阶段,为了描绘文件的流转,我们会记录文件操作信息并经由通用策略和专用策略过滤数据,结合文件间的相关属性这些操作信息会被纳入关联图谱。基于这套深度的文件检测机制,我们得以精准快速的溯源失泄密文件。

摘要： 为了实现对心理健康数据的准确处理与分析,提出基于长短期记忆网络的心理健康数据分布式采集模型。利用长短期记忆网络的选择性记忆特性,对初始数据进行分解重构,将重构偏差较多的心理健康数据判定为冗余数据,同时将其过滤;将C/S架构作为模型的整体框架,使用数据源管理、数据采集管理、网络通信管理、数据缓存管理四个板块完成分布式采集任务,利用长连接、变长数据包和缓存机制确保数据传输时效,运用线程安全队列来维护模型操作安全。经仿真分析可知:该模型具有较高的数据分布式采集精度,采集速率快且稳定性强。

摘要： 地质灾害仿真有利于灾害发生时相关人员及时作出响应,降低地质灾害的影响.传统地质灾害仿真方法仿真效果不理想,导致重大地质灾害仿真的实用性较差.为此,提出基于动态地形模型的重大地质灾害仿真.对获取的地质灾害数据进行粗差检验、差值处理,保留地质灾害数据中原始数据,将地质灾害避难路径的获取归纳为图形最短路径的求解;设计重大地质灾害的仿真流程,完成重大地质灾害的仿真.实验结果表明,所提仿真方法在受伤人员相对生存概率、受伤人员的救出比例以及平均救援时间方面具有一定优势,验证了所提方法具有一定实用性.

摘要： 针对目前社交网络服务数据中充斥着大量垃圾数据和广告数据的现状,提出一种基于Mahout框架的数据过滤算法.首先,采用Mahout框架对原始数据中的语素进行分析,得出具有特定语素的单词;然后,根据语素分析结果数据分类生成器为每个生成的语素词分配相应的权重,并得出对应句子的评估值;最后,将评估值与不同类别数据的参考值加以比较完成数据的分类,从而实现社交网络服务数据中有价值数据的过滤.仿真实验结果表明,该算法具有较好的过滤效果.

摘要： 可以从读者的图书借阅记录中挖掘有价值的数据,识别读书佦好,提供个性化的图书借阅推荐服务.Apriori算法存在单一用户的单一借阅记录在整体数据集中变成离群点,导致分析时间和内存开销显著增加的问题.通过设定置信度、支持度和过滤度的阈值,对原数据集进行过滤;再使用Apriori算法对新的数据集进行关联规则分析.带有数据过滤的关联规则算法在图书借阅记录数据量无论大和寏的情况下,分析时间更短,内存开销更寏,强关联规则更强.

摘要： 屏摄隐通道通过摄像机拍摄显示器进行隐蔽通信.现有屏摄隐通道技术对摄像机的拍摄角度有严格要求.针对这种情况,文章提出了一种基于像素值偏移编解码技术的屏摄隐通道方法.该方法对显示图像的像素值进行偏移,把二维码(QR码)嵌入显示帧.利用人眼对于对比度、亮度相近的图像分辨能力差的特点,秘密地将显示帧发送给摄像机.在解码时提取加入的偏移量,并且使用透视还原方法,抵消不同拍摄角度的失真,还原出QR码.通过实验验证了文章方法的可行性,实验表明,该方法适合于存在拍摄角度时的图像提取和还原,各角度平均模块误码率在3％以下.

摘要： 传统方法在图书馆海量数据过滤时会造成大量节点消耗,使数据的匹配度降低,因此提出射频识别技术在智慧图书馆海量数据过滤中的应用.利用射频识别技术对图书馆数据进行整理,在整理好的数据中通过射频标签识别发现异常数据,然后通过异常数据隔离实现数据过滤.实验结果证明,设计方法在消耗节点量少的同时还能保证数据的匹配度,弥补了传统数据过滤方法的缺陷.

摘要： 目的：探讨对RFID数据冗余、脏读以及漏读数据进行过滤,整理出上层应用所需要的有效事件的方法.方法：运用基于时间和次数阀值、数据校验、TDS数据解析以及基于伯努利概率的动态时间窗等方法进行研究设计.结果：提出3种数据过滤器:冗余过滤器用于处理多读数据,平滑过滤器用于处理脏读数据,基于伯努利的动态自适应平滑算法的漏读数据处理器处理漏读数据,将这3种过滤器依次组合,组成数据过滤模型,最终构成数据过滤方法.结论：运用这3种过滤器组成的数据过滤模型,能够很好的对RFID原始数据进行过滤,获得上层应用所需要的有效事件.

摘要： 随着国内风电行业近年来的快速发展,以及越来越多风电场即将或已经出质保期,风电场风力发电机性能后评估的重要性也越来越突显出来.功率曲线作为后评估的一个重要组成部分,它表征了风电机组正常运行条件下在给定风速区间内输出功率的能力,是衡量风电机组发电性能的传统方法.但由于现场风机实际运行及风场运维的复杂性使得现场所得的数据不可以直接应用在功率曲线的绘制上.并且因为已有的GB和IEC标准规范的不完全性以及不实用性,导致各风力发电机组用户及风电机组制造商对于功率曲线原始数据的过滤方法也不尽相同.本文在已有标准的基础上结合了现场运维的实际情况,从功率曲线评估可实施性的角度出来,利用大数据拟合,聚类,对比等方法提出了干扰数据过滤的原则.并且以自身的风资源评估经验为基础,讨论了风资源理论分析模型与实际风速相校验的方法以及激光雷达在风速矫正过程中的应用条件.

摘要： 轮廓查询被广泛地应用于多标准决策中,ρ-支配轮廓查询作为轮廓查询的变体,通过调整比例关系ρ可控制轮廓集的大小,适合于需要快速决策的数据流上的应用.然而,数据流上的轮廓查询算法不能直接处理ρ-支配轮廓查询,而传统的ρ-支配轮廓查询无法在数据更新频繁时满足查询处理的实时性需求.因此,提出了数据流上的ρ-支配轮廓查询算法.首先,系统地介绍了完全支配、ρ-支配和ρ-支配轮廓的定义,进而提出数据流上ρ-支配轮廓的定义.然后,通过深入分析数据流上的ρ-支配轮廓的性质,得出基于时序支配的数据过滤方法,并提出了基于滑动窗口的ρ-支配轮廓查询算法(ρ-Dominant Skyline Queryover Sliding Window,DSSW),提高了数据流上的ρ-支配轮廓计算的效率.最后,通过大量的实验证明,DSSW算法相比较于传统的ρ-支配轮廓查询算法,在响应时间及存储空间上均有明显优势.

摘要： 现有GPS轨迹分析主要面向个人活动情况分析、基于历史轨迹的朋友推荐与位置推荐,对于用户群体特征的分析很少涉及.本文完成了个人轨迹建模、群体轨迹分析与基于网络地图服务的可视化,并且提出了针对GPS设备在较小尺度下数据误差较大的数据过滤方法.通过在此基础上采集校园数据,实现了校园人流位置查询的原型系统Campus Stream Visualization,提供了个人轨迹分析、群体轨迹可视化、位置人流监测的功能.

摘要： 在化工过程报警系统中,错误或无效报警的过多出现给操作员正常操作带来了严重地干扰。而重复报警又是错误或无效报警中最常见的表现形式,所以减少重复报警对于化工装置正常运行具有很重要的意义。本文在报警自动抑制的基础上,引入了基于数据过滤的报警限最优化设计,提出了一种新的重复报警处理策略——基于数据过滤的报警自动抑制,报警自动抑制与数据过滤的结合,解决了其长时间抑制可能导致的信息缺失问题。经数据分析,验证了方法的可用性。

摘要： 手势识别是一个充满挑战性的问题,已有的算法往往不加区分地将手势数据输入进行识别,从而进一步增加了识别的难度、降低了识别的效率与质量.基于输入手势数据流中低频模式的存在性假设,提出了一种动态手势识别方法,在一定程度上过滤无效数据,建立有效的手势特征描述并进行实时手势识别.为验证本文算法的有效性,设计了手势识别对比实验,将该算法与传统的滑动时间窗算法进行了比较,以验证所提出算法的识别效率和准确率.实验结果表明,所提出的算法的识别效率和识别准确率均在一定程度上优于现有的滑动时间窗算法.

摘要： 手势识别是一个充满挑战性的问题,已有的算法往往不加区分地将手势数据输入进行识别,从而进一步增加了识别的难度、降低了识别的效率与质量.基于输入手势数据流中低频模式的存在性假设,提出了一种动态手势识别方法,在一定程度上过滤无效数据,建立有效的手势特征描述并进行实时手势识别.为验证本文算法的有效性,设计了手势识别对比实验,将该算法与传统的滑动时间窗算法进行了比较,以验证所提出算法的识别效率和准确率.实验结果表明,所提出的算法的识别效率和识别准确率均在一定程度上优于现有的滑动时间窗算法.

摘要： 手势识别是一个充满挑战性的问题,已有的算法往往不加区分地将手势数据输入进行识别,从而进一步增加了识别的难度、降低了识别的效率与质量.基于输入手势数据流中低频模式的存在性假设,提出了一种动态手势识别方法,在一定程度上过滤无效数据,建立有效的手势特征描述并进行实时手势识别.为验证本文算法的有效性,设计了手势识别对比实验,将该算法与传统的滑动时间窗算法进行了比较,以验证所提出算法的识别效率和准确率.实验结果表明,所提出的算法的识别效率和识别准确率均在一定程度上优于现有的滑动时间窗算法.

摘要： 手势识别是一个充满挑战性的问题,已有的算法往往不加区分地将手势数据输入进行识别,从而进一步增加了识别的难度、降低了识别的效率与质量.基于输入手势数据流中低频模式的存在性假设,提出了一种动态手势识别方法,在一定程度上过滤无效数据,建立有效的手势特征描述并进行实时手势识别.为验证本文算法的有效性,设计了手势识别对比实验,将该算法与传统的滑动时间窗算法进行了比较,以验证所提出算法的识别效率和准确率.实验结果表明,所提出的算法的识别效率和识别准确率均在一定程度上优于现有的滑动时间窗算法.

摘要： 本文阐述针对云环境下空间数据连接查询处理问题,提出了一种基于Spark的多路空间连接查询处理算法BSMWSJ.该算法采用网格划分方法将整个数据空间划分成大小相同的网格单元,并将各类数据集中的空间对象,根据其空间位置划分到相应的网格单元中,每个网格单元中的空间数据对象进行并行连接查询处理.在多路空间连接查询处理过程中,采用边界过滤的方法,通过计算前面连接操作候选结果的MBR来过滤后续连接数据集,从而过滤掉无用的连接对象,减少连接对象的多余投影与复制,并采用重复避免策略来减少重复结果的输出,进而全面减少后续连接计算的代价.合成数据和真实数据集上的大量实验结果表明,本文提出的多路空间连接查询处理算法在性能上明显优于现有的多路连接查询处理算法.

摘要： 本发明涉及一种数据过滤方法和数据过滤系统，其中，上述数据过滤方法包括：S1，至少一个RFID读写器采集至少一个RFID标签中预设类型的数据，将采集数据传输至中间件；S2，中间件将采集数据输入预设有限状态机模型，根据预设有限状态机模型的输出数据确定采集数据中的无效数据，对无效数据进行过滤和/或合并。通过本发明的技术方案，能够利用中间件，并采用有限状态机方式有效地排除系统外标签所带来的干扰，整合系统内部的冗余标签数据，筛选出有效的标签数据进行快速有效地分析，同时还降低了系统误读所带来的风险。

摘要： 在此公开了一种数据过滤装置，包括：多个前滤波器，配置为从携带多种类型的数据的输入数据中提取指定类型的数据；多个后滤波器，配置为从由指定要连接的前滤波器提取的数据中提取匹配指定数据提取条件的数据；以及滤波器连接信息保持设备，配置为与每个所述后滤波器对应地保持用于指定要连接的所述前滤波器的至少一个的滤波器连接信息。

摘要： 本申请公开了一种硬件过滤器的数据配置方法、数据过滤方法及相关产品。该方法先从软件过滤器集合中获取子集，子集的个数不能大于硬件过滤器总数目，所有子集的并集包含软件过滤器集合中的所有软件过滤器；然后，计算每一子集中的各个软件过滤器之间所满足的关系式，通过该关系式确定相应的配置值；最后，使用该配置值对硬件过滤器进行配置。使用本方案的数据配置方法对硬件过滤器进行配置，可以使该硬件过滤器在过滤数据时既能通过目标数据帧，又能屏蔽掉一部分非目标数据帧，以减少会触发接收中断的数据帧，进而减少接收中断发生的次数，从而提高微控制单元芯片的工作效率。

摘要： 本发明提供一种数据过滤方法、数据过滤装置、存储介质及产品。该方法包括：接收主机端设备发送的过滤器和右表对应的属性信息，所述过滤器由所述主机端设备根据左表构建获得；根据所述过滤器和所述属性信息获得目标数据块，并将所述目标数据块发送至所述主机端设备。本发明方法中，由可计算存储设备对数据进行过滤操作，过滤操作不需要在主机端进行，从而减小主机端CPU的计算压力，同时节省总线带宽和内存带宽的占用量。

摘要： 本发明公开了一种数据过滤方法及数据过滤系统，其中，数据过滤方法包括：S1、接收数据发送终端发送的数据包，并根据其中存储的订阅信息确定对应的数据接收终端；S2、提取所述数据包的数据特征，并根据每一个数据接收终端的数据过滤条件，判断该数据特征是否满足对应的数据接收终端的数据过滤条件；S3、若满足数据过滤条件，则对对应的数据包进行过滤，得到数据过过滤结果，并将数据过滤结果转发给对应的数据接收终端。本发明对需要发送给数据接收终端的数据包按照对应的数据接收终端的数据过滤条件对数据包进行过滤，提高了数据的准确性，另外，无需在数据接收终端对数据包进行过滤，减少了数据的传输量，提高了数据传输的速度和效率。

摘要： 本发明公开了一种数据过滤方法及数据过滤装置，其中，数据过滤方法包括获取用户与终端设备交互过程中产生的通信数据；提取所述通信数据的数据特征；判断所述数据特征是否满足数据过滤条件；若所述数据特征满足数据过滤条件，则对产生的所述通信数据进行过滤。本发明能够对用户与终端设备的交互数据进行过滤，使据能够更加准确的反映用户的真实行为。

摘要： 本发明涉及一种数据过滤方法和数据过滤系统，其中，上述数据过滤方法包括：S1，至少一个RFID读写器采集至少一个RFID标签中预设类型的数据，将采集数据传输至中间件；S2，中间件将采集数据输入预设有限状态机模型，根据预设有限状态机模型的输出数据确定采集数据中的无效数据，对无效数据进行过滤和/或合并。通过本发明的技术方案，能够利用中间件，并采用有限状态机方式有效地排除系统外标签所带来的干扰，整合系统内部的冗余标签数据，筛选出有效的标签数据进行快速有效地分析，同时还降低了系统误读所带来的风险。

摘要： 在此公开了一种数据过滤装置，包括：多个前滤波器，配置为从携带多种类型的数据的输入数据中提取指定类型的数据；多个后滤波器，配置为从由指定要连接的前滤波器提取的数据中提取匹配指定数据提取条件的数据；以及滤波器连接信息保持设备，配置为与每个所述后滤波器对应地保持用于指定要连接的所述前滤波器的至少一个的滤波器连接信息。

摘要： 本发明提供了一种数据过滤方法和数据过滤装置。该数据过滤方法，包括：获取由用户的上网行为产生的通信数据；提取该通信数据的数据特征；将提取的数据特征与预定数据特征进行匹配，以得到匹配结果；以及基于该匹配结果对该通信数据进行过滤。

摘要： 本申请公开了一种硬件过滤器的数据配置方法、数据过滤方法及相关产品。该方法先从软件过滤器集合中获取子集，子集的个数不能大于硬件过滤器总数目，所有子集的并集包含软件过滤器集合中的所有软件过滤器；然后，计算每一子集中的各个软件过滤器之间所满足的关系式，通过该关系式确定相应的配置值；最后，使用该配置值对硬件过滤器进行配置。使用本方案的数据配置方法对硬件过滤器进行配置，可以使该硬件过滤器在过滤数据时既能通过目标数据帧，又能屏蔽掉一部分非目标数据帧，以减少会触发接收中断的数据帧，进而减少接收中断发生的次数，从而提高微控制单元芯片的工作效率。