实时数据处理

摘要： 本文对所研制的多测速实时数据处理系统进行了介绍。首先,将系统在逻辑上分为网络层、模型层和交互层等三个层次,由初始化计算、数据收发、数据合检、时间修正、滤波算法和人机交互等六个模块组成;其次,提出了基于多线程的系统运行流程;然后,采用Qt开发工具研制了基于Ubuntu Linux 64位操作系统的实时数据处理系统;最后,结合应用实例对该系统的功能和性能进行了进一步验证。

摘要： 本文设计了基于Docker的实时数据处理系统配置文件管理软件,实现了对软件配置文件的高效管理,为系统软件管理维护提供了有效的技术支持。

摘要： 任务管控分系统作为飞行器测控集群实时数据处理系统的核心系统,负责分布在集群各计算节点上的其他分系统的作业控制、状态监管以及集群调度等工作。任务管控分系统由任务选择配置模块、目标开始时刻发生模块、作业控制模块、双工中断模块、信息显示监控模块以及人机交互模块等组成。现有的任务管理分系统仅能承担少量目标的任务并行执行,因此本文对旧系统进行整合优化,在尽量减少其他系统变动并保证系统可靠性的同时,设计了可以支持多个目标任务同时进行的多目标集群实时数据处理系统。

摘要： 本文主要研究实时数据处理技术在银行业的应用,针对传统银行业数据处理时效性不足的从而阻碍其数字化转型的问题,提出流处理架构解决银行数字化转型过程中必定会遇到的对于实时性要求较高的场景案例,阐述了实时数据处理技术在授信管理、风险监控中的应用,实践表明实时数据处理技术在解决银行对于时效性要求较高的业务处理场景时具有高可用性、可扩展性等天然的优势.

摘要： 火箭残骸的回收是每次航天任务必不可少的环节.对于残骸进行准确实时落点预报可以很大程度上减少地面搜索的时间,尽快回收未爆火工品,保证运载火箭落区安全.论文设计了一种稳健性算法流程,在算法层对空气阻力系数进行插值同时考虑高空风的影响,增强了算法的准确性;在策略层利用预测散布平面的椭圆中心作为预测落点,增强了算法的稳健性.利用实测数据进行验证,对于飞行距离大于1000km的火箭,残骸落点解算的误差比传统算法减少了85％,残骸搜索面积减少了97.6％,证明文中提出算法的有效性.

摘要： 常规的微地震事件检测方法主要基于信号的特征计算,事件检测准确性依赖于算法的参数设置,受信号特征和信噪比变化的影响较大.为此,提出了一种基于卷积神经网络的微地震事件检测方法.该方法首先使用实际的油井水力压裂多站点微地震监测信号构建神经网络的样本数据集,样本数据包含有效事件信号和无效背景信号及其分类,然后用样本数据对神经网络进行训练和测试,得到微地震事件识别准确性最高的神经网络模型.使用训练好的神经网络模型对不同信噪比的合成微地震信号以及川渝地区多口油气井压裂微地震监测信号进行微地震事件检测.数据处理结果表明,训练好的卷积神经网络模型能有效自动检测微地震事件,且具有较好的抗噪性和泛化能力.

摘要： 该文对线网数据中心进行了简要介绍,从逻辑架构、处理机制和数据存储3个方面,对实时数据处理过程进行了分析.从逻辑架构、数据清洗、配置工作流、任务调度和数据存储5个方面,对离线数据处理过程进行了分析.青岛地铁利用大数据技术,结合地铁运营业务,对有关运营生产数据的实时及离线处理流程进行了研究,实现了线网实时生产数据及离线生产数据的数据处理服务,为运营决策提供数据支撑.

摘要： 发动机表明符合性试飞科目飞行中推力确定(In-Flight Thrust Determination,简称IFTD)试验点多、耗时长、费用高.为提升试飞架次效率和地面监控力度,降低架次成本,基于FLIGHTLAB软件开发了面向物理的空地一体化仿真模型系统,并采用卡尔曼滤波和遗传算法对模型输入数据进行了实时处理和动态优选,最后基于QT开发了空地对比监控界面在某型号IFTD试飞中进行了应用.经验证,所建空地一体化仿真模型能够有效对某型号的发动机运行和动力学响应进行模拟,发动机各项参数的平均误差约为3％,采用的数据实时处理和动态优选算法能够良好地匹配空地一体化仿真模型系统,使系统有效运行,在IFTD试飞中,仅两个架次就为试飞节约燃油约3 t;本次应用表明,空地一体化技术,在飞行前能够为试验点可达性分析和试验点优选构型分析提供支持,在飞行中为试飞监控减轻负担.

摘要： 飞行器测控工程中,外测数据是重要的实时信息源,高精度的目标轨迹参数信息对完成数字引导和指挥显示都具有重要意义.提出了通过实时测元融合提高外测数据处理精度的基本思路,分析了实时测元融合的基本流程,建立了基于测元融合的实时数据处理模型,探讨了工程应用中涉及到的技术难点及解决方法.仿真结果表明,采用测元融合进行实时外测数据处理,精度高,工程可行性强.

摘要： 实时数据处理方法是随钻地层测试器进行地层压力测试和地层参数评价的关键技术,通过实时处理的压力测试数据不仅能够快速计算地层压力和地层流度,而且能够实时监测测试数据的质量,对地层测试的结果做出评价.本文详细分析了哈里伯顿公司随钻地层测试仪器(Geo-Tap)数据实时处理方法的原理、算法和实现过程,并模拟了不同地层流度的压力响应特征.该算法通过球形流公式推导而得,具备可靠的理论基础,通过引入时间常数α和压力恢复常数β对压力降和压力恢复公式进行简化,然后通过多元线性回归计算出两个常数,最后计算得到地层流度和流体压缩系数.该算法计算速度快、稳定可靠,能够对测试的数据进行实时监测.最后本文通过两个现场实例,表明了Geo-Tap数据实时处理方法能够实时判断数据质量,及时获取地层压力和地层流度等参数,为快速评价储层和钻井地质导向提供指导.

摘要： 介绍了高效率实时卫星导航数据处理软件的3项关键技术:支持多种数据处理算法和数据处理模型的设计;对数据处理流程的封装和设计;提高系统的性能以便实现实时数据处理.在提高性能的设计中,除了优化算法外,内存数据的组织和管理方法也很重要.通过几种对常用数据索引结构的比较,采用T-Tree作为卫星导航数据处理软件的内存数据索引结构,这样不仅可以提高系统空间利用率,还可以提高系统的运行效率.

摘要： 本文通过分析某火炮随动系统的基本原理和电气性能特点,根据动态信号检测功能的要求,采用模块化设计的方案和基于同步采样与实时数据处理的方法,实现了对火炮随动系统动态精确信号、平稳瞄准速度、最大跟踪速度和误差信号的在线数据采集、信号调理和滤波分析。

摘要： 本文研究了振动位移仿真器实时数据处理方法，在大量的实验基础上获得了一组系统参数，保证了仿真计算的有效精度。在此基础上应用DSP技术，成功研制了振动位移仿真器，并在工程中得到很好应用。

摘要： 针对远程通信服务器需要并行处理多级别数据报文的特点,结合JavaNI0、数据批处理、数据库连接池、锁机制等技术,提出一种高并发UDP通信服务器模型,详细设计了数据报接收、处理、发送、数据采集、入库等一系列过程.并在其中引入一种优先级动态切换的多队列线程池机制,根据负载情况的不同,该多队列线程池的性能比传统线程池的性能提高15.1％到21.58％.通过在沈阳蓝光集团实际应用效果表明,该服务器模型运行稳定,满足大规模多优先级任务的底层通信,具有很好的通用性.

摘要： 针对远程通信服务器需要并行处理多级别数据报文的特点,结合JavaNI0、数据批处理、数据库连接池、锁机制等技术,提出一种高并发UDP通信服务器模型,详细设计了数据报接收、处理、发送、数据采集、入库等一系列过程.并在其中引入一种优先级动态切换的多队列线程池机制,根据负载情况的不同,该多队列线程池的性能比传统线程池的性能提高15.1％到21.58％.通过在沈阳蓝光集团实际应用效果表明,该服务器模型运行稳定,满足大规模多优先级任务的底层通信,具有很好的通用性.

摘要： 针对远程通信服务器需要并行处理多级别数据报文的特点,结合JavaNI0、数据批处理、数据库连接池、锁机制等技术,提出一种高并发UDP通信服务器模型,详细设计了数据报接收、处理、发送、数据采集、入库等一系列过程.并在其中引入一种优先级动态切换的多队列线程池机制,根据负载情况的不同,该多队列线程池的性能比传统线程池的性能提高15.1％到21.58％.通过在沈阳蓝光集团实际应用效果表明,该服务器模型运行稳定,满足大规模多优先级任务的底层通信,具有很好的通用性.

摘要： 针对远程通信服务器需要并行处理多级别数据报文的特点,结合JavaNI0、数据批处理、数据库连接池、锁机制等技术,提出一种高并发UDP通信服务器模型,详细设计了数据报接收、处理、发送、数据采集、入库等一系列过程.并在其中引入一种优先级动态切换的多队列线程池机制,根据负载情况的不同,该多队列线程池的性能比传统线程池的性能提高15.1％到21.58％.通过在沈阳蓝光集团实际应用效果表明,该服务器模型运行稳定,满足大规模多优先级任务的底层通信,具有很好的通用性.

摘要： 针对远程通信服务器需要并行处理多级别数据报文的特点,结合JavaNI0、数据批处理、数据库连接池、锁机制等技术,提出一种高并发UDP通信服务器模型,详细设计了数据报接收、处理、发送、数据采集、入库等一系列过程.并在其中引入一种优先级动态切换的多队列线程池机制,根据负载情况的不同,该多队列线程池的性能比传统线程池的性能提高15.1％到21.58％.通过在沈阳蓝光集团实际应用效果表明,该服务器模型运行稳定,满足大规模多优先级任务的底层通信,具有很好的通用性.

摘要： 一种提高实时数据库数据处理性能的装置及处理方法，包括：实时数据库，用于存储从各个电厂采集的生产实时数据；数据读取节点模块，内置数据读取节点程序，设置在计算服务器内部，部署有多个，并行读取实时数据库中的生产实时数据，并将读取的数据存储至共享内存数据库中；数据读取节点监测模块，内置数据读取节点监测程序，用于启动所述数据读取节点程序，并将实时数据库的测点表分发至各个数据读取节点模块。本发明通过同时运行多个数据读取节点程序，将从实时数据库中读取出的海量数据写入共享内存中，数据处理程序从共享内存中将数据取出并处理，然后将处理的结果再写入实时数据库中。

摘要： 本发明公开了一种通用水下实时数据采集处理平台及依托于此平台实现的数据处理方法，属于水下定位设备技术领域。本发明中处理平台包括接插面板与电子舱，接插面板上设有电源接口，网络接口以及外接水听器阵列的水听器阵列接口，水听器阵列用于收集水下的声信息。电子舱包括供电模块、网络模块、模拟模块以及数字模块，结合数据处理方法，供电模块实现电子舱内外正常运转；网络模块实现电子舱内外网络连接通畅；模拟模块根据系统需求对水声信号进行预处理，并将处理后的信号上传给数字模块；数字模块完成采集模拟信号，原始数据存储和传输、实时信号处理并上报给水下平台等任务，实现了对于水下目标的探测、定位与跟踪等功能。

摘要： 本发明实施例公开了一种用于处理实时数据流的系统框架及方法，系统框架包括：分布式发布订阅消息系统，用于接收实时数据流，并将其推入文件夹；数据传输系统，用于监听文件夹，并在文件夹中有实时数据流进入时，将实时数据流推送到HDFS；HDFS，用于对实时数据流进行清洗，以得到目标数据，并将其推送至存储系统进行存储以供后端查询。实施本发明实施例，搭建了一种新的实时数据流系统框架，其包括分布式发布订阅消息系统、数据传输系统、HDFS及存储系统，通过该系统框架可对实时数据流进行处理及存储，其框架简单，所需要的服务器本身配置不高，降低了成本，且数据处理逻辑简单可行。

摘要： 本公开提供一种基于实时数据库的物联网设备数据处理方法及相关装置，包括：获取知识元数据；根据所述知识元数据，获取目标物联网设备的基础数据；获取所述目标物联网设备的历史数据；获取所述目标物联网设备对应的实时任务；根据所述实时任务，所述获取所述目标物联网设备的实时数据，并基于所述基础数据和历史数据，将所述实时数据存储至内存字典。本公开通过设计的实时数据库，能够有效对于物联网设备数据进行处理。

摘要： 本申请提供了一种实时数据仓库，属于计算机技术领域，解决了现有技术中的实时数据仓库可扩展性差，开发效率底下的问题。所述实时数据仓库至少包括以下自底向上依次设置的三层：源数据层，用于实时获取并存储业务系统的数据；多维明细层，用于基于预设维度对所述源数据层的数据进行处理，并存储处理后的数据；应用层，用于响应数据库操作，对所述多维明细层存储的数据进行处理，并输出处理后的数据；其中，各层内通过实时数据处理技术对数据进行处理，各层之间通过消息队列和/或缓存数据库进行数据传输。通过按照数据处理的流程，结合业务特点，对数据处理流程分层，简化了数据处理的复杂度，有利于提高数据仓库开发效率。

摘要： 本发明公开了一种工业过程控制中多任务实时数据处理系统及数据记录和数据分析的方法，在工业过程控制中设有单独用作数据分析的离线分析数据处理器，所述离线分析数据处理器通过拷贝或下载的方式与控制现场数据处理器进行数据通信；控制现场数据处理器设有过程数据记录存储区，数据记录过程中同时记录时间标签，在离线分析数据处理器中进行事故追忆时，从过程数据记录存储区中导入相应时刻的过程数据进行分析即可。本发明能够及时、准确地记录现场数据，解决了传统的SCADA系统受通信响应延迟等因素影响难以保障数据完整性的缺点，本发明数据分析系统具有实现简单、功能全面、运行稳定、性能可靠的优点。

摘要： 本申请提供了一种实时数据仓库，属于计算机技术领域，解决了现有技术中的实时数据仓库可扩展性差，开发效率底下的问题。所述实时数据仓库至少包括以下自底向上依次设置的三层：源数据层，用于实时获取并存储业务系统的数据；多维明细层，用于基于预设维度对所述源数据层的数据进行处理，并存储处理后的数据；应用层，用于响应数据库操作，对所述多维明细层存储的数据进行处理，并输出处理后的数据；其中，各层内通过实时数据处理技术对数据进行处理，各层之间通过消息队列和/或缓存数据库进行数据传输。通过按照数据处理的流程，结合业务特点，对数据处理流程分层，简化了数据处理的复杂度，有利于提高数据仓库开发效率。

摘要： 本发明公开了一种工业过程控制中多任务实时数据处理系统及数据记录和数据分析的方法，在工业过程控制中设有单独用作数据分析的离线分析数据处理器，所述离线分析数据处理器通过拷贝或下载的方式与控制现场数据处理器进行数据通信；控制现场数据处理器设有过程数据记录存储区，数据记录过程中同时记录时间标签，在离线分析数据处理器中进行事故追忆时，从过程数据记录存储区中导入相应时刻的过程数据进行分析即可。本发明能够及时、准确地记录现场数据，解决了传统的SCADA系统受通信响应延迟等因素影响难以保障数据完整性的缺点，本发明数据分析系统具有实现简单、功能全面、运行稳定、性能可靠的优点。

摘要： 本发明公开了一种具备实时数据处理、实时信息分享以及生活干预信息的慢性疾病管理方法，包括以下步骤：S1、设备将采集到的多种数据传输到远程模块；S2、远程模块将所述多种数据传输到云端模块；S3、实时通信模块对数据做初步处理以后，将数据转移到实时处理模块；S4、实时处理模块实时计算并得出指标状态结果；S5、指标状态结果发送给实时告警模块；S6、实时信息发送给共享模块；S7、共享模块根据配置的共享策略分享数据。本发明的有益效果是：实现了对多种不同的传感器数据的实时接收和处理，支持多传感器数据的实时兼容，实现患者实时信息、预测和告警状况与设置的受众之间的实时自动分享，提高协同管理。

摘要： 本发明公开了一种基于数据转换整合的实时数据处理方法，包括以下步骤：首先确定熟悉所需对接消息中间件的软件特性，制定数据转换整合系统集成此中间件的方案；适配抽取插件和加载插件并且使插件适应流式实时传输处理数据；定制消息确认插件，增加容错能力。本发明为数据转换整合系统提供了一种可行有效的实时数据处理方法；本发明可适配市场上多种不同的消息中间件；本发明提供了消息确认机制，由于异常未被确认的消息可重新消费处理，使用此方法保证了数据的完整性、可靠性。