时序数据

摘要： 随着大数据时代的到来和工业物联网技术的发展,大量的时序数据被采集、分析和应用.时序数据具有来源广泛、持续递增、变化单一等特点,要求数据库能高速写入、能对数据高效压缩.本文针对现有时序数据存储技术吞吐量小、空间利用率低等问题,在开源时序数据库OpenTSDB的基础上,提出一种融合两级高速缓存与扇区压缩的高效时序数据库系统,实现数据的高并发写入与高效率存储.通过实验验证了系统的有效性.

摘要： 针对工业生产中产生的大量时序数据,如何对无用数据进行有效剔除,并且判断传感器所采集数据是否正确,如何对时序数据进行有效异常检测,成为了研究者们关注的问题。在此期间,很多研究者都提出了自己的异常检测算法,但大多只考虑了时序数据的时间性特征,并未将传感器之间的相关性特征考虑进去。所以本文提出一种基于XGBoost特征筛选的多维自注意卷积门控循环编码解码器(MDACGA),对原始的数据集进行有效特征筛选,根据得分,剔除无关变量,提取有效变量。之后利用有效信息构建特征矩阵,采用全卷积编码器来对特征矩阵进行编码,提取不同时间序列间的相关性特征,采用基于注意力机制的ConvGRU来提取不同时间序列间的时间性特征。最后利用卷积解码器对前一步得到的特征矩阵进行联合解码,从而得到重建后的特征矩阵,利用Adam优化器和小批量随机梯度下降法来最小化重建误差。最终利用残差特征矩阵进行异常检测。实验结果显示,该算法达到0.989的准确率、0.996的召回率,足以表明该异常检测算法具有有效性,并且异常检测效果也优于一般基准算法。

摘要： 为进一步提高电量预测精度,本文提出了基于LSTM与三维模型的电量预测方法。通过比较加性分解和乘性分解的预测结果发现,加性分解和乘性分解均可以取得较高的预测精度,但由于乘性分解的误差累积效应较大,因此其最终合并后的预测精度比加性分解略低。

摘要： 数据挖掘技术是一种从数据本身进行考虑的分析技术,能够对数据进行科学分类、数据估计、分类预测、关联分组以及时序数据列序模式挖掘,通过一系列的挖掘流程运用,得出更加具有价值和意义的数据,为决策提供良好的支持。数据挖掘技术在股票数据分析当中也具有一定的应用价值,数据挖掘技术在股票数据分析中应用,需要深入不同类别算法的特点和算法,从而发挥其运算优势,得出更加准确地股票数据分析结果,为股票投资提供更加可靠的依据。

摘要： 为解决岭南地区作物制图中光学影像时空覆盖缺失以及作物种植结构复杂导致不确定性高等问题,以满足对高精度作物制图日益迫切的应用需求。该研究提出了一种基于Sentinel-1的双极化时间序列和作物物候信息建立时空维度典型物候特征的作物分类方法,选择广州市南沙区为试验区,通过XGBoost机器学习算法,实现了田块尺度下的不同作物类型的准确识别及种植面积的精细提取。结果表明:1)相比像素时序特征分类结果,经过雷达时空滤波后的田块时序特征分类方法不仅能有效抑制合成孔径雷达(Synthetic Aperture Radar,SAR)影像斑点噪声产生,而且总体分类精度和Kappa系数分别提高了12.5个百分点、0.19;2)与仅基于Sentinel-1(VV+VH)时空滤波后的全年时序特征分类方法相比,在分类过程中添加物候特征变量的方法表现出更高的精度,Kappa系数可达0.91,甘蔗和香蕉播种面积提取精度分别达到82.04%和71.01%。研究结果表明中高分辨率SAR影像(10 m×10 m)时间序列结合XGBoost算法和雷达数据时空滤波策略可实现区域作物准确识别及种植面积提取,同时,可从数据源与分类方法上为岭南地区农业遥感应用提供思路,对该地区农业灾害管理和灾后救助具有重要参考价值。

摘要： 快速精准地掌握作物种植模式信息对于农业产能评估、区域种植结构平衡和国家粮食安全保障具有重要的战略意义。然而,目前尚缺乏高精度、大范围、涵盖复杂种植模式的空间数据集。因此,本研究以中国南方重要的产粮地之一江汉平原为例,基于GEE平台和Sentinel-NDVI数据,构建时序物候特征集,通过探究半自动提取大量样本的方法,对比多粒度级联森林(multi-grained cascade Forest,gcForest)与深度神经网络(Deep Neural Network,DNN)两种深度模型分类精度,对江汉平原5种作物类型的6种种植模式进行精细识别与制图研究。结果表明:1)江汉平原主要包括单季稻、莲藕两种单季种植作物;小麦-水稻/棉花、油菜-水稻/棉花等4种年内复种模式;2)基于半自动采样点(4 000个)的gc Forest模型总体精度最高,可达到87.25%;两种模型基于4000个采样点的分类精度相较基于400个实地采样点分别有8.08和5.5个百分点的提升,该半自动提取样本点的途径可有效提高分类精度。该研究证明,基于物候的Sentinel-NDVI数据在复杂农业景观区域的作物种植模式制图中有较大潜力。

摘要： 为预防和管控城市突发地质灾害造成的人民生命和财产损失,国家针对城市地质灾害易发地区部署了大量的各类传感器,用来感知和监测城市边坡等地质体的变化情况,以支持对地质灾害的预警。从边坡监测数据特点和时序数据分析技术出发,针对监测数据噪声混杂、模式分析困难、预警阈值的不确定性等问题,给出了一种基于多传感器信息融合的边坡监测数据异常事件检测方法。主要工作包括:①边坡监测数据变化模式可以归结为周期项、趋势项以及噪声项的叠加,实践中在预处理基础上对边坡监测数据进行周期为24 h的重采样,同时趋势项可以近似看作是经典的牛顿运动,以此构建形变运动模型,为卡尔曼滤波的状态转移提供理论支持;②采用集中式衰减记忆卡尔曼滤波,引入衰减记忆因子,对多传感器边坡监测数据进行特征级融合,降低了噪声的影响,提高了边坡监测数据的可靠性;③引入惩罚系数,应用改进的动态时间弯曲算法对于周期序列数据进行相似性度量。在此基础上基于K-means聚类和局部异常因子分析对边坡监测数据进行异常检测,并基于3σ准则确定预警阈值。该方法能将正常模式和异常模式的时序数据进行区分,有效检测出边坡监测数据的异常,为灾害预防提供支持。最后以深圳市典型边坡监测数据为例验证了此方法的可行性。

摘要： 甘蔗株高为甘蔗品种与土壤、气象、水文等因素的综合反映,是甘蔗长势监测与估产的重要指标。研究以华南地区气候与天气条件为基础,通过对覆盖甘蔗全生长期的23景时间序列Sentinel1A数据进行预处理、矩阵转换与CloudePottier分解,求得双极化雷达植被指数(Dual-pol radar vegetation index,DPRVI)。分析了该指数与甘蔗长势参数(株高)随甘蔗不同生长期的动态变化规律。采用4种经典的经验回归模型(线性、二次多项式、指数、对数),以分段函数形式对不同生长期的甘蔗株高进行反演,建立最佳反演模型。实验结果表明,拟合模型在分蘖期前相关性最高,二次多项式模型拟合效果最优,决定系数R^(2)与均方根误差分别达到了0.882与0.118 cm,对反演效果最好的分蘖期之前的二次函数模型进行验证,结果表明决定系数R^(2)达0.839,平均绝对偏差为7.4%,说明DPRVI反演甘蔗株高是有效的。将DPRVI与其他3种经典的反演参数进行对比,结果表明,DPRVI的性能优于其他3种参数。通过分析可得,DPRVI可以较好地反演甘蔗生长前期的株高变化,反演的株高参数可供农业管理部门参考。

摘要： 本文是一篇关于时序数据异常检测算法的综述,首先介绍了时序数据异常检测国内外的研究现状;然后分析归纳了目前比较常见的数据异常检测的算法;最后介绍了两种数据异常检测常见的应用场景。

摘要： 随着智能矿山建设加速推进,煤矿企业积累了大量设备运行数据,挖掘数据资产价值,可实现数据要素驱动企业新发展、新增长。其中就包括液压支架立柱压力传感器数据,通过业务关联和数据形态研究,可以分析出支架安全阀运行工况,便于及时更换不合格安全阀,进而发挥单台支架液压系统最好运行状态和整个综采面支架整体护顶效果。通过对支架安全阀工作原理和压力历史数据分析研究,把安全阀运行工况曲线分解成4大基本时序动作,通过具体研判,得出安全阀在设定压力值下的运行工况数据。利用统计学原理,对整个综采面来压期间,安全阀“拒动”支架进行定位,并且给出拒动原因。运用该检测技术,建立神东企业级安全阀检测系统,成功对公司13矿14井所有综采面支架立柱安全阀进行统一在线检测,有效检出各安全阀运行工况,及时更换了异常安全阀,具有可观的经济效益。

摘要： 针对多维时序数据可视分析过程中降维算法表现出的局限性,提出一种降维空间视觉认知增强的多维时序数据可视分析方法.在多维标度算法的基础上,通过正交变换使不同时间步投影点的偏移最小化,帮助用户对感兴趣的时间模式进行有效的视觉认知及追踪;为避免投影点之间的相互遮挡,引入六边形对投影空间进行划分,增强用户对降维空间特征的视觉认知和交互;进而引入层次聚类方法,对投影点进行聚类分析,帮助用户快速感知多维数据之间的关联关系;最后设计面向聚类特征时序演变的分组动画策略,突出相邻时间聚类特征的演化特点和时序模式.集成上述可视化方法,开发面向多维时序数据可视分析原型系统,通过经济统计数据、空气质量监测数据的实例分析,进一步验证该系统的有效性和实用性.

摘要： 本文利用了信息可视化技术和合并树概要图，提出了一种用于可视化大规模数据量且时间跨度较长的天文时序数据的方法。使得研究人员在概览数据整体信息的同时可以查看所感兴趣的细节信息。实例验证了该方法的有效性和易用性，为大规模天文时序数据可视化提供了有力工具。

摘要： 基于时序数据的软件可靠性模型受到越来越多的关注,然而单一模型在精确度和通用性上都存在不足,鉴于此,提出一种新的软件可靠性模型组合的方法,该方法将反向传播(BP)神将网络模型和支持向量机回归(SVMR)模型进行组合,通过遗传算法(GA)和滑动窗口机制构造可靠性模型输入,使用粒子群(PSO)算法选择单一模型的最优参数,并使用BP神经网络确定两个模型的权重值建立组合模型,来预测下一阶段的软件失效数据.最后进行了仿真实验并做了对比分析,结果表明该方法较单一模型具有更高的精确度和较好的通用性.

摘要： 时序数据在许多研究领域中都广泛存在。信息可视化是对时序数据进行分析的有力工具，然而已有的时序数据可视化技术，无法较好地分析时间跨度长的时序数据。本文提出一种 FisheyeLines 的可视化技术，能快速显示大数据集的整体视图，同时方便查看细节信息;能清 楚地表达复杂信息间的相互关系，同时可以显示对象的属性。对应用实例的评估充分验证了该方法的有效性和易用性。

摘要： 传统基于特征提取的运动识别方法很大程度上依赖于研究者的领域知识和训练样本的规模.为了解决这个问题,本文提出一种基于主题的特征构建方法,使用基于符号化聚合近似的主题模型对运动模式进行建模.该方法主要包括三个步骤:首先,使用降维的方法对加速度原始信号进行预处理,并结合时序数据符号化聚合近似(SAX)化的方法,将SAX化后的时序数据集作为主题分析的文档集;然后,通过主题模型进行模式挖掘,实现文档数据降维的效果,构造隐主题相关的向量;最后,通过建立空间向量模型(VSM)模型进行运动识别.实验结果表明,本文所用的主题分析方法可以很好地应用在运动识别上,并且比传统基于特征提取的方法和基于模体发现的方法可以明显提升活动识别率.

摘要： 时序数据的可视化是理解宇宙结构形成与演化的重要手段.本文在对近百TB级的天文时序数据进行可视化时,针对数据的高动态范围色调映射问题,提出一种基于统计直方图的算法,实现了时序上色调连贯的可视化;同时,在插值重建演化过程时,提出一种根据前后关键幀预判插值幀可见性的剪裁算法,并对裁剪结果进行实时插值和投影,通过裁剪算法大幅降低计算量、存储和I/O,并通过希尔伯特哈希元胞算法进一步加速该过程.可视化结果表明本文算法可以直观有效地表达大规模数据所包含的宇宙结构形成与演化信息.

摘要： 时序数据在时间维度上存在着很强的时间相关性，本文在时序预测中，利用时序数据的时间相关性特点，构造了一种适用于时序数据预测的时序核函数，实现了将时间相关性融合于支持向量机，并通过人工数据和真实数据验证了时序核函数解决时序预测问题的有效性，并与传统核函数相比具有较好的泛化能力。

摘要： 为克服维数灾难和过拟合等传统算法所不可规避的问题,利用支持向量机(SupportVectorMachine,SVM)提出基于时序数据时间相关性的核函数修正选择方法,并以真实的二氧化硫(SO2)数据为实验数据验证该方法的有效性.实验结果表明采用时序核函数对测试数据集的拟合效果更好,并对模型泛化能力有一定的提高.

摘要： 对江西九瑞地区含方波噪声的MT原始数据进行了分析,找出了噪声源,并利用小波变换的方法,重组低频干扰并加以消除,然后再按照常规的处理方法求取功率谱,达到了提高信噪比的目的.

摘要： 对江西九瑞地区含方波噪声的MT原始数据进行了分析,找出了噪声源,并利用小波变换的方法,重组低频干扰并加以消除,然后再按照常规的处理方法求取功率谱,达到了提高信噪比的目的.

摘要： 本申请公开了一种时序数据计量方法和时序数据计量装置，该时序数据计量方法包括：将内存文件中的单元格的创建时间段划分为多个时间区间；建立每个时间区间的索引信息并写入磁盘文件；在收到时序数据的计量请求时，根据所述计量请求中的计量时间点，利用所述索引信息确定所述计量时间点所对应时间区间；计算所述计量时间点所对应的时间区间及其后的时间区间内创建的单元格的数据量总和，获得时序数据量。对于未过期数据的计算，本发明不需要定期地整理数据，避免了后台数据整理与在线服务争抢磁盘IOPS，保证了磁盘的业务能力，能够实时而快速地统计出未过期的数据量，保证了未过期数据统计的准确性。

摘要： 本发明提供一种基于动态权重均衡时序数据库集群的时序数据存储方法，包括：时序数据库集群配置集群接口、发布订阅消息系统集群、读写器和m个时序数据库；集群接口启动时初始化生成n个虚拟桶，为每个虚拟桶确定分配区间段；采用基于动态权重均衡时序数据库集群的时序数据库选取算法，确定目标时序数据库，并存储数据。本发明提供一种基于动态权重均衡时序数据库集群的时序数据存储方法，用于物联网云端存储海量设备采集数据的场景，可以解决当前集群内各个时序数据库存储数据严重不均衡造成存储空间浪费和集群横向扩展困难的问题。通过本发明，能够将物联网设备采集数据均匀的存储到时序数据库集群中的各个时序数据库中，提高用户体验。

摘要： 本发明提供一种压缩时序数据的方法，包括：将获取的时序数据写入临时表；根据查询时间范围从临时表中确定待压缩的时序数据；对待压缩的时序数据进行压缩后写入最终表，判断当前查询时间范围能否进行更新，如果能，在更新查询时间范围后，转至根据查询时间范围从所述临时表中确定待压缩的时序数据的步骤；否则，对写入最终表中的时序数据的压缩结果进行压缩。本发明还提供一种查询时序数据的方法，包括：获取待查询的时序数据的生成时间范围；将第一次压缩时所使用的查询时间范围中的标记时间与生成时间范围进行比较，根据比较结果确定待查询的时序数据的存储位置，存储位置包括临时表和/或最终表；根据所确定的存储位置获取待查询的时序数据。

摘要： 本说明书实施例提供检测时序数据的查询的方法、装置及时序数据库系统，其中所述方法包括：获取针对时序数据的查询命令中的查询时间范围以及对象标签，所述对象标签，用于标识时序数据中的时间序列，所述时间序列中包括多个不同时间产生的数据点；计算出所述对象标签标识的时间序列在所述查询时间范围内的扫描点数；根据所述扫描点数判断所述查询命令的查询的异常性，由于该方法能够感知查询的扫描量，根据查询的扫描量有效检测出查询的异常性，从而能够进一步避免异常查询带来大范围资源消耗。

摘要： 本发明实施例提供一种时序数据存储方法及装置、时序数据查询方法及装置，所述时序数据存储方法包括，时序数据包括第一数据、第二数据和第三数据，且所述第一数据、第二数据和第三数据分别表征不同的数据属性，所述方法包括，将时序数据的第一数据建立第一索引，得到第一索引值；将所述第一索引值建立第二索引，得到第二索引值，所述第二索引值的存储空间占用量小于第一索引值；存储第一数据和第三数据的映射关系、第二索引值、第二数据和第三数据。通过使用本发明提供的时序数据存储方法及装置可以使得在存储时序数据时占用更少的存储空间，通过使用本发明提供的时序数据查询方法及装置，可以更快速的查找到所需的数据，提高查询效率。

摘要： 本申请公开了一种注入时序数据的方法，包括：接收时序数据，该时序数据包括用于标识产生时序数据的数据源的至少一个参数,以及表示数据源的至少一个属性的指标和时间戳，时间戳指示指标产生的时间；将第一参数组以行存储格式存储，第一参数组包括用于标识产生时序数据的数据源的至少一个参数；将第二参数组以列存储格式存储，第二参数组包括表示数据源的至少一个属性的指标和时间戳。本申请实施例采用行列混合存储的方式注入时序数据，既提高了数据库的存储性能(如：存储量，吞吐量)，又提高了时序数据查询的效率。

摘要： 本发明公开了一种时序数据库的架构方法、查询方法和时序数据库，属于数据库技术领域，包括步骤：S1，根据时序数据本身自带顺序的特点，保留顺序写；S2，按时间颗粒度进行统计信息分层，每一层之间直接访问，无需返回根节点或上层节点，所述统计信息按统一的数据块来进行管理。本发明可以有效减少I/O，显著提高数据库查询性能。

摘要： 本发明提供一种基于动态权重均衡时序数据库集群的时序数据存储方法，包括：时序数据库集群配置集群接口、发布订阅消息系统集群、读写器和m个时序数据库；集群接口启动时初始化生成n个虚拟桶，为每个虚拟桶确定分配区间段；采用基于动态权重均衡时序数据库集群的时序数据库选取算法，确定目标时序数据库，并存储数据。本发明提供一种基于动态权重均衡时序数据库集群的时序数据存储方法，用于物联网云端存储海量设备采集数据的场景，可以解决当前集群内各个时序数据库存储数据严重不均衡造成存储空间浪费和集群横向扩展困难的问题。通过本发明，能够将物联网设备采集数据均匀的存储到时序数据库集群中的各个时序数据库中，提高用户体验。

摘要： 本公开提出一种时序数据预测模型的训练方法、时序数据预测方法和装置，涉及人工智能领域。输入训练用的时序数据(X，zt)，zt是t时刻对应的时序数据，X是t时刻、t时刻之前的时刻、以及zt相关的特征；设置fi是函数库中的第i个函数，αi是第i个函数的系数，yt是t时刻对应的残差时序数据；设置n和p是超参数，yt‑j是(t‑j)时刻对应的残差时序数据，βj代表yt‑j的系数，是yt的预测值；利用时序数据预测模型计算t时刻对应的时序数据的预测值根据zt和利用拟合方法对αi和βj进行训练，输出训练后的时序数据预测模型。从而，通过时序数据预测模型的平稳化变换部分和平稳时序数据预测部分，实现非平稳的时序数据的准确预测。

摘要： 本发明公开了时序数据库的自适应时序数据管理系统及方法，属于时序数据库技术领域，要解决的技术问题为如何改善时序数据库对时序数据的分析限制、优化数据备份和数据迁移流程。包括如下步骤：将分区参数解析分区对象、并构建系统表，以时间戳和系统表中分区对象为分区组合配置分区规则；创建分区对象，根据数据库集群节点使用情况为分区对象选择主备节点、并分配存储空间，将分区对象以及对应对象数据记录到系统表中；根据解析数据得到的分区对象、基于分区规则将数据存储至对应数据库节点；对于触发节点迁移的节点，基于选定的迁移类型计算需要迁移的分区对象以及迁移后的目标节点，将对分区对象及对应的对象数据迁移到目标节点，并更新系统表。