半结构化数据

摘要： 为了提升半结构化数据的安全转换能力、降低数据转换输出误码率(BER),提出基于元数据管理的半结构化数据安全转换方法。构建云存储动态半结构化数据的Hash编码模型,采用动态随机码元调制方法,分析云存储动态半结构化数据的参数统计特征量。采用模糊自相关融合调度方法,构建云存储动态半结构化数据的直觉模糊度对偶集。采用统计分析和概率密度特征采样的方法,构建云存储动态半结构化数据分簇聚类融合模型。采用元数据管理和参数模糊度辨识,实现半结构化数据安全转换和多属性群决策。根据分组交换的方法,实现云存储动态半结构化数据动态分析和聚类。结合信息聚类和自适应学习方法,实现半结构化数据安全转换和编码控制。仿真结果表明,采用该方法进行半结构化数据安全转换的准确性较高、数据输出误码率较低、融合性较好,提高了半结构化数据的安全传输能力。

摘要： 文章探讨了元数据仓储建设过程中非结构化数字资源的元数据抽取,为非结构化数字资源的深度利用提供借鉴。根据非结构化数字资源的特点,总结主流的可以用作元数据抽取的技术,分析其优缺点,阐述各自适应的场景。针对不同种类非结构化数字资源采取不同的抽取方法,并提出了总体的抽取思路与主要工作流程。

摘要： 为提高大数据时代半结构化数据集聚类分析效率,提出一种以数据集频繁子树模式为特征的半结构化数据集聚类方法。提出一种频繁子树模式挖掘方法FSTPMiner,使用“编码树”数据结构对半结构化数据进行编码,通过编码树将树结构频繁模式挖掘过程转化为线性表结构频繁模式挖掘,提高挖掘效率。使用频繁子树模式作为特征并构建特征向量空间,基于经典凝聚型层次聚类方法对半结构化文档数据集进行聚类。经过对照实验,与Costa算法、ICQB算法和Damalagas算法相比,在保证聚类结果正确率前提下,对半结构化数据集聚类效率方面具有优势。

摘要： 为了开发自主可控路基设计软件,预研了一种路基横断面数据处理方法,研究首先分析了路基横断面数据处理问题,再对半结构化数据的处理方法进行了归纳,并以某路基横断面为例,按嵌套层次JSON数据方式建模并在MongoDB增删查改,最后得出结论:非关系数据库可以无阻抗匹配面向对象设计方法,并对各种繁杂多变的工程数据进行统一处理。

摘要： 为了开发自主可控路基设计软件,预研了一种路基横断面数据处理方法,研究首先分析了路基横断面数据处理问题,再对半结构化数据的处理方法进行了归纳,并以某路基横断面为例,按嵌套层次JSON数据方式建模并在MongoDB增删查改,最后得出结论:非关系数据库可以无阻抗匹配面向对象设计方法,并对各种繁杂多变的工程数据进行统一处理.

摘要： cqvip:数据安全现状分析在《数据安全法》体系之下,2019年至2021年金融行业发生多起事件,相关部门对数据安全下达多项指导意见和方针,金融机构应在可见的法律和规范内进行合规化建设,避免因某些无意识的操作而造成数据泄露,从而遭到处罚。金融行业数据存在四方面特性,一是存在形式多样式,包括结构化数据、半结构化数据、非结构化数据,二是动态流转复杂性,包括全生命周期动态流转、实际业务驱动数据动态流转,三是数据主体多样式,包括基础设备、数据中心、部门间和第三方机构,四是数据价值模糊性,包括数据确权问题、数据归属认责、数据价值准确评估。

摘要： 为了提高物联网通信大数据库的运行速度与处理效率,提出一种物联网通信大数据库半结构化数据识别方法,通过计算大数据库内数据的稀疏度系数与划分系数子空间,获得不同种类数据的关联特性,根据半结构化数据结构得到该其储存节点坐标,使用主成分分析和德尔菲算法融合集成转换为综合加权法,赋予识别半结构化数据得到指标权重,根据Tanimoto系数度量半1结构化数据的相似性并优化参数,实现识别大数据库内的半结构化数据.实验证明,通过所提识别方法处理后的数据重写率大幅度降低,且识别结果与真实结果差值较小,具有一定实际应用价值.

摘要： 目的:设计并实现一种可配置和可解析半结构化、高性能电子病历数据的病历质控系统。方法:通过对30条病历质控规则进行分析,设计通用的病历数据质控规则模型,并对两套技术栈解析半结构化文档的性能进行测试对比。基于规则模型和性能测试结果设计并实现病历数据质控系统。结果:病历数据质控规则具有良好的可配置性和扩展性,Node.js+Express+xml2js技术栈的半结构化病历数据解析性能远高于Java+J2EE+SAXParser技术栈,基于病历数据质控规则模型和较优的技术栈设计并实现了可配置、高性能的病历数据质控系统。结论:病历数据质控系统能避免规则变更等因素带来的开发和维护压力。采用Node.js解析半结构化电子病历数据比传统开发架构(J2EE)具有明显的性能优势。

摘要： 目的 利用数据挖掘技术对半结构化数据的土家族医药进行品种规范和常用功效的可视化发现.方法 收集整理《中国民族药辞典》、《土家医方剂学》等土家族代表性医药文献,建立土家族医药原始数据库,包含药物拉丁学名、药用部位、性味、毒性、功效、主治疾病等.借助Visual FoxPro 9.0软件对土家族医药特性进行频次统计和品种规范,主要以法定标准收录;借助TCMISS(V2.5)、Cytoscape3.6.1、Gephi0.9.2等软件对土家药"药物-功效-主治"间的语义关系,进行功效挖掘和可视化展示.结果 筛选土家药共1453味,方剂共771首,其中土家药主要以"寒(凉)、平"性偏多,苦味药频次最高,其次是辛味药、甘味药;清热败毒、赶风除湿等功效出现频次最高;皮肤疮癣、妇科疾病等是关联程度较大的主治病症.结论 土家族医药的品种规范和"药性-药味-功效-主治"隐形关系可视化分析,可为完善土家药信息化研究奠定基础.

摘要： 在Web迅猛发展和半结构化数据急剧膨胀的今天,Web上的半结构化数据查询日益成为信息技术领域一个重要的研究发展方向.现有的半结构化查询语言在查询效率上存在着不足.文章提出了一个将模型检测技术应用到半结构化数据查询的新方法,它通过把数据库看作Kripke状态变迁系统,把查询解释为时序逻辑CTL公式,将查询过程转化为模型对公式的满足问题,通过模型检测过程高效地完成数据查询,从而使查询可以在多项式时间内完成,很好地改善了查询效率.最后,给出了该方法在现有半结构化查询语言Lorel上的应用.

摘要： 随着Internet技术的迅速发展和日益成熟，人们积聚了越来越多的半结构化数据，如HTML,SGML,XML等文件。本文研究了半结构化数据中模式的交互式开采问题并且给出了相应的开采算法，实验结果表明该算法性能是高效的。

摘要： 1998年2月,W3C推出了可扩展标记语言XML.随着XML成为Web上进行半结构化数据表示和数据交换的标准,XML数据相关技术的研究成为热点.本文首先给出XML多值依赖的一个定义,定义中采用约束限制范围很好地解决了多值依赖的有效性与属性集范围有关的问题.在此基础上,转化为信息表,利用不可分辨关系对信息表细化,并给出多值依赖的判定定理.根据多值依赖的特点,提出发现多值依赖的两点规则,并给出一个新的有效发现最小非平凡多值依赖的算法.该算法依据规则,有效地减少了属性集的候选空间,有较好的效率.在XML文档集中自动发现最小多值依赖关系可广泛应用于XML模式规范化、XML的存储模式设计、查询优化等.

摘要： 本文从半结构化数据XML与数据库的优缺点出发,讨论了为什么要将数据库与XML进行结合,在此基础上通过实例解释了XML与数据库之间相互映射的算法.

摘要： 提出了用半结构化数据模式来封装分布式数据源,以便利用XQuery语言来增强分布式系统的信息获取能力的思想.针对目前半结构化数据模式信息量不足,在模式分解时存在语义歧义问题,我们将ORASS模型引入到我们的研究中来.利用ORASS模型封装分布式数据源,同时采用该模型作为用户查询语义的采集手段.在此基础上,提出了一种分布式XML数据源的查询规划框架,给出其中若干关键操作的相应算法.

摘要： XML是一种典型的半结构化数据,它既能表示关系,对象等结构化的数据,也能表示Web这样的半结构,非结构的数据,在数据交换和集成中得到大量应用.关系数据是一种最常见的结构化数据,许多数据库厂商都提供了关系数据(〈-〉)XML映射中间件.本文研究了XML到关系数据库的映射算法以及在此基础上基于SAX的XML数据到关系数据库的导入算法.

摘要： 近10年来,BIM技术得到快速发展,但现有技术和系统仍难以支持面向建筑全生命期的BIM数据的存储和交换.因此,本研究提出一种基于云计算的BIM数据集成与服务技术,采用NoSql型数据库Hbase实现海量BIM数据的分布式存储和虚拟集成,并支持统一的信息访问.本文着重介绍其中最重要的半结构化BIM数据库的概念模式和实现.该数据库通过有机结合IFC数据模型特性和Hbase的分布式存储等特点,避免了空间浪费以及复杂Join操作等问题.相对于已有BIM数据库,该数据库具有查询效率高、可扩展性好等优势,更适合存储和管理BIM数据,为分布式BIM数据集成与服务技术的实现奠定了良好基础,具有一定的使用价值和应用前景.

摘要： 近10年来,BIM技术得到快速发展,但现有技术和系统仍难以支持面向建筑全生命期的BIM数据的存储和交换.因此,本研究提出一种基于云计算的BIM数据集成与服务技术,采用NoSql型数据库Hbase实现海量BIM数据的分布式存储和虚拟集成,并支持统一的信息访问.本文着重介绍其中最重要的半结构化BIM数据库的概念模式和实现.该数据库通过有机结合IFC数据模型特性和Hbase的分布式存储等特点,避免了空间浪费以及复杂Join操作等问题.相对于已有BIM数据库,该数据库具有查询效率高、可扩展性好等优势,更适合存储和管理BIM数据,为分布式BIM数据集成与服务技术的实现奠定了良好基础,具有一定的使用价值和应用前景.

摘要： 近10年来,BIM技术得到快速发展,但现有技术和系统仍难以支持面向建筑全生命期的BIM数据的存储和交换.因此,本研究提出一种基于云计算的BIM数据集成与服务技术,采用NoSql型数据库Hbase实现海量BIM数据的分布式存储和虚拟集成,并支持统一的信息访问.本文着重介绍其中最重要的半结构化BIM数据库的概念模式和实现.该数据库通过有机结合IFC数据模型特性和Hbase的分布式存储等特点,避免了空间浪费以及复杂Join操作等问题.相对于已有BIM数据库,该数据库具有查询效率高、可扩展性好等优势,更适合存储和管理BIM数据,为分布式BIM数据集成与服务技术的实现奠定了良好基础,具有一定的使用价值和应用前景.

摘要： 近10年来,BIM技术得到快速发展,但现有技术和系统仍难以支持面向建筑全生命期的BIM数据的存储和交换.因此,本研究提出一种基于云计算的BIM数据集成与服务技术,采用NoSql型数据库Hbase实现海量BIM数据的分布式存储和虚拟集成,并支持统一的信息访问.本文着重介绍其中最重要的半结构化BIM数据库的概念模式和实现.该数据库通过有机结合IFC数据模型特性和Hbase的分布式存储等特点,避免了空间浪费以及复杂Join操作等问题.相对于已有BIM数据库,该数据库具有查询效率高、可扩展性好等优势,更适合存储和管理BIM数据,为分布式BIM数据集成与服务技术的实现奠定了良好基础,具有一定的使用价值和应用前景.

摘要： 本发明公开了一种结构化数据交互系统、数据接收端和结构化数据交互方法。系统包括：包括，数据发送端、数据接收端和至少一个数据展示平台：数据发送端用于向数据接收端发送预定格式的结构化数据，接收数据接收端发送的反馈信息；数据接收端用于接收并存储结构化数据，向数据展示平台推送存储的结构化数据，统计数据展示平台对推送的结构化数据的收录情况，根据收录情况，发送相应地收录反馈信息至数据发送端；数据展示平台用于展示收录的结构化数据。本发明使得数据发送方在主动提交数据的同时，能够获取提交的数据使用反馈信息，方便数据发送方了解主动提交的数据的使用情况，便于数据发送方及时合理的修正提交的数据。

摘要： 本文描述了用于利用和扩展关系数据分片基础设施以在单个分片数据库系统中除了关系数据之外还提供对分片半结构化和非结构化数据的全面支持的技术。具体而言，描述了其中目录服务器预先收集它需要的所有数据，以回答从动态创建的临时lob的获取的技术。此外，提供了其中目录服务器在发送给客户端的lob定位符中对碎片标识符进行编码的技术。提供了用于将各种操作符下推到碎片服务器的技术。

摘要： 数据平台为非结构化文件、半结构化文件和结构化文件提供支持。在各种不同的实施例中，数据平台提供用于获得内部和外部暂存区中的文件的相对路径、绝对路径和预签名URL的函数；用于与外部函数集成的应用编程接口(API)；内置文件目录表；与云存储平台的集成；灵活的文件共享选项、暂存区加密选项的定制视图；通知集成；用于生成文件目录表的表函数；暂存区上的流；表上的流；和其他特征。

摘要： 本发明涉及一种融合结构化数据和非结构化数据的数据传输方法，将结构化数据与非结构化数据融合在一个文件中进行传输，使得结构化数据和非结构数据在网络中进行传输、交换和共享时能够同步，避免了分开传输时存在数据不同步的问题；而且在数据传输与处理过程中，结构化数据和非结构化数据通过本发明设计方法有效关联后可以在应用系统中进行统一、同步处理，避免了异步处理的复杂性，同时也避免了结构化数据或非结构化数据中数据丢失所导致的数据不一致问题；并且基于数据传输时所设计的结构，设计与之相对应的解析处理，针对所接收到的结构化数据和非结构化数据的实现统一解析、处理，大大提高了数据传输过程中的解析效。

摘要： 本发明提供一种列簇类型半结构化数据的结构化查询方法，根据列簇类型数据的结构设置所需的SQL语句；根据SQL语句中的谓词获取所需的列簇数据集合；将列簇数据集合转换为SQL语言识别的结构化二维表；通过SQL语句从结构化二维表中获取所需信息；本发明还提供一种计算机设备，提高数据查询效率，简化操作过程。

摘要： 在一些示例中，格式化数据库中的半结构化数据包括：将半结构化数据获取到列存储数据库中，将该半结构化数据分配给具有键和值格式的半结构化列，以及利用最优搜索格式来格式化该半结构化数据。

摘要： 本发明提供了一种基于事件的半结构化数据和非结构化数据采集系统，包括半结构化数据采集端、非结构化数据采集端、半结构化数据汇集端、非结构化数据汇集端、半结构化数据存储端和非结构化数据存储端；该系统基于flume组件，兼容http、udp、tcp等多种传输协议，支持半结构化数据和非结构化数据采集。

摘要： 本发明公开了一种对结构化数据和半结构化数据结合的隐私保护方法，包括以下步骤：S1：收集原始数据，形成原始数据集D；并对原始数据进行分类，将原始数据分类成结构化数据和半结构化数据；所述的结构化数据包括数据库；所述的半结构化数据包括json文件；S2：将半结构化数据转化成结构化数据；S3：将S2中转化后的结构化数据使用差分隐私保护算法；S4：公布修改之后满足差分隐私保护算法的结构化数据。本发明实现了对结构化和半结构化相结合的数据的ζ‑差分隐私保护，能更好的适应当下时代的发展趋势，既能满足对隐私的保护，又能满足数据挖掘者的要求，数据的可用性也不会降低太多。

摘要： 本发明提供一种列簇类型半结构化数据的结构化查询方法，根据列簇类型数据的结构设置所需的SQL语句；根据SQL语句中的谓词获取所需的列簇数据集合；将列簇数据集合转换为SQL语言识别的结构化二维表；通过SQL语句从结构化二维表中获取所需信息；本发明还提供一种计算机设备，提高数据查询效率，简化操作过程。

摘要： 在一些示例中，格式化数据库中的半结构化数据包括：将半结构化数据获取到列存储数据库中，将该半结构化数据分配给具有键和值格式的半结构化列，以及利用最优搜索格式来格式化该半结构化数据。