海量数据

摘要： 数据是数字经济时代最核心的生产要素,拥有海量数据也是我国发展数字经济的最大优势。要把数据真正变成要素,发挥对数字经济的基础性作用,需要做很多基础性工作,数据治理就是其中的关键一环。在数据治理活动中,相关各方要对数据的各个方面进行合理安排,并采取措施,提升数据质量、保障数据安全和数据应用合规,确保数据最终能产生正向社会价值,并让各方能够均衡享受数据带来的价值。

摘要： 工业互联网深度赋能纺织等制造业数字化转型与高质量发展,为制造强国的建设插上数字化"翅膀"芯片扫描,为每套服装智能调度面料、辅料;数据追踪,掌握每件产品的生产、分拣、包装状态……借助工业互联网平台的智能化方案和供应链"共享",服装制造商能够实现生产流程数字化,订单响应周期大幅减少。当工业互联网与5G结合,大量设备入网上云,海量数据毫秒级传输,越来越多的纺织服装企业正在拥抱数字升级的机遇。

摘要： 信息化时代,海量数据在不同场景流转,公民隐私面临巨大的泄露风险,保障网络和数据安全的形势比以往任何时候都更加严峻复杂。在民生保障领域,社会救助、居民家庭经济状况核对等业务涉及大量居民收入、财产、支出等重要信息,具有很强的技术性、敏感性、政策性,因此保障数据安全的需求尤为急迫和强烈。

摘要： 针对商用车桥智能化生产的需要,公司投资建设了一条重卡桥壳柔性化生产线。主要介绍了生产线的关键技术,给出了现场可视化、网络化车间管控、数据采集分析管理、物流调度监控及数据联通5个主要创新点。

摘要： 随钻声波测井仪在井下工作时间长、数据量大,传统的数据下载方式速率较慢,不能满足实际测井作业需求。介绍了基于USB转串口的随钻声波测井仪内存数据下载系统,RS-422总线波特率达1 Mbit/s,实际下载速率达78.4 kB/s,能够长时间稳定地下载测井数据。实验室测试和现场作业实际下载结果表明,该方案完全满足设计要求,并且适用于其他随钻仪器。

摘要： 数字化时代,数据成为重要的生产要素,也是银行数字化经营和风险控制的关键。但在现实生活中,数据产生于不同的场景,金融机构往往需要从众多机构实体中获取海量数据以支撑业务体系。

摘要： 江苏省南菁高级中学通过六“智”建设,实现环境全面感知、网络无缝互通、海量数据支撑、泛在化学习支持、区域辐射共享的教育生态,开辟了技术与教育教学深度融合的新路径。三重保障,提供有力“智”撑:2017年,在江苏省教育厅、江阴市委市政府的支持下,学校率先拉开智慧校园建设的序幕。

摘要： 为实现三维电磁探测,提出一种基于高阶2^(n)序列伪随机信号的分布式广域电磁探测方法。该方法在勘探时只需要发射一组高阶伪随机波形,即可获得所有目标探测频率。发射波形可以根据勘探任务定制;采集终端独立接收信号,能够根据实际情况对采集参数动态调整。在齐河−禹城深部富铁矿的野外勘探试验表明,分布式广域电磁法能够实现短时间海量电磁数据的高效获取。与传统电磁勘探方法相比,基于高阶伪随机信号的分布式广域电磁法野外勘探效率更高。该方法能够应用于深部资源与矿产的大规模精细探测。

摘要： 当前,“城市大脑”成为推进智慧城市建设的关键性抓手,对于加快城市治理体系和治理能力现代化提升能够起到显著支撑作用。笔者通过调研梳理8个代表性的“城市大脑”建设实践模式与成效,并汲取上海、广州等推动城市治理“一网统管”的经验,从基于现有的智慧城建及智慧城管和基于海量数据及人工智能算法路径,提出打造IQ更高的“城市大脑”并规划阶段性路径。

摘要： 国务院2015年印发的《促进大数据发展行动纲要》中,提出了全面启动“互联网+”时代大数据战略的方针,其中我国广电行业的融合发展备受关注。我国当前已经全面进入了大数据时代,作为传统的广电行业,目前面临用户不断流失以及IPTV、视频网站和短视频平台等新兴媒体冲击的双重发展挑战。传统广电拥有海量数据,但是受到软硬件条件的限制,数据处理能力及应用发展并不尽如人意,数据所发挥的作用有限。

摘要： 在许多应用中,top-k是一种十分重要的查询类型,它在潜在的巨大的数据空间中返回用户感兴趣的少量数据.本文考虑具有多维选择条件的top-k查询.分析发现,现有算法无法有效处理海量数据的多维选择top-k查询.本文提出一个基于有序列表的TMS算法有效计算海量数据上的具有多维选择的top-k结果.TMS算法利用层次化结构的选择属性网格对原数据表执行水平划分.每一个分片的元组以面向列的模式存储,并且度量属性的列表根据其属性值降序排列.给定多维选择条件,TMS算法首先利用选择属性网格确定相关网格单元,有效减少需要读取的元组数量,本文提出双排序方法执行多维选择的渐进评价,并提出有效剪切操作来剪切不满足多维选择条件和分数要求的候选元组.本文的实验结果表明TMS算法性能优于现有算法.

摘要： 按照配置管理理念,保障核电站设计要求、物理配置、电站配置信患一致性是核电站建设运营的基本要求.核电站从设计、采购、建造、调试、运行、维修直至退役全寿期产生的海量数据是电站配置信息的重要载体,其管理质量及有效性是核电站安全可靠建设运营的基础.旨在以按照大业主模式建造的国内首座三代EPR核电站全寿期数据管理应用需求为分析对象,通过分析配置管理对数据管理的要求,研究核电站全寿期数据管理策略和应用方向.

摘要： 施工阶段在建设项目生命周期中至关重要,BIM技术在施工管理中的应用研究尤为重要.在工程的施工管理中,主要面临着BIM技术应用和现场管理的配套难、图纸问题和工程设计变更多、进度跟踪难、场地管理难、质量安全问题跟踪难和成本管理难等一系列的挑战,采用BIM技术进行施工管理中有效地解决了施工管理中的问题.BIM技术的主要作用仍在于其可视化、协调性、模拟性、优化性和可出图性五大特性，该五大特性对项目的精细化管理起到极大的推动作用;BIM技术的应用的落地实施需要改进原有的工作流程和项目管理方式，去粗放化为精细化管理，加强BIM技术人员的培养、提高现场管理人员的素质;新的管理方式需要与之相对应的完善的信息化管理工具和成熟的互联网技术来实现BIM数据的集成和协同;BIM技术在建筑行业有其科学性、先进性和优越性，BIM+互联网技术的推广应用是大势所趋，大量数据处理工作由电脑来完成，极大降低了人的劳动强度和工作难度，工作效率得到提高;海量数据的形成、分析和应用为企业做出正确决策提供了有效的数据支撑，同时保证了决策的科学性，其经济效益的落实依赖于精细化的项目管理。

摘要： 研究了云环境下分析海量数据的关键技术,构建了中医药方剂数据的指标体系,结合MapReduce编程模型,对Apriori算法进行了改进,设计了基于云计算的海量方剂组方规律分析平台.最后以海量中医药方剂数据为例,探索了方剂组方的一般规律.实验证明,研究结论符合实际应用,能够准确揭示病证方药的内在规律,可以为临床病证辨证论治、遣药组方提供依据.

摘要： 大数据时代下电信运营商BSS系统(业务支撑系统)集中建设已成为趋势,海量数据的集中系统需要统筹考虑容灾系统建设,探索两地三中心并结合应急系统部署成为容灾建设设计方向.系统设计采用存储虚拟化技术用于简化本来可能会相对复杂的底层基础架构。为实现大数据集中IT系统容灾中心的互联，需构建新一代大二层智能网络，采用基于DNS域名解析的接入网络路径优化与选择方案。引入时间同步功能模块，保证主、备中心的相关服务器的系统时间同步。核心业务和数据是各电信运营商的生命之源、发展之本，当前IT系统集中化已成趋势，数据步入海量级别，“两地三中心”灾备运营模式将在业务连续性方面发挥性能优势和关键的作用，具有广泛的应用前景。同时容灾体系不只关注于容灾系统建设，还需建立切换演练机制，建立业务连续性与灾难恢复计划，以免在紧急状况下手忙脚乱，造成数据损失。容灾系统建设完毕后，应由专人负责定期监控其运行状况，保证其随时可以切换使用。

摘要： 对于LTE网络来说,参数配置是一项非常基础又非常重要的优化内容,合理且正确的参数配置是保证高接通率和低掉话率的前提,更是保证234G互操作性能的关键.本系统是大数据MapReduce框架和VC++编程相结合的产物,它是在已有网优平台功能模块基础上,自主开发后向综合核查统计功能,将网优平台提取的相关数据导入到系统中,然后将核查结果以图表形式进行直观呈现,本系统具有易学易用、易于推广的特点.系统实现对集团重点参数、定时器类参数、时隙配比、邻区数量、外部邻区、TAC与LAC一致性、PCI复用度核查7个维度共计57项参数进行核查,从而大大提高了优化效率和准确性,方便做到大量无线参数的每日核查、跟踪与处理.最后,本系统是移动公司内部员工结合自己的LTE优化经验独立编写的,并未依靠第三方或者与其他厂家合作的模式,极大程度的降低了网络优化的成本.

摘要： 对于LTE网络来说,参数配置是一项非常基础又非常重要的优化内容,合理且正确的参数配置是保证高接通率和低掉话率的前提,更是保证2/3/4G互操作性能的关键.本系统是大数据MapReduce框架和VC++编程相结合的产物,它是在已有网优平台功能模块基础上,自主开发后向综合核查统计功能,将网优平台提取的相关数据导入到系统中,然后将核查结果以图表形式进行直观呈现,本系统具有易学易用、易于推广的特点.系统实现对集团重点参数、定时器类参数、时隙配比、邻区数量、外部邻区、TAC与LAC一致性、PCI复用度核查7个维度共计57项参数进行核查,从而大大提高了优化效率和准确性,方便做到大量无线参数的每日核查、跟踪与处理.最后,本系统是移动公司内部员工结合自己的LTE优化经验独立编写的,并未依靠第三方或者与其他厂家合作的模式,极大程度地降低了网络优化的成本.

摘要： 根据我国山区桥梁运营养护中面临的问题,介绍了传统的养护管理系统与长期桥梁健康监测系统的发展现状以及存在的问题,指出在桥梁养护管理中充分结合这2个系统,起到相辅相成、互为补充、充分利用各自优势的作用,并将此方法作为在建云南牛栏江特大桥后期运营长期健康监测的方案.

摘要： 随着多核技术的发展,大数据、云计算、人工智能应用的普及,非易失性内存技术的逐步实用以及信息安全的迫切需求,使得作为数据处理核心部分的内存系统的设计显得极为重要,而现有的对于内存系统的分析工具却由于各种缺陷已经无法满足研究人员的需求.本文在原有HMTT的基础上进行硬件级别的重新设计,在最新的DDR4-1600平台上实现了完整、高效、无失真地获取访存踪迹的功能,并在原有系统的基础上进一步提升了工具的可移植性.最后,本文使用该工具对最新的SPEC CPU2017应用进行了访存踪迹的采集测试,并对收集到的访存踪迹信息进行了分析,进一步验证了本文工作的有效性,为今后的各类应用访存行为以及内存系统结构设计研究提供了强有力的工具支撑.

摘要： 随着多核技术的发展,大数据、云计算、人工智能应用的普及,非易失性内存技术的逐步实用以及信息安全的迫切需求,使得作为数据处理核心部分的内存系统的设计显得极为重要,而现有的对于内存系统的分析工具却由于各种缺陷已经无法满足研究人员的需求.本文在原有HMTT的基础上进行硬件级别的重新设计,在最新的DDR4-1600平台上实现了完整、高效、无失真地获取访存踪迹的功能,并在原有系统的基础上进一步提升了工具的可移植性.最后,本文使用该工具对最新的SPEC CPU2017应用进行了访存踪迹的采集测试,并对收集到的访存踪迹信息进行了分析,进一步验证了本文工作的有效性,为今后的各类应用访存行为以及内存系统结构设计研究提供了强有力的工具支撑.

摘要： 本发明公开了一种海量数据检索方法，在不同区域建立第一缓存、第二缓存和第三缓存；接收到数据检索请求后，根据所述数据检索请求查找所要检索的数据的存储区域；查找成功时，在查找获得的存储区域中进行数据检索；查找失败时，根据所述数据检索请求和缓存所属设备的性能在所述第一缓存、第二缓存和第三缓存中进行数据检索。本发明还同时公开了一种海量数据检索装置、一种海量数据存储方法及系统。

摘要： 本发明公开了一种支持高效海量数据分析和检索的数据装置及数据存储方法。本装置包括若干文件夹，在每一文件夹中包含多个索引分段；每一索引分段包括一全文索引组件、一数据定位模块和一数据存储模块；全文索引组件用于存储索引分段中的记录的倒排索引信息；数据存储模块，包含多个横向分块，每个横向分块包含多个列分片，每个列分片包含多个用于存储数据记录的数据页；数据定位模块，提供针对数据存储模块的嵌套索引结构，每个横向分块索引存储了横向分块记录起始Id、横向分块位置、各列分片的位置以及列分片索引集合；每个列分片索引记录了列分片中数据页起始位置和数据页索引集合；每个数据页索引记录了数据页所在文件位置和页记录起始Id。

摘要： 本发明公开了一种基于ES的海量数据统计方法，包括步骤一：将需要查询统计的索引字段增量数据同步进ES；步骤二：将需要查询统计的索引字段历史数据同步进ES；步骤三：提供统计查询接口，所述统计查询接口为数据搜索API接口；步骤四：完成构建ES的queryJson后发起请求，将请求返回的命中数total作为统计结果。本发明还公开了一种采用基于ES的海量数据统计方法工作的海量数据统计系统。本发明通过将传统的统计需求转变为统计查询，无需定制需要维度指标，适用于大多应用场合，能灵活地支持各项统计指标，快速地实现维度统计，极大地提升了统计的灵活度。

摘要： 本发明公开了一种海量数据存储方法及海量数据存储系统，其中，该方法包括：主MQ集群接收外部发送的待存储数据，并将待存储数据交互给比较模块；比较模块判断缓存集群是否存在待存储数据；若缓存集群中存在待存储数据，则比较模块不处理待存储数据；若缓存集群中不存在待存储数据，则比较模块将待存储数据发送至数据库和缓存集群进行同步存储。本发明先将外部接收到的数据存储至主MQ集群，因此，通过这种异步方式减轻了数据库的入库压力。此外，比较模块判定当前待存储数据属于新的数据时，才将其存储至数据库，从而提升了数据库的数据有效存储率。进一步，相同的数据不进行处理，则提升了数据的处理速率。

摘要： 本发明公开了一种海量数据检索方法，在不同区域建立第一缓存、第二缓存和第三缓存；接收到数据检索请求后，根据所述数据检索请求查找所要检索的数据的存储区域；查找成功时，在查找获得的存储区域中进行数据检索；查找失败时，根据所述数据检索请求和缓存所属设备的性能在所述第一缓存、第二缓存和第三缓存中进行数据检索。本发明还同时公开了一种海量数据检索装置、一种海量数据存储方法及系统。

摘要： 本发明公开了一种Hive海量数据导入Hbase的数据加载系统及数据加载方法，所述数据加载方法包括如下步骤：步骤1，通过配制在大数据离线调度系统上的Spark‑HFile生成模块读取Hive表中的待加载数据，然后采用Apache Spark分布式计算引擎将Hive表中待加载数据根据Hive表字段与Hbase表的映射配置，生成Hbase表所需的底层HFile文件，并写入指定的HDFS目录；步骤2，通过配制在大数据离线调度系统上的HFile在线数据加载模块将步骤1中HDFS目录中的HFile文件在线加载到Hbase表中，提供面向用户的业务查询服务。

摘要： 本发明公开了一种支持高效海量数据分析和检索的数据装置及数据存储方法。本装置包括若干文件夹，在每一文件夹中包含多个索引分段；每一索引分段包括一全文索引组件、一数据定位模块和一数据存储模块；全文索引组件用于存储索引分段中的记录的倒排索引信息；数据存储模块，包含多个横向分块，每个横向分块包含多个列分片，每个列分片包含多个用于存储数据记录的数据页；数据定位模块，提供针对数据存储模块的嵌套索引结构，每个横向分块索引存储了横向分块记录起始Id、横向分块位置、各列分片的位置以及列分片索引集合；每个列分片索引记录了列分片中数据页起始位置和数据页索引集合；每个数据页索引记录了数据页所在文件位置和页记录起始Id。

摘要： 本发明涉及数据查询技术领域，具体公开了一种基于数据挖掘技术的海量数据查询方法，S1：用户登录、注册数据查询系统；S2：用户在系统内输入查询条件；S3：系统预判用户的待查询数据，并将预判的数据从数据库中提出备用；S4：根据用户最终输入的查询条件，系统优先从预判数据中提取查询数据进行展示；S5：若预判数据内无符合用户查询条件的查询数据，系统从数据库内提取查询数据进行展示；S6：用户自主选取所需数据。本方案能够根据用户的输入中的查询条件、用户的相关检索习惯、检索偏好、用户身份信息等对用户的所需的查询数据进行预判，为后期用户的全方位检索提供更加准确、优质的查询数据储备，提高系统数据查询效率，提高用户的体验感。

摘要： 本发明提供了一种基于海量数据的分布式数据分析方法，所述方法包括：对于异构数据流用多维向量组表示，并对数据流多维向量组构建索引，基于同异步组合模式进行分层数据采集，对采集的数据进行多分区队列的数据缓存和流处理，将数据存储于抽象访问的数据虚拟分区，并通过构建批量模式的分层索引进行数据查询。本发明提出了一种基于海量数据的分布式数据分析方法，采用多核架构的解决方案，实现了在虚拟环境中的高可靠性的数据保护，并通过高实时性的应用和服务提高了分布式海量异构数据的分析挖掘处理性能。

摘要： 本发明提供一种大数据海量数据秒级查询方法、装置及计算机介质，涉及计算机技术领域，所述方法包括：识别待查询目标文本的字段中数据量大的字段；排除所述的识别出的数据量大的字段，将剩余字段的字段信息存入ES中；将待查询目标文本的所有字段都存入Hbase；在hive中创建hive与ES、hive与Hbase的映射外表；通过向hive映射外表加载数据实现将hive数仓数据写入ES和Hbase；根据条件检索数据ID，ES返回数据ID；根据ID查询Hbase中响应的记录；返回查询结果,解决了当目标查询文件字段的信息量较大，对前端应用服务器的查询响应造成影响；ES查询数据较慢，做不到秒级的查询，影响用户的使用感受并且数据都存在ES上，增加了ES集群的压力，提高了ES集群的维护成本的问题。