分布式并行计算
分布式并行计算的相关文献在1998年到2022年内共计138篇,主要集中在自动化技术、计算机技术、电工技术、无线电电子学、电信技术
等领域,其中期刊论文82篇、会议论文20篇、专利文献2797396篇;相关期刊65种,包括科学技术与工程、电力系统自动化、福建电脑等;
相关会议19种,包括2015(第三届)中国水利信息化与数字水利技术论坛、第六届中国计算机学会服务计算学术会议、2014输变电年会等;分布式并行计算的相关文献由383位作者贡献,包括陈勇、何春江、周智强等。
分布式并行计算—发文量
专利文献>
论文:2797396篇
占比:100.00%
总计:2797498篇
分布式并行计算
-研究学者
- 陈勇
- 何春江
- 周智强
- 郭中华
- 陈继林
- 张海波
- 朱存浩
- 裘微江
- 徐泰山
- 王胜明
- 刘娜娜
- 刘铭
- 孙含笑
- 左宪禹
- 康建东
- 张松树
- 李代平
- 李威
- 李星
- 杨冬
- 罗寿文
- 臧主峰
- 郑亮
- 郭庆平
- 鄢安河
- 陈先桥
- 麻常辉
- 万美琳
- 严剑锋
- 于之虹
- 佟德江
- 刘丽梅
- 刘琳
- 刘聪
- 刘顿
- 吕琦
- 吴春来
- 孙永峰
- 宁文元
- 宋君强
- 宋步云
- 宫春明
- 岑全
- 张亮
- 张卫平
- 张卫民
- 张哲
- 张寅
- 张建凯
- 张理涛
-
-
郑灿;
廖可非;
欧阳缮;
谢宁波;
蒋俊正
-
-
摘要:
压缩感知(compressive sensing,CS)方法在合成孔径雷达(synthetic aperture radar,SAR)成像中应用广泛,但其存在计算时间长和计算能力扩展性不足等问题。为了解决上述问题,提出了一种基于Apache Spark的SAR压缩感知成像分布式成像方法。该方法首先将压缩后的数据沿方位角方向按每一行划分为行向量,然后通过Spark分布式计算平台进行距离向分布式并行重构;将距离向成像的结果矩阵按每一列划分成列向量,再通过Spark分布式计算平台进行方位向分布式并行重构,完成SAR压缩感知成像。此方法利用Spark基于内存的分布式并行计算优势,实现了计算速度是SAR压缩感知的1.9倍,是MapReduce的SAR压缩感知(MR-CS)方法的1.4倍,可见本文方法能够实现SAR压缩感知成像的加速。
-
-
黄盖
-
-
摘要:
围绕“山水林田湖草”自然资源生命共同体协同化管理要求,建立时空大数据中心,以汇聚各类基础数据和业务数据,将数据相互关联与融合,依托大数据中心的分析能力与支撑能力,以分析结果辅助业务工作开展。通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴。
-
-
易灿
-
-
摘要:
在信息时代下,网络中每天都会有大规模移动流量数据产生。采用面向海量数据处理的高效、可靠的分布式并行计算成为互联网行业和各大营运商研究重点。文章阐述了移动流量数据监测方法和意义,重点对基于图谱分析的网络流量数据分析与识别算法进行研究。对于网页请求间的相互关系分析,采用基于依赖图模型的用户点击识别算法;对于网络实体间的关系结构分析,设计了并行tNMF算法;为对大规模移动网络流量进行精细化分析,提出了基于Spark计算框架的并行快速流式算法。
-
-
赵帮;
李武旭;
赵浩然
-
-
摘要:
为解决软件化雷达系统实时处理大规模数据的问题,提出了一种分层级的分布式并行计算方法,并设计了一种低延时大规模数据处理能力的软件化雷达系统。该系统采用三层并行计算方法,利用ZeroMQ技术实现了任务级的分布式计算,多线程技术实现了线程级的多核并行计算,Arrayfire平台实现了数据级的图形处理单元(Graphic Processing Unit,GPU)并行计算。系统具有部署灵活、扩展性强、并发性高、延时低的特征。实验结果表明,数据率为1.92 Gb/s时,系统能在30 ms内实时显示空中目标,完全满足实际工程应用环境需求。
-
-
吴楫捷;
谈畅
-
-
摘要:
构建省级时空地理信息云平台是统筹协调各方资源、提高政府服务能力的需要。本文以省级应用为基础,探讨时空地理信息云平台技术,通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴。
-
-
-
-
摘要:
以大数据算法设计与分析方法学为主线,以大数据算法研究的新成果为基本内容,全面系统地介绍大数据算法设计的原理和方法。坚持理论与实践并重,适合从事大数据研究的科技工作者学习,也适于作为高校数据科学与大数据技术专业的本科生和研究生教材。内容简介本书以大数据为背景,以求解大数据计算问题的计算方法(即亚线性时间计算方法、压缩计算方法、抽样计算方法、增量式计算方法、分布式并行计算方法)为主线,系统地介绍大数据计算问题求解算法的设计与分析的理论与方法.
-
-
冷迪;
邱子良;
黄建华;
秦思远
-
-
摘要:
电力系统不良数据识别方法以单一误差为标准多次比对、多次循环,难以同时处理大量数据,导致不良数据识别误差大、速率低。为改进不良数据识别方法存在的缺陷,设计了基于分布式并行计算的电力系统不良数据识别方法。采用MapReduce模型搭建分布式并行计算框架;设定不良数据判断标准,预处理电力数据;利用标准残差向量和残差灵敏度,识别电力系统不良数据。通过试验验证识别方法的应用效果,结果表明所提方法的平均识别相对误差为12.51%,多种类不良数据漏检率较低,证实了该识别方法的应用效果良好。
-
-
吴丽珍;
孔纯;
陈伟
-
-
摘要:
为解决负荷预测时因数据量大、数据种类繁多带来的计算速度慢、预测精度低等问题,在MapReduce并行编程框架下,提出基于小批量随机梯度下降法的线性回归模型.首先,为清理智能配电终端产生的重复数据和不良数据,提出利用自适应近邻排序算法清除重复记录的数据,并利用K均值聚类的方法剔除异常数据和记录不完整的数据,然后利用F检验法来检验该数据集能否线性表征负荷,再利用T检验法检验特性向量与负荷间线性关系的显著性,并剔除与负荷线性关系较弱的特性向量.根据以上方法建立短期负荷预测模型,并将其用在甘肃武威某区域配电网短期负荷预测中.结果表明,所提出的短期负荷预测模型的平均绝对百分误差为2.043%,均方根误差为3112.62.这些预测误差满足负荷预测的要求,极大地提高了负荷计算的速度,缩短了负荷预测时间.
-
-
李仕佳
-
-
摘要:
省级自然资源时空大数据云平台立足于一网一库一平台N应用的信息化总体规划,在省政务网(一网)环境下构建一体化数据库(一库),支撑自然资源政务管理与服务平台(一平台)、调查监测及政务服务等应用(N应用).该文以省级应用为基础,探讨时空大数据云平台技术.通过超融合、海量数据存储、云安全等技术构筑云平台基础,同时引入数据抽取、清洗、挖掘分析、可视化等数据处理技术,以及分布式平行计算、SOA、微服务、容器等云化技术,提升时空大数据云平台的服务能力,为同类平台建设提供借鉴.
-
-
王宁;
郝雅青;
甘人才
-
-
摘要:
铁路电子支付平台承载着铁路客货运电子支付和资金结算业务,随着客货运业务的快速发展,交易数据量快速增加,对账处理效率较低的问题日渐凸显.结合对账业务流程,提出基于分布式并行计算的对账业务数据处理方案.采用消息中间件Kafka采集数据,利用Hadoop、Spark搭建大数据处理和多任务并行计算运行环境,基于分布式查询引擎,提供性能高效、灵活多样的对账结果查询接口.经测试验证,通过技术升级改造,铁路电子支付平台对账业务的数据处理效率得到较为满意的提升,数据处理平台的可扩展性也得到提升,为铁路电子支付平台更好的支撑铁路业务发展提供保障.
-
-
张武;
朱文浩;
谢江;
杨炯;
刘智翔;
胡冠男;
张淼;
程攀;
伍卫国;
刘松;
CCF分布式计算与系统专业委员会
- 《CCF2015-2016中国计算机科学技术发展报告会》
| 2016年
-
摘要:
随着计算技术的迅猛发展、科学理论模型日渐成熟,分布式并行计算与软件在科学、工程、经济与社会等领域都有了广泛应用,用分布式并行计算来模拟或(部分)代替实验已成为可能.在材料科学、航空航天、气象气候、高能物理、计算化学、地球地质、测绘科学、天体物理、凝聚态物理、生命科学等领域,分布式并行计算已成为必备的研究手段.特别在材料、物理、化学、生命等相关学科中,已经可以利用分布式并行计算模拟、观察到比实验现象更细致的层次,或者对目前比较昂贵或无法实现的实验观测进行数值模拟,从而帮助解释实验结果,理解自然规律,探索和建立新的理论.本报告通过分析分布式并行计算与软件的优势,探讨其应用于不同科学与工程领域的前景,特别是高通量材料计算和大型商用客机空气动力学计算的分布式并行处理等.分布式并行计算算法和软件将为推动国家重大科学前沿研究和工程设计领域的发展做出贡献.
-
-
-
万俊杰
- 《2015(第三届)中国水利信息化与数字水利技术论坛》
| 2015年
-
摘要:
随着物联网的不断发展,在水质监测中要面对海量的不同类型的传感器采集数据,数据爆发性增长且传统数据挖掘技术难以针对文本数据进行分析,因此建立基于大数据的存储平台,对海量的水质监测数据进行快速、准确的分析极为重要.本文提出基于Hadoop的框架大数据平台实现低成本下海量的水质监测数据分布式存储及分布式并行计算分析,提高了水质监测数据存储和分析计算能力.
-
-
-
Zhang Huaixun;
张怀勋
- 《2014输变电年会》
| 2014年
-
摘要:
为减少大电网可靠性评估并行计算中不同计算节点间的通信量,以获得计算节点间最佳负载平衡,本文以状态解析法的系统状态为任务划分单位,设计了可靠性并行计算的任务分配算法.根据分布式集群环境中各处理节点的计算性能各异的特点,提出了处理器性能系数指标,基于此设计了计及处理节点性能的静态任务分配方案,以实现各处理器所分配的任务数与其计算性能相匹配;因可靠性评估过程中各系统状态的计算时间相差较大,在静态任务分配方案基础上,设计了基于处理节点工作状态的动态分配方案以提高计算效率.在分布式计算平台上实现上述静态和动态任务分配算法,通过对RBTS系统和IEEE-RTS79系统的算例测试表明:本文设计的任务分配算法有效地提高了并行计算中过程的加速比和并行效率,算法简单、可靠,对不同并行计算平台及不同类型的并行计算任务具有借鉴意义.
-
-
王元;
张杨;
李恒年;
刘国荣
- 《2012中国制导、导航与控制学术会议》
| 2012年
-
摘要:
目前基于分布式并行计算的飞船返回过程预报落点有数千个,因此如何从中优选出“最可能”落点成为亟需解决的问题.针对此问题,论文在充分考虑以往返回落点计算的先验知识和最新落点信息基础上,设计了飞船返回的自适应聚类模糊系统,采用含有时间因子的迭代自组织数据分析算法研究了返回舱落点优选方法.计算结果表明,该方法提高了落点预报精度且具有较好的稳定性,可为飞船返回搜救提供技术支撑.
-
-
-
Li Biao;
李标;
Zhang Keng;
张铿;
Zhu Zibo;
朱自博;
Feng Chunfang;
封春房
- 《第十届中国智能交通年会》
| 2015年
-
摘要:
目前智能交通管理数据资源中心的传统系统架构和数据处理方法,其在数据存储和处理智能交通管理大数据方面已经开始出现如下瓶颈:交通管理数据越来越海量、交通管理业务应用越来越复杂、数据查询响应速度越来越慢.本文提出了采用Hadoop和MPP技术混合架构进行智能交通管理大数据资源平台架构设计的思想和实现方法;其核心部分归类包括数据存储层、业务应用服务模型层和平台应用接口层,数据存储层和业务应用服务模型层为上层交通管理应用提供计算资源、存储资源和大数据挖掘分析,平台应用接口层涵盖了在公安智能交通管理方面常见的业务应用接口,为业务应用平台提供支持;通过大数据平台构建从而有效提升智能交通管理大数据存储和处理分析的效率与性能,为提升智能交通管理业务水平打下基础.
-
-
Li Biao;
李标;
Zhang Keng;
张铿;
Zhu Zibo;
朱自博;
Feng Chunfang;
封春房
- 《第十届中国智能交通年会》
| 2015年
-
摘要:
目前智能交通管理数据资源中心的传统系统架构和数据处理方法,其在数据存储和处理智能交通管理大数据方面已经开始出现如下瓶颈:交通管理数据越来越海量、交通管理业务应用越来越复杂、数据查询响应速度越来越慢.本文提出了采用Hadoop和MPP技术混合架构进行智能交通管理大数据资源平台架构设计的思想和实现方法;其核心部分归类包括数据存储层、业务应用服务模型层和平台应用接口层,数据存储层和业务应用服务模型层为上层交通管理应用提供计算资源、存储资源和大数据挖掘分析,平台应用接口层涵盖了在公安智能交通管理方面常见的业务应用接口,为业务应用平台提供支持;通过大数据平台构建从而有效提升智能交通管理大数据存储和处理分析的效率与性能,为提升智能交通管理业务水平打下基础.
-
-
Li Biao;
李标;
Zhang Keng;
张铿;
Zhu Zibo;
朱自博;
Feng Chunfang;
封春房
- 《第十届中国智能交通年会》
| 2015年
-
摘要:
目前智能交通管理数据资源中心的传统系统架构和数据处理方法,其在数据存储和处理智能交通管理大数据方面已经开始出现如下瓶颈:交通管理数据越来越海量、交通管理业务应用越来越复杂、数据查询响应速度越来越慢.本文提出了采用Hadoop和MPP技术混合架构进行智能交通管理大数据资源平台架构设计的思想和实现方法;其核心部分归类包括数据存储层、业务应用服务模型层和平台应用接口层,数据存储层和业务应用服务模型层为上层交通管理应用提供计算资源、存储资源和大数据挖掘分析,平台应用接口层涵盖了在公安智能交通管理方面常见的业务应用接口,为业务应用平台提供支持;通过大数据平台构建从而有效提升智能交通管理大数据存储和处理分析的效率与性能,为提升智能交通管理业务水平打下基础.