分布式处理

摘要： 当下由于视频内容多样化的爆发式变革,产生了多种音视频封装格式和编码格式,为解决用户高清视频多端下载收看及相应格式转换需求,应对庞大的数据量计算作业,需整合高效计算机资源。该文提出了一种基于Hadoop的分布式视频转码方案,采用分布式文件存储系统HDFS进行大型视频文件的存储,通过MapReduce编程框架结合FFmpeg开源软件,将视频数据处理划分为Map和Reduce两个阶段,把庞大的数据量分布到多处理节点分析。调用转码模块,减少开发人员工作量,分布式完成视频转码功能。该方案充分利用了数据集群的并行计算能力,突破了单机视频转码技术的发展瓶颈。通过实验验证得出,相比于单一节点进行视频转码,此系统的转码速度仅在2台数据节点的分布式集群中就获得了50%的提升。通过此系统可以为各类终端用户按各自需求提供易于使用、开放便捷、快速高效的视频转码服务。

摘要： 随着无线电监测大数据平台的建成及数据汇聚,对海量历史数据进行细粒度回放的需求日益增加,但传统的数据库和流计算并不能直接用于流式数据的回放服务.本文设计并实现了一种无线电大数据回放模型与高效的时序电平和频点详情的分布式存储模型,解决了无线电领域对于历史数据细粒度的回放需求问题,该系统在无线电实际检测中得到了落地应用.

摘要： 在语音通信网络中,为获得良好的语音通信质量,抗丢包技术不可或缺.为此,本文基于ITU G.722.1语音编码器,提出一种分布式语音编码方法.该方法在G.722.1编码器的基础上,构建一个互补编码器;然后在编码端,对同一帧语音分别用G.722.1编码器和其互补编码器进行语音编码,并发送编码结果;在解码端,在接收到其中任一语音码流时,用G.722.1解码器进行解码,其语音质量不低于G.722.1编码器的解码结果,而在接收到两个语音码流时,用G.722.1解码器先分别对两个语音码流进行解码,然后对解码结果进行联合处理,其最终的语音质量有明显提升,即有一定编码增益.仿真实验结果表明,本文分布式语音编码方法的抗丢包效果明显,相对于原始编解码器其语音质量进一步提升.

摘要： 文章从知识资源分布式处理、知识资源分享传输安全性提升、网络用户协同参与角度分析区块链技术在数字图书馆网络用户知识分享中的应用特点,从技术、服务、平台角度阐述基于区块链技术的数字图书馆网络用户知识分享模式的构建要素,总结数字图书馆网络用户知识分享模式的构建路径.

摘要： 在激烈的市场竞争环境下,为了向客户提供更好的服务体验,以及更加便捷的进行业务推广,基层供电局对于呼叫中心的建设与发展也给予了高度的重视,构建多层次、立体化、综合性的在线服务平台,成为现阶段呼叫中心技术应用的最终目标.本文首先介绍了呼叫中心系统的结构组成,随后概述了呼叫中心技术中涉及的几项核心技术,包括CTI技术、IVR技术、分布式处理技术等.最后结合基层供电局等业务需求,对呼叫中心技术的实际应用进行了简要分析.

摘要： 首先分析了基于观测值层面联合解算在提高产品精度、一致性方面的优势.然后重点对观测值层面ITRF联合解算进行了系统研究.为解算观测值层面联合平差数据量大、计算强大的问题,提出了基于分布式处理技术进行联合平差的解算策略,并对其关键技术进行了论证分析.由研究表明基于分布式技术的观测值层面联合平差,不仅能够提高IERS产品的一致性和产品的解算效率,还能满足未来ITRF框架站点的增容,从而使得ITRF解算更精确、更合理.

摘要： 针对战术云内分布式任务的处理需要,调用不同任务域内的分布式计算资源协同完成各类处理任务,提出一套可用于航空电子领域的分布式协同处理架构,该架构包括集群分布式计算架构、硬件架构和软件架构.该套架构充分继承了现有的开放式处理系统架构特征,可直接用于机载嵌入式战术云计算平台的实现.

摘要： 大数据时代背景下,数据资源在国土规划业务中显得更为重要,基于大数据的国土规划数据中心的建设将成为实施国家大数据战略的主要组成部分.本文对国土规划大数据中心建设和所应用的技术方法进行了介绍和讨论,主要从国土规划大数据信息汇聚、存储及检索机制,国土规划大数据分布式处理框架、分析和应用等方面进行阐述,为全国国土规划管理和决策提供技术方案参考.

摘要： 提出了一种具有分布式特点的常规采样GOOSE跳闸母线保护的实施方案.采用北京四方新一代CSD+硬件平台,可扩展性好,配置灵活,具有强大的通信能力,硬件设计安全可靠.保护算法采用具有多年经验的快速虚拟比相式电流突变量保护和常规比率制动式电流差动保护相结合的方法,CT饱和判据采用基于同步因子和时间变量相结合的方式,具有良好的判别区内外故障的能力和抗CT饱和能力.模拟量采集采用具有分布式特点的主从机结合的方式,采用IEEE1588精确网络对时协议实现主从机采样高精度同步,大容量采样数据实时传输采用点对点光纤以太网方式实现.保护性能上针对模拟量的分布式处理在同步丢失和主从机通讯中断时采取瞬时闭锁保护的处理,大大增强了保护的可靠性.

摘要： 图像获取和存储技术的发展,使图像数据大量增加,如何应对日益增多的海量数据,并进行有效的存储和快速处理,成为面临的主要难题.本文在Hadoop开源平台的基础上,利用分布式文件系统HDFS与分布式计算框架MapReduce,结合数字图像处理理论与改进的HIPI开放式API,讨论了图像的分布式处理的相关技术,实现分布式平台下海量图像数据的上传、下载、合并及灰度处理等功能.

摘要： 针对高码率遥测数据实时处理能力受限于单机的问题,分析了遥测数据处理特点,提出了一种分布式处理架构,并对分布式实时处理中的关键问题进行了详细分析,包括遥测数据分解、数据融合和时间校准等关键问题.原型系统可以提高系统扩展性,充分利用处理节点的处理能力,满足日益增长的处理能力的需求.

摘要： 随着互联网络的发展,网络中存储的信息量急剧增加,搜索引擎在网络中占据着越来越重要的位置.本文基于分布式处理平台Hadoop和开源搜索引擎框架Nutch设计并仿真了一个分布式搜索引擎.Nutch中相关的中文分词切分算法较为简单,识别效率不高,为了改进中文分词算法,本文引入了基于词典的中文分词器IK Analyzer,随后对分词效率进行了测试,测试结果表明中文分词效果有明显改善.

摘要： 随着云计算和社交网络的迅猛发展,媒体数据和信息爆炸式增长,数量从TB级别跃升到PB级别,大数据成为当前的研究热点.数据从简单的处理对象开始转变为一种基础性资源,如何更好地管理和利用打和数据已经成为普遍关注的话题.针对当前国内大数据发展过程中存在的数据开放度不够、融合度不高以及支撑能力不足等问题,本文提出了基于大数据平台的数据管理研究.论文主要围绕大数据平台管理层的基本框架而展开,主要研究大数据的数据管理流程.非结构化、结构化和半结构化海量数据在文件系统、数据库系统中的分布式处理、存储、访问，数据的灾难备份.

摘要： 物联网技术在铁路领域的应用由来已久,至今已形成一定规模,物联网平台技术能够充分体现物联网技术的融合能力、海量设备的接入管理能力以及分散数据的集约能力.通过物联网平台的应用,优化铁路系统间的互联关系,提高数据利用率.

摘要： 物联网技术在铁路领域的应用由来已久,至今已形成一定规模,物联网平台技术能够充分体现物联网技术的融合能力、海量设备的接入管理能力以及分散数据的集约能力.通过物联网平台的应用,优化铁路系统间的互联关系,提高数据利用率.

摘要： 一种分布式存储系统，用于实现高速数据重构处理，同时确保高的安全级别。其安全级别为“低”的设备组(51)中的设备(63)分布式地存储分段的数据。当属于其安全级别为“高”的设备组(50)的处理请求设备(60)指示属于同一组的设备(62)重构数据时，设备(62)收集和重构分段的和存储的数据的一部分。之后，处理请求设备(60)收集由设备(62)部分地重构的数据并完全重构数据。

摘要： 一种分布式存储系统，用于实现高速数据重构处理，同时确保高的安全级别。其安全级别为“低”的设备组(51)中的设备(63)分布式地存储分段的数据。当属于其安全级别为“高”的设备组(50)的处理请求设备(60)指示属于同一组的设备(62)重构数据时，设备(62)收集和重构分段的和存储的数据的一部分。之后，处理请求设备(60)收集由设备(62)部分地重构的数据并完全重构数据。

摘要： 提供一种信息处理装置、分布式处理系统和分布式处理方法。该信息处理装置包括：接收单元，其从信息处理装置以分布式方式执行处理的分布式处理系统中的多个信息处理装置之一接收数据的访问请求；查询发出单元，其在由接收单元接收到数据的访问请求时关于数据是否存储在由信息处理装置中的每一个上的操作系统管理的页面缓存中向信息处理装置中的每一个发出查询；以及响应单元，其对访问请求做出响应，该响应作为访问目的地指定已经响应由查询发出单元发出的查询的信息处理装置。

摘要： 对数据集合的分布式处理包括接收用于对分布式处理系统进行配置的信息。形成组件的第一配置，组件的所述第一配置包括分布在计算资源(190至194)之中的数据元素的源(110)以及被配置用于处理数据元素的工作器(240)。每个数据元素包括分区值，所述分区值根据分区规则来标识所述工作器的子集。在第一处理时期内从所述源接受所述数据集合的第一部分的数据元素，并且通过所述第一配置来路由所述数据元素。在接受所述数据集合的第一部分之后，启动配置更改，变成第二配置。执行组件的配置之间的一系列两次或更多次转变以得到一系列经修改的配置，所述经修改的配置中的最后一个对应于所述第二配置。在第二处理时期内从所述第二配置的源接受其他的数据元素。

摘要： 本发明提供一种分布式处理系统、分布式处理方法以及程序，该系统是将分别至少具有处理部、存储部和通信部的两个以上的处理部件彼此连接起来的分布式处理系统，第一处理部将数据保存到第一存储部，并且向第二接收部发送发送开始请求，第二接收部向第一发送部发送上述数据的发送开始应答，接收到上述发送开始应答的上述第一发送部向上述第二接收部发送上述第一存储部中所保存的上述数据，上述第二接收部将所接收的上述数据保存到上述第二存储部，并且向上述第二处理部通知上述数据的接收，收到上述接收通知的上述第二处理部读出上述第二存储部中所保存的上述数据。

摘要： 为了提供能够减少要传输的数据容量并且以告诉开始分布式处理的分布式处理系统等。一种多个计算机(2a、2b、…)互连的分布式处理系统(1)，其中计算机(2)中的每一个设置有加载每个模块并且执行初始化处理的模块加载器(3)、从先前提供的存储装置或另一计算机获取包括用于初始化处理的命令的元数据的元数据管理单元(4)、读取并且写入存储装置或其他计算机内的文件的文件管理单元(5)、以及执行分布式批处理应用的执行容器(6)。文件管理单元(5)在所述初始化处理之后，检查在所述存储装置中是否存在包括相应模块的执行代码的执行区域，并且当执行区域不存在时，从其他计算机加载执行代码，并且写入所加载的执行代码作为执行区域。

摘要： 本发明提供分布式控制器、分布式处理系统以及分布式处理方法。分布式控制器控制2个以上的运算部而进行分布式处理，并与运算部连接，分布式控制器由多个控制模块构成，控制模块分别与至少另一个控制模块相互连接，分布式控制器使用多个控制模块中的至少2个来决定运算部间的处理路径。

摘要： 提供一种信息处理装置、分布式处理系统和分布式处理方法。该信息处理装置包括：接收单元，其从信息处理装置以分布式方式执行处理的分布式处理系统中的多个信息处理装置之一接收数据的访问请求；查询发出单元，其在由接收单元接收到数据的访问请求时关于数据是否存储在由信息处理装置中的每一个上的操作系统管理的页面缓存中向信息处理装置中的每一个发出查询；以及响应单元，其对访问请求做出响应，该响应作为访问目的地指定已经响应由查询发出单元发出的查询的信息处理装置。

摘要： 提供用于高效地决定用于应用的分布式处理的最佳的配置的技术。分布式处理辅助装置辅助基于多个信息处理装置的应用的分布式处理，该分布式处理辅助装置具备：源代码取得部，取得应用的源代码；源代码分割部，将上述源代码分割为多个逻辑；候选提取部，基于上述应用中的上述多个逻辑的处理顺序、和与上述多个信息处理装置的工作环境有关的信息，来提取在上述多个信息处理装置的任意一个中分散配置上述多个逻辑时的该多个逻辑的配置模式的候选；以及最佳模式决定部，从被提取出的上述配置模式的候选中决定最佳的配置模式。

摘要： 本发明提供分布式处理系统、控制部、运算部、分布式处理方法。可灵活且有效地变更运算部间的处理路径和运算部的执行内容。分布式处理系统具有控制部和多个运算部，其特征在于，分布式处理系统具有：控制线，其在控制部与运算部之间收发控制信息；以及与控制线独立的数据线，该数据线从控制部和运算部中的至少一个向与这些控制部、运算部连接的运算部发送处理对象数据，运算部具有处理内容变更部，处理内容变更部在与被监视的运算部相关的处理环境和从控制线接收到的处理内容变更条件一致时，使用从控制线接收到的处理内容变更信息，变更运算部的处理内容。