异构数据源

摘要： 随着高校信息化建设进入深水区,如何整合不同来源的数据并在统一平台上使用,成为当前高校大数据管理平台建设面临的重大挑战。文章提出了一种基于消息传递的异构信息接入及标准化处理的方法和相应的软件架构。异构数据集成方法数据集成是将互相关联的分布式异构数据源集成到一起,使用户能够以透明的方式访问这些数据源。异构数据源主要有自治性、分布性和异构性三个特征。目前,对异构数据资源进行集成和管理的方法主要有模式集成和数据复制。

摘要： 随着时代的发展,人们意识到了数据的重要性,政府也在不断发展有关数据的业务,但是由于早期信息管理系统的建立缺少统一的数据标准,形成了很多异构数据源,想要进行各个系统之间的数据共享交换是很不方便的,不利于业务的扩展.为了解决上述问题,提出一种以服务为导向的数据共享交换模型,基于原有业务系统构建基础数据服务,基础数据服务通过共享交换中心的交互形成更加复杂的业务服务,降低服务之间的耦合性,打破业务系统之间的壁垒,实现系统之间数据互通,为政府业务扩展提供便利.

摘要： 随着数字化技术持续创新发展,为建设数字化油田提供了有效的技术支持.从数字化油田层面分析,主要是以数据服务总线作为基础支持,合理应用异构数据集成整合方法,在油田开发中,针对异构数据源实施全面交互与整合,把数据源内核心信息当成基础参考,为方案决策提供有效参考.文章先分析了基于油田数字化的异构数据源整合和集成需求,随后介绍了数据整合技术,最后介绍了DSB技术为基础的数据整合,包括主数据库建设和数据服务总线技术.

摘要： 本文从异构角度出发研究"挑战杯"竞赛获奖者发展轨迹,依据"挑战杯"获奖者的公开资料、个人履历等异构数据源构建典型人物的数据库,分析"挑战杯"竞赛获奖者高校地域分布整体特征.探索"挑战杯"获奖者发展轨迹,为高校发展、地区创新发展、社会发展提供一定的借鉴性意见.

摘要： 随着国家大力推进智能电网建设,为电力行业的发展带来了机遇和挑战.必须以具备完备性、标准性、兼容性的体系架构作为智能电网的核心支撑,公共信息模型就是实现智能电网的核心.本文中所提出的电力生产数据集成平台就是基于CIM模型展开设计,将采集到的异构数据通过CIM模型进行有效的集成、融合,最终对外输出定义明确的数据流.用户可以通过数据服务接口向主控单元请求相关服务,并且根据系统设定的检索规则对数据库进行数据检索.经过实际运用验证,该数据集成平台能够有效地将来自于智能电网中的数据进行统一化处理,为电网规划、电力贸易、电能调度、电能质量监控等业务提供了可靠的数据支撑,具备一定的推广应用价值.

摘要： 信息系统中的统计推荐模型需要获取、分析和汇总多个来源的数据.这些多源异构的数据集在特征和价值方面可能存在显著差异,因而影响模型性能.为了提升统计推荐模型的整体性能,该研究采用凸优化理论和方法,解决了统计推荐模型中异构数据源的最优资源配置问题.在不同的数据源资源配置下,该工作对比了同一推荐模型的性能变化.实验结果表明,该工作提出的资源分配算法在NDCG(normalized discounted cumula-tive gain)和召回率这两个推荐系统主要评价指标上有效地提升了模型性能.该工作的结论是:针对多个异构数据源,适当的资源划分和分配策略可以显著影响推荐模型的整体性能.

摘要： 为了提供异地异构装备数据交换,解决异地数据标准下发、数据上报问题,提升决策的详细数据支持,该文提出了基于作业的多地异构数据同步方法.通过kettle作业构建异构数据源的抽取和推送作业,经过中间的版本库,推送到异构数据库中.

摘要： 为了实现风电场复杂数据源的数据采集,提出一种面向风电场群的异构数据的统一存储技术,包括:对风电场的异构数据源的分析;应用消息队列技术设计风电场异构数据交互接口体系,实现异构数据的传输与交互;采用SOA架构及通过Web Service技术封装数据源的集成架构,实现风电场群异构数据的统一存储.

摘要： 针对大型综合业务系统中业务涉及面广、系统数据来源复杂、数据量庞大等特点,对该类系统中所需同构异构数据源的导入导出方法进行了全面的分析和研究，并给出了具体实例,对此类管理系统的海量数据采集及处理具有较强的借鉴意义。

摘要： 针对OGSA-DAI中间件只面向JDBC的局限性,采用OGSA-DAI的优秀设计思想,提出一个基于Web服务的异构数据源统一访问接口(UDAI)模型,UDAI利用XML Web Service技术跨平台性和ADO.NET增加的数据库访问能力,既保证了接口实现的通用性与易扩展性,又使接口实现了对数据访问、数据库连接、数据格式转换、数据传输、数据库集成等底层细节的屏蔽,满足了用户对网格数据资源的共享访问的需求.

摘要： 近年来,基于网络和数据库的应用系统在部队得到了广泛应用,由于业务上的紧密联系,跨数据源查询成为了日益迫切的要求.文章对数据集成查询中用户查询语句的分解、转换等重要步骤进行了重点分析,并介绍了相应的算法.

摘要： 本文针对目前异构数据源统一检索系统中出现的文献下载URL异常、统一检索中心服务器负载过重等问题，提出了基于C/S模式的统一检索解决方案，并介绍系统具体实现，重点说明了此解决方案的工作模式及关键技术。

摘要： 在数据库研究领域,模式匹配和实体统一是被广泛关注的两个方向.随着对Web数据集成需求的增长,无论是在模式和实体层次,研究这两方面问题是很有实际意义的.当前的研究大多针对两项任务的其中之一.在文章中,基于模式匹配促进实体统一的新思路,提出了一种同时解决这两项任务的方法,实现了它们之间的相互促进机制.在现实的Web异构数据源场景中应用该方法,得到的查准率和查全率都很高,证明了该方法的正确性和有效性.

摘要： WMS是基于OGC规范的网络地图服务,实现了对多源异构空间数据的封装和转换,通过返回地图图像的方式满足客户端的地图请求.在对WMS规范的技术原理进行分析研究的基础上,提出了一种访问WMS服务目录列表,从WMS下载地图图像进行应用的方法以及使用该方法时的要点,并在以往项目改造中进行了应用,实现了对多种格式海量空间数据的支持.该方法思路清晰,功能边界清楚,通用性性强,能够方便相关应用的集成.

摘要： WMS是基于OGC规范的网络地图服务,实现了对多源异构空间数据的封装和转换,通过返回地图图像的方式满足客户端的地图请求.在对WMS规范的技术原理进行分析研究的基础上,提出了一种访问WMS服务目录列表,从WMS下载地图图像进行应用的方法以及使用该方法时的要点,并在以往项目改造中进行了应用,实现了对多种格式海量空间数据的支持.该方法思路清晰,功能边界清楚,通用性性强,能够方便相关应用的集成.

摘要： WMS是基于OGC规范的网络地图服务,实现了对多源异构空间数据的封装和转换,通过返回地图图像的方式满足客户端的地图请求.在对WMS规范的技术原理进行分析研究的基础上,提出了一种访问WMS服务目录列表,从WMS下载地图图像进行应用的方法以及使用该方法时的要点,并在以往项目改造中进行了应用,实现了对多种格式海量空间数据的支持.该方法思路清晰,功能边界清楚,通用性性强,能够方便相关应用的集成.

摘要： WMS是基于OGC规范的网络地图服务,实现了对多源异构空间数据的封装和转换,通过返回地图图像的方式满足客户端的地图请求.在对WMS规范的技术原理进行分析研究的基础上,提出了一种访问WMS服务目录列表,从WMS下载地图图像进行应用的方法以及使用该方法时的要点,并在以往项目改造中进行了应用,实现了对多种格式海量空间数据的支持.该方法思路清晰,功能边界清楚,通用性性强,能够方便相关应用的集成.

摘要： 本文从传统数据库管理工具、云数据管理解决方案等角度梳理并分析了数据管理工具与技术，并对OData,GData,239.50,OAI-PMH以及Linked Data等主流互操作协议和技术进行比较与分析，总结各数据库互操作协议与技术的特点和适用范围。最后提出科学数据库工具应用与研发的关键问题，旨在为科学数据库相关工具或者平台的构建提供依据，进而更好地满足科学数据管理与共享需求。

摘要： 本申请实施例提供了一种基于多源异构数据源的数据质量检测方法、装置、电子设备及存储介质，通过对多源异构数据进行字段识别，区分包含分组变量、时间日期变量以及不包含前述两种变量的数据指标，根据不同的数据类型自动选择合适的异常值检测算法，使得对多源异构数据源的数据治理无需如传统的数据治理方案一般严重依赖业务规则或者专家知识库，且对于异常值检验颗粒度更加精细，同时满足了复杂业务场景中的多源异构数据质量的检测要求。

摘要： 面向多源异构数据融合的数据源选择方法，属于大数据分析技术领域。解决了现有大数据分析采用人工采集的方式，存在分析效率低且存在大量的资源浪费的问题。基于异构数据源集合实现，建立数据分析任务目标数据集的属性集在属性集A中随机抽取了一个目标属性作为搜索属性，在数据源中搜索获得数据源集合P；将数据源集合P中每个元素Pi均构建为一个集合{Pi}，构成集合T；计算集合T中每个子集合的分数；获取分数最大的子集合Tmax；判断集合Tmax的属性是否包含所有目标属性，若是，再判断是否包含多余的属性，包含多余属性进行重新选择，若是不包含所有目标属性，继续搜索，利用计算目标数据源集合的判别函数值，若函数值变大则继续搜索，否则停止搜索获得目标数据源集合。

摘要： 本发明提供一种面向多源异构数据源的智能问答方法及装置，方法包括：计算输入问题与候选关系的第一相似度；根据第一相似度，从知识库中获取第一答案；根据输入问题检索多跳文本；计算多跳文本中的句子与输入问题之间的第二相似度以及多跳文本中的实体与输入问题之间的第三相似度；根据第二相似度及第三相似度，从多跳文本中获取第二答案；判定第一答案和第二答案的关系，输出输入问题的答案文本。通过本发明的面向多源异构数据源的智能问答方法及装置，提升了输出答案的准确度以及丰富性，能够返回一个更易于用户理解、简洁完整的答案。

摘要： 本发明公开一种多源异构数据源与图数据库导入导出的方法及装置，其中，该方法包括：读取各种类型存储的数据源，并进行数据关联，生成一个统一列格式的分布式数据集；对统一列格式的分布式数据集进行转换处理后，生成一个新的统一列格式的分布式数据集；从新的统一列格式的分布式数据集中提取图数据库的点和边的信息，分别写入图数据库的顶点和边；读取图数据库，将图数据库的顶点和边进行转换，并将顶点和边的数据进行关联，生成一个统一列格式的分布式数据集，进行后续的转换处理后，将数据写入目标存储。该方法及装置解决了目前基于工具的数据导入/导出时的技术问题。

摘要： 本申请实施例提供了一种基于多源异构数据源的数据质量检测方法、装置、电子设备及存储介质，通过对多源异构数据进行字段识别，区分包含分组变量、时间日期变量以及不包含前述两种变量的数据指标，根据不同的数据类型自动选择合适的异常值检测算法，使得对多源异构数据源的数据治理无需如传统的数据治理方案一般严重依赖业务规则或者专家知识库，且对于异常值检验颗粒度更加精细，同时满足了复杂业务场景中的多源异构数据质量的检测要求。

摘要： 本发明涉及图数据库图存储技术领域，提供一种多源异构数据源导入Janusgraph图数据库的方法和装置，本发明的方法，包括：获取待导入数据的数据源类型，通过匹配获取所述数据源的Datax的读插件；根据待导入数据的数据量，计算Datax的读插件的并行读通道数量，将数据分批次读入读通道内；扩展Datax的写插件，初始化写通道并将初始化的写通道与读通道匹配，将读通道中的数据持续获取至对应的写通道；对写插件的写通道中的数据进行数据去重校验，将通过去重校验的数据写入图数据库。根据本发明示例性实施例的多源异构数据源导入Janusgraph图数据库的方法和装置，可以适配多种异构数据源的数据，实现数据的快速导入。

摘要： 面向多源异构数据融合的数据源选择方法，属于大数据分析技术领域。解决了现有大数据分析采用人工采集的方式，存在分析效率低且存在大量的资源浪费的问题。基于异构数据源集合实现，建立数据分析任务目标数据集的属性集在属性集A中随机抽取了一个目标属性作为搜索属性，在数据源中搜索获得数据源集合P；将数据源集合P中每个元素Pi均构建为一个集合{Pi}，构成集合T；计算集合T中每个子集合的分数；获取分数最大的子集合T

摘要： 本发明公开了一种数据湖环境下异构数据源数据汇聚的实现方法，由以下方法模块构成，其方法模块包括查询处理模块、事务管理模块、完整性约束模块、通信处理器模块与应用模块，所述查询处理模块是由检索子模块、终端系统模块与显示屏模块组成的，本发明中通过将现有的理论与技术基础上实现数据访问、集成和共享的复杂性和可行性，首先要有统一的中间件架构，在底层实现局部各异的访问，中间层实现统一的中间件操作，高层应用才能进行透明访问，采用CSCW体系结构中的联邦结构方式，数据库元数据目录服务，Agent的三层协作模型，以及统一的中间数据转换格式XML等来解决异构数据库进行汇聚更加的方便。

摘要： 本发明公开了一种面向多源异构数据源的接口系统、通用接口及其实现方法，以面向多源异构数据源的通用接口实现方法为基础，包括：新建一个工程，并在工程内建立一个通用接口；在通用接口中建立相互独立的数据集合和操作集合；其中，数据集合被定义为能够被具体数据类型继承，且包括数据基类和继承数据基类的二级数据类；操作集合包括操作基类和继承操作基类的二级操作类；且所述的二级操作类被定义有其适用的具体数据类型以实现数据集合与操作集合的解耦与正交。通用接口中数据和操作形成两个独立的集合，并将操作抽象为接口，实现数据与操作的解耦和正交，使数据和操作能够自由地组合，实现操作的复用。

摘要： 本发明提供一种面向多源异构数据源的智能问答方法及装置，方法包括：计算输入问题与候选关系的第一相似度；根据第一相似度，从知识库中获取第一答案；根据输入问题检索多跳文本；计算多跳文本中的句子与输入问题之间的第二相似度以及多跳文本中的实体与输入问题之间的第三相似度；根据第二相似度及第三相似度，从多跳文本中获取第二答案；判定第一答案和第二答案的关系，输出输入问题的答案文本。通过本发明的面向多源异构数据源的智能问答方法及装置，提升了输出答案的准确度以及丰富性，能够返回一个更易于用户理解、简洁完整的答案。