数据质量管理

摘要： 针对当前工业时序数据质量管理存在的缺乏有效管理方法、没有与工业领域知识相结合等问题,梳理数据质量问题的主要表现,引入风险评估机制以完善数据质量评价标准。在此基础上给出了工业时序数据质量管理方法,主要流程包括:多维度评价标准体系下的数据质量评价过程、基于数据典型应用场景和业务需求的数据质量分析过程以及知识与数据混合驱动的数据质量提升过程。提出一种基于LSTM神经网络的数据质量分析方法,通过实际数据集验证了数据质量管理和提升的效果。

摘要： "头,业务部门提出,要我们把集团业务应用系统中积累的所有数据导一版给他们,说是要挖掘数据的价值,可这些数据跨度一、二十年,咱们的系统都更新了好几轮了,这些数据定义格式都不一样,都是咱们业界说的‘垃圾’数据,怎么使用啊?……"唉,这真是"搬起石头砸了自己的脚啊"。原来,某集团召开年度业务务虚会,信息中心的马主任头脑一热,顺嘴提了一句:我们是不是也考虑下数字化转型?没成想,一石激起千层浪,大家居然都对这个议题感兴趣起来,七嘴八舌下的结论就是要充分挖掘集团历史数据的价值,尝试数字化转型。

摘要： 为保障电力系统数据的一致性、完整性与实时性,需对配电网运营数据实施质量管理。为提升电力企业配电网运营数据的质量管理性能,文中设计了基于DMM的配电网运营数据质量管理模型。该模型从业务术语、元数据、数据生命周期以及数据需求定义4个方面对配电网运营通用数据进行分析,并以此为基础,将DMM应用于配电网运营数据质量管理过程中,设计由数据战略、数据框架、数据质量以及数据平台等8个过程域及包括优化、稳健、初始等成熟度等级共同组成的配电网运营数据质量管理模型。将该模型应用于某电力企业运营数据质量管理中,可有效判断电力企业各过程域的管理能力等级,明确管理过程中的薄弱点及后续过程中需完善的方向,运营数据的一致性、完整性与实时性均有所提升。

摘要： 由于政府数字化发展产生大量的政府数据,数据量的增加带来数据质量管理问题,因而建立健全政府数据质量的管控机制是现下数字化政府的当务之急。本文以博弈论为基础,构建中央政府、地方政府1和地方政府2三方关于政府数据质量管理问题的演化博弈模型,考察三方在政府数据质量管理问题上的行为及其稳定性分析,运用数值仿真进行模拟,探究博弈系统的演化轨迹及稳定状态。结果发现各地方政府进行政府数据质量管理不能自发达到均衡状态,中央政府参与监督和管理是促进各地方政府有所作为的重要因素,也是促进各地方政府进行政府数据质量管理的有效途径。最后从机制设计角度分析中央政府的参与对各地方政府进行政府数据管理的推进作用,提出相应的政策建议。

摘要： 目的:医院管理指标数据用于医院管理决策的各个领域,指标数据的质量监控是管理决策有效性的基础.方法:构建了一套数据质量监测体系、评价标准和评价方法,定量地呈现指标数据的质量得分和排名.结果:基于某大型三甲公立医院2016年1月至2019年3月的42个核心指标,得到指标数据的质量排名.通过对最后三位指标的核查,发现数据工作流中的潜在问题和数据质量规则的潜在优化点,指导数据质量工作的开展.结论:通过构建数据质量的监测体系和标准来实现指标的质量管理是可行的,质量评价结果可作为数据核查工作的航标.

摘要： 大数据是指大型复杂的结构化或非结构化数据集.大数据技术使组织能够生成、收集、管理、分析和可视化大数据集,并为诊断、预测或其他决策任务提供见解.处理大数据的关键问题之一是采用适当的大数据治理框架,这样可以:①以所需的方式管理大数据,以支持有效机器学习的高质量数据访问;②确保该框架规范存储和处理在相关监管框架内以可信赖的方式收集来自供应商和用户的数据.提出了一个大数据治理框架,指导组织在相关的规则框架内做出更好的基于数据的业务决策,并密切关注数据安全性、隐私性和可访问性.为了说明这一过程,以网络安全大数据治理为例,给出了该框架的一个实现实例.该框架有可能指导不同组织的大数据管理,实现信息共享和协同决策.

摘要： 提出以变电站台账管理为研究对象,提出一套提升变电站台账质量能力方法,以提升台账数据的完整性、规范性、准确性、一致性和实效性。

摘要： 随着互联网、计算机等现代信息化技术的迅速发展,数字资源这一新型资源应运而生,其涉及到电子图书、电子会议论文、电子期刊等。当前国铁集团工务基础设施检测监测领域的数据量呈现指数型增长,数字资源已在其经营发展中发挥着至关重要的作用。而元数据这一数据形式,可对数字资源的内容、特征、属性等信息进行揭示;制定元数据标准并建设元数据模型,完成数据标准管理和数据质量管理工作,实现国家铁路数字工务全域数据管控。

摘要： 近年来,烟草商业企业在当代科技发展和国家新发展理念背景下,积极构建供应链数字一体化,力求促进自身核心竞争力的提高。本文主要针对烟草商业企业供应链数字一体化构建过程中,对数据的采集、管理、共享、预警和转任务的管理运用进行研究,以聚合工商零消,整合内外资源,助力烟草商业企业高质量发展。

摘要： cqvip:随着互联网、计算机等现代信息化技术的迅速发展,数字资源这一新型资源应运而生,其涉及到电子图书、电子会议论文、电子期刊等。当前国铁集团工务基础设施检测监测领域的数据量呈现指数型增长,数字资源已在其经营发展中发挥着至关重要的作用。而元数据这一数据形式,可对数字资源的内容、特征、属性等信息进行揭示;制定元数据标准并建设元数据模型,完成数据标准管理和数据质量管理工作,实现国家铁路数字工务全域数据管控。

摘要： 本文分析了区域卫生信息平台数据质量问题，提出数据质量管理办法和数据质量技术解决方案的具体内容，形成一个管理与技术相结合的数据质量管理框架，为完善区域卫生信息平台建设，提高平台数据质量提供参考。

摘要： 数据质量管理是数字校园的首要问题。文章以高校信息化建设为背景,分析了数据质量理论及数据质量问题产生的原因,阐述了数据质量管理整体框架和主要内容。一方面通过完善数据质量管理制度和流程,对数据进行科学有效的质量管理和控制；另一方面通过技术手段实施数据检查,说明在数据质量管理中如何发现数据质量问题,并通过数据质量管理流程进行改进,提出了数据质量问题的解决方法。

摘要： 本文介绍了数据仓库数据接入的数据质量问题，提出了一种基于数据元素的数据质量管理方法论，通过建立数据标准、建立数据认责、建立协同管理机制和数据标准执行检查保障数据仓库数据接入质量。本文还对数据治理体系的总体框架进行了简要介绍说明。

摘要： 统计数据质量是统计工作的生命线。国家统计局马建堂局长近期指出：当前政府统计工作的中心任务是如何“提高统计能力，提高统计数据质量，提高政府统计公信力。“三个提高”的核心还是提高统计数据质量”。为了提高政府统计数据质量，各国政府统计部门对统计数据质量管理进行了持续的探索与改进。从广义上看，政府统计数据质量管理包括一切为了保障和提高政府统计数据质量而采取的政策与措施。新中国统计在诞生初期便明确提出过“减少数量、提高质量、掌握重点、稳步前进”和“大力提高统计资料的质量，积极开展统计分析研究工作”等工作方针，但在其后受到“大跃进”运动和“十年动乱”的摧毁，直到改革开放后才得以基本恢复并进入稳步发展时期。弹指一挥间30年过去了，我国政府统计数据质量管理的进展如何，在当前管理条件下生产的统计数据的质量与国际上普遍认同的统计数据质量标准相比还存在哪些差距？本文借鉴国际货币基金组织(IMF)对于统计数据质量的理解，以其制订的数据质量评估框架(DQAF)中的统计数据质量标准为参照，对上述问题展开系统的回顾与探讨。

摘要： 随着省级经营分析系统价值的显现与稳步提升,系统数据质量管理范畴不断延伸.传统的数据质量管理没有系统的解决方案,仅通过随机查询或经验值进行数据监控,已无法满足数据质量管理的新需求.辽宁公司在经营分析系统1.5中引入了基于多点监控的数据质量管理系统,监控点涵盖了数据处理的全部阶段,实现多角度、多方式、可配置的约束规则,使源数据状态、ETL状态、数据仓库状态、数据集市状态、前端应用状态被全程掌控.

摘要： 进入二十一世纪以后,信息系统的建设已成为评价企业现代化建设的依据.医院信息系统已成为医院日常管理的基础.然而若没有高质量的数据,就不能体现客观真实的有益信息,就不能最大化的发挥医院管理系统的作用.提高医疗数据质量就成为了医院信息化建设面临的新问题.探讨了医疗数据质量在医院信息化建设中的重要性，介绍了加强数据质量管理的方式与方法。

摘要： 本发明公开一种应用于大数据系统的数据质量管理系统，包括应用域配置模块，用于配置待检测数据所属的应用域，生成应用域配置信息存储；数据源配置模块，用于配置待检测数据所属的数据源，生成数据源配置信息存储；管理指标配置模块，用于对数据源中的数据信息创建管理指标存储；任务执行模块，可以用于根据执行命令调用管理指标对应用域接入至数据源的数据信息进行数据检查。还包括一种应用于大数据系统的数据质量管理系统的操作方法。对于大数据环境监管平台中的环境大数据中心整合和汇集省环保厅众多系统的繁多业务数据，本发明可以针对环境大数据中心的数据进行数据检查，筛查出脏数据或异常数据，提高环境大数据中心的数据质量。

摘要： 本发明提供了一种船舶数据处理方法、装置和船舶数据质量管理平台，涉及船舶数据分析的技术领域，包括根据船舶数据的种类判断船舶数据是否为异常数据；对将异常数据剔除后的船舶数据进行可信度分析；将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。

摘要： 本申请实施例公开了一种基于大数据的数据质量管理方法、电子设备及相关产品，应用于电子设备，所述方法包括：获取多个第一样本数据集，所述多个第一样本数据集中每一第一样本数据集对应一个属性信息，所述属性信息包括区域位置、平均样本质量值，每一第一样本数据集均包括多个样本调查问卷；依据所述多个第一样本数据集的属性信息确定所述多个第一样本数据集中每一第一样本数据集对应的配额，得到多个配额；依据所述多个配额对所述多个第一样本数据集中的每一第一样本数据集进行筛选，得到多个第二样本数据集。采用本申请实施例可以提升样本质量。

摘要： 本说明书实施例提供一种针对数据库的数据质量管理方法和装置，方法包括：获取针对数据库的目标SQL语句；解析目标SQL语句，得到若干个数据对象，以及该若干个数据对象之间的目标关联关系，单个数据对象为字段或数据表；根据若干个数据对象和目标关联关系，更新预先建立的数据关系记录，数据关系记录中包含数据库中至少部分数据对象，以及其间的已有关联关系；对若干个数据对象进行数据质量监控，判断是否存在数据质量不满足要求的问题数据对象；当判断结果为存在问题数据对象时，从更新后的数据关系记录中，查询与问题数据对象具有预设关联关系的目标数据对象；针对问题数据对象和目标数据对象，进行数据质量管理。能够提高数据管理效率。

摘要： 本发明提供了一种船舶数据处理方法、装置和船舶数据质量管理平台，涉及船舶数据分析的技术领域，包括根据船舶数据的种类判断船舶数据是否为异常数据；对将异常数据剔除后的船舶数据进行可信度分析；将分析得到的可信度指标与对应的可信度阈值进行比对，并根据对比情况，进行相应处理操作，能够为船舶状态数据提供较为完善的清洗规则，使得清洗处理后的数据更加准确，适应于船舶应用的各种场景。

摘要： 本发明公开一种基于数据中台的数据质量管理平台，包括量测数据不落地加工处理模块、量测数据在线质量监测模块和数据质量工具模块；所述测量数据不落地加工处理模块通过流计算对量测数据加工处理；所述量测数据在线质量监测模块采用流计算在线监测数据质量异常；所述数据质量工具模块采用离线计算管理数据中台中的数据质量。本发明提供高性能计算平台，满足大规模量测数据质量问题的识别需求，在线流计算的数据质量对比效率大概10万/S，离线数据质量对比效率大概40万/S。

摘要： 本发明公开了一种基于数据拆分耦合的区域制造业大数据质量管理方法，包括以下步骤：1）建立大数据数据库，数据库在线接收数据；在数据库的接收端设置暂存区，数据库接收的数据预先存入暂存区；2）接收的数据村存储进暂存区后，对接收的数据进行信任度预判；对接收的数据进行信任度预判的方法为：设立一个信任度对照表格，将接收的数据与对照表格中存储的该数据以往信任度最好值进行比较。本申请的技术方案通过对接收的数据进行拆分耦合，判断数据的可信度，将不可信的杂项数据剔除，提高了区域制造业大数据的质量，方便对区域制造业大数据进行管理。

摘要： 本申请实施例公开了一种基于大数据的数据质量管理方法、电子设备及相关产品，应用于电子设备，所述方法包括：获取多个第一样本数据集，所述多个第一样本数据集中每一第一样本数据集对应一个属性信息，所述属性信息包括区域位置、平均样本质量值，每一第一样本数据集均包括多个样本调查问卷；依据所述多个第一样本数据集的属性信息确定所述多个第一样本数据集中每一第一样本数据集对应的配额，得到多个配额；依据所述多个配额对所述多个第一样本数据集中的每一第一样本数据集进行筛选，得到多个第二样本数据集。采用本申请实施例可以提升样本质量。

摘要： 一种基于元数据驱动的电力通信大数据质量管理方法，包括S1、设定标准元数据模型；S2、基于标准元数据模型设定数据评价模型；S3、构建数据系统，数据系统包括采样数据库、评价数据库、日志数据库、记录数据库和查询接口；S4、在每个数据采样点依据标准元数据模型进行数据采样，得到待接入数据，持久化数据录入采样数据库中；S5、根据数据评价模型对待接入数据进行评价；S6、根据S5的评价结果生成评价数据和日志数据，将评价数据录入评价数据库，将日志数据录入日志数据库。本发明通过元数据在各个数据产生采集过程中的驱动能力，实现对数据在生产过程中的质量检测，以实现对数据质量的控制。

摘要： 本发明公开了一种问题数据全生命周期数据质量管理方法及系统，基于对问题数据建立唯一的指纹码后，建立问题数据指纹数据库，实现对问题数据的全生命周期的监管和监控，有效提升问题数据的精益化管理，能实现问题数据全流程闭环管控、实现问题数据的多维角度分析统计，提高问题数据全生命周期的数据质量精益化管理，并能分析问题数据的续存时间，存量、增量问题数据变化情况，问题数据的类型、规则，通过对指标、问题数据多维度分析，强化信息中心数据质量管控能力，实现数据治理“说得清、看得见、管得住”。