数据质量管理方法

发布时间:2019.11.15来源:知乎浏览量:87次标签:数据治理

1.数据质量管理框架
数据质量闭环管理机制以制定规则、问题发现、质量剖析、数据清理、评估验证、持续监控为核心活动(图2),又结合银行的数据实践进行了定制和优化。通常戴明环的四个活动是计划-实施-检查-行动,从质量管理角度出发执行循环工作机制。目前银行数据需求情况复杂多样,通过分析数据质量问题级别进行分类,有大规模跨部门的系统级建设或改造需求,也有业务口径、技术口径确定等中等问题,还有小范围的标准代码值修改等轻微问题,为此闭环机制在设计和实践中要充分考虑多种需求。

分解管理框架中的各项活动,首先是根据企业数据标准制定数据质量校验的业务和技术规则,以及对应的数据质量问题发现及管理;然后按照数据质量维度对抽样或全局数据进行剖析,并结合评估验证进行数据清理;最后通过数据质量持续监控,以数据质量报告的形式汇报并反映数据质量的状况及问题。数据全过程质量管理框架以改进数据质量为目标,确保数据的准确、完整、一致和及时性。通过制定数据质量关键性能指标或积分卡,评估数据质量的改善情况,并形成常态化数据质量管理闭环机制,以凸显数据质量管理的长效机制。

2.数据质量管理策略
从数据管理能力角度分析,数据质量管理策略主要负责质量剖析、评估、清理三项管理内容。在具体实践中,数据质量管理主要分为事件式驱动与主动管理两种模式。事件式驱动适合所有的应用场景,根据实际应用产生的各种数据质量需求均可纳入数据质量管理机制,通过相对固定的流程来解决。主动管理适用的范围相对严格一些,必须有明确的目标导向,以充分利用资源和能力。

目前适合银行的数据质量主动管理主要偏重基础数据和监管报送数据,二者都有明确的要求,能够清晰的制定度量规则,并且整个管理过程也满足数据治理的现状。在数据应用流程中的数据服务、分析、挖掘等工作中,应将数据质量剖析、评估活动纳入正常工作流程,将其中不满足要求的数据问题反馈给数据质量管理人员,纳入闭环工作机制进行处理。

分析数据质量管理对象,首先要重点监控企业现有数据资产的情况,结合数据质量剖析、验证、清理等活动,结合数据分析应用保障数据价值实现;其次,还要充分考虑新数据源的加入,结合元数据相关内容探测数据变化,及时揭示数据质量风险并纳入管理机制。

3.数据质量指标定义
低质量的数据会影响业务目标的完成,数据质量管理人员必须找到并使用数据质量指标,报告数据缺陷与受影响业务目标之间的关系。定义数据质量指标的过程存在着挑战,识别并管理业务相关的数据质量指标,可以与监控业务活动绩效相类比,数据质量指标应该合理地反映数据质量情况,为数据质量管理提供量化依据。

在定义数据质量指标的过程中,需要充分考虑可度量性、业务相关性、可接受程度、可控性、可追踪性等特性,并与数据认责制度充分结合。首先需要分析业务影响,并评估相关的数据元素以及数据生命周期流程;其次针对每个数据元素,列出与之相关的数据需求,并定义数据质量维度以及业务规则;最后针对业务规则,描述度量需求满足度的流程,并定义可接受程度的阈值。

4.数据质量剖析方法
企业数据质量的剖析方法主要包括三种,具体为字段剖析、记录剖析和表间剖析,通常能够覆盖所有的数据资产。实际管理中数据质量剖析用于判断质量情况,为后续的数据质量验证及数据质量清理提供依据,并且数据质量监控规则的制定提供技术口径。

字段剖析用于分析数据记录中的字段,将提供诸如完整性、数据类型、大小、长度、唯一值和频率分布列表、模式、最大和最小范围。字段剖析可用于发现数据质量问题,核实数据与预期值的符合性,并比较实际数据和目标需求。

记录剖析用于分析表格或文件内部字段之间的关联关系,进而能够发现实际数据结构、函数依赖关系、主键和数据结构中存在的质量问题,也可用于预测预期用户对数据的依赖关系。

表间分析用于比较表格或文件之间的数据,确定重叠的或相同的数值集,识别重复值或指出外键,判断数据的一致性等。表间剖析的结果可以帮助标准化数据模型,在模型中消除无用的冗余。

5.数据质量监控技术
在数据质量监控环节将数据质量控制和测量流程嵌入到信息处理流程,从而实现可持续的质量监控。依据数据粒度分布情况,采用两种形式来监控数据质量满足业务要求的情况。结合数据质量剖析方法,有字段、记录、表间三种粒度数据质量监控方法,对应的评价指标对应覆盖字段数据值、数据记录以及完整的数据集。

根据监控目标,数据质量监控分为常规闭环监控以及批量运动式两种,这与数据质量的需求来源保持对应关系。企业整体数据质量要求通过闭环机制进行持续监控推进,支持业务运营和基础的数据应用;对于数据分析、挖掘探索对应的质量需求,以及系统建设的需求,可以通过批量式以项目重要环节的形式完成质量监控。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理要处理好四个关系

    数据治理要处理好四个关系

    随着我国大数据战略的不断推进,各类生产生活行为都以数据的形式全景留痕,构建了一个与现实空间平行的“数据空间”,数据治理呼之欲出。要切实发……查看详情

    发布时间:2020.04.02来源:知乎浏览量:41次

  • 灵活的分析数据生命周期?

    灵活的分析数据生命周期?

    受监管实验室数据完整性指南的要求之一是数据生命周期,涵盖监管记录的生死。数据生命周期在最近的MHRA数据完整性指南中定义为“从生成和记录……查看详情

    发布时间:2018.12.27来源:数据治理浏览量:42次

  • 数据治理知识:怎么判断数据质量是否健康?

    数据治理知识:怎么判断数据质量是否健康?

    从数据质量检查开始:导出数据的子集并通过亿信华辰数据质量管理平台运行它 。这项软件服务可快速评估您数据的有效性、完整性和唯一性。……查看详情

    发布时间:2021.06.10来源:亿信华辰数据治理知识库浏览量:58次

  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。此外,每当人们提起数据管理和数据治理……查看详情

    发布时间:2019.08.27来源:DAMS浏览量:46次

  • 什么是元数据?元数据管理的作用是什么?

    什么是元数据?元数据管理的作用是什么?

    为了更好地理解企业拥有的数据,必须访问关联的元数据。 元数据管理帮助您判断数据来自何处,其在不同系统中的位置以及如何使用。元数据用于管理……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:124次

  • 元数据:数据治理的燃料

    元数据:数据治理的燃料

    企业渴望从可提供竞争优势的数据中获取洞察力。实现这一目标的最常见障碍是数据质量差。如果输入到预测算法的数据是“脏的”(具有丢失或无效的值……查看详情

    发布时间:2019.08.02来源:知乎浏览量:37次

  • 数据治理—审计委员会章程

    数据治理—审计委员会章程

    委员会应承担下列具体职责。委员会还应履行其他职责和责任,符合本章程,公司章程,管辖法律,纽约证券交易所的规则和条例,联邦证券法以及适用于……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:43次

  • 数据治理中,符合数字标准意味着什么

    数据治理中,符合数字标准意味着什么

    数据治理中,符合数字标准意味着什么?您需要采取什么措施来确保您的数据系统,1、确保数据完整性;2、溯源数据来源;3、主数据服务……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:57次

  • 如何保证数据质量、数据治理:让数据质量更好

    如何保证数据质量、数据治理:让数据质量更好

    数据分析、数据挖掘等各种数据应用都离不开数据质量,数据质量的重要性不用多表。今天来浅谈如何通过数据治理,来保证数据质量。数据的生命周期往……查看详情

    发布时间:2019.09.12来源:知乎浏览量:60次

  • 数据湖中的数据管理与治理

    数据湖中的数据管理与治理

    当您转换到数据湖时,选择完全集成的数据湖泊管理平台将使您对数据充满信心,并对其进行扩展以包含越来越多的用户和有利于业务的用例。毕竟,这就……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:63次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议