数据质量管理方法

发布时间:2019.11.15来源:知乎浏览量:125次标签:数据治理

1.数据质量管理框架
数据质量闭环管理机制以制定规则、问题发现、质量剖析、数据清理、评估验证、持续监控为核心活动(图2),又结合银行的数据实践进行了定制和优化。通常戴明环的四个活动是计划-实施-检查-行动,从质量管理角度出发执行循环工作机制。目前银行数据需求情况复杂多样,通过分析数据质量问题级别进行分类,有大规模跨部门的系统级建设或改造需求,也有业务口径、技术口径确定等中等问题,还有小范围的标准代码值修改等轻微问题,为此闭环机制在设计和实践中要充分考虑多种需求。

分解管理框架中的各项活动,首先是根据企业数据标准制定数据质量校验的业务和技术规则,以及对应的数据质量问题发现及管理;然后按照数据质量维度对抽样或全局数据进行剖析,并结合评估验证进行数据清理;最后通过数据质量持续监控,以数据质量报告的形式汇报并反映数据质量的状况及问题。数据全过程质量管理框架以改进数据质量为目标,确保数据的准确、完整、一致和及时性。通过制定数据质量关键性能指标或积分卡,评估数据质量的改善情况,并形成常态化数据质量管理闭环机制,以凸显数据质量管理的长效机制。

2.数据质量管理策略
从数据管理能力角度分析,数据质量管理策略主要负责质量剖析、评估、清理三项管理内容。在具体实践中,数据质量管理主要分为事件式驱动与主动管理两种模式。事件式驱动适合所有的应用场景,根据实际应用产生的各种数据质量需求均可纳入数据质量管理机制,通过相对固定的流程来解决。主动管理适用的范围相对严格一些,必须有明确的目标导向,以充分利用资源和能力。

目前适合银行的数据质量主动管理主要偏重基础数据和监管报送数据,二者都有明确的要求,能够清晰的制定度量规则,并且整个管理过程也满足数据治理的现状。在数据应用流程中的数据服务、分析、挖掘等工作中,应将数据质量剖析、评估活动纳入正常工作流程,将其中不满足要求的数据问题反馈给数据质量管理人员,纳入闭环工作机制进行处理。

分析数据质量管理对象,首先要重点监控企业现有数据资产的情况,结合数据质量剖析、验证、清理等活动,结合数据分析应用保障数据价值实现;其次,还要充分考虑新数据源的加入,结合元数据相关内容探测数据变化,及时揭示数据质量风险并纳入管理机制。

3.数据质量指标定义
低质量的数据会影响业务目标的完成,数据质量管理人员必须找到并使用数据质量指标,报告数据缺陷与受影响业务目标之间的关系。定义数据质量指标的过程存在着挑战,识别并管理业务相关的数据质量指标,可以与监控业务活动绩效相类比,数据质量指标应该合理地反映数据质量情况,为数据质量管理提供量化依据。

在定义数据质量指标的过程中,需要充分考虑可度量性、业务相关性、可接受程度、可控性、可追踪性等特性,并与数据认责制度充分结合。首先需要分析业务影响,并评估相关的数据元素以及数据生命周期流程;其次针对每个数据元素,列出与之相关的数据需求,并定义数据质量维度以及业务规则;最后针对业务规则,描述度量需求满足度的流程,并定义可接受程度的阈值。

4.数据质量剖析方法
企业数据质量的剖析方法主要包括三种,具体为字段剖析、记录剖析和表间剖析,通常能够覆盖所有的数据资产。实际管理中数据质量剖析用于判断质量情况,为后续的数据质量验证及数据质量清理提供依据,并且数据质量监控规则的制定提供技术口径。

字段剖析用于分析数据记录中的字段,将提供诸如完整性、数据类型、大小、长度、唯一值和频率分布列表、模式、最大和最小范围。字段剖析可用于发现数据质量问题,核实数据与预期值的符合性,并比较实际数据和目标需求。

记录剖析用于分析表格或文件内部字段之间的关联关系,进而能够发现实际数据结构、函数依赖关系、主键和数据结构中存在的质量问题,也可用于预测预期用户对数据的依赖关系。

表间分析用于比较表格或文件之间的数据,确定重叠的或相同的数值集,识别重复值或指出外键,判断数据的一致性等。表间剖析的结果可以帮助标准化数据模型,在模型中消除无用的冗余。

5.数据质量监控技术
在数据质量监控环节将数据质量控制和测量流程嵌入到信息处理流程,从而实现可持续的质量监控。依据数据粒度分布情况,采用两种形式来监控数据质量满足业务要求的情况。结合数据质量剖析方法,有字段、记录、表间三种粒度数据质量监控方法,对应的评价指标对应覆盖字段数据值、数据记录以及完整的数据集。

根据监控目标,数据质量监控分为常规闭环监控以及批量运动式两种,这与数据质量的需求来源保持对应关系。企业整体数据质量要求通过闭环机制进行持续监控推进,支持业务运营和基础的数据应用;对于数据分析、挖掘探索对应的质量需求,以及系统建设的需求,可以通过批量式以项目重要环节的形式完成质量监控。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据质量监控

    数据质量监控

    数据质量监控可以分为数据质量的事前预防控制、事中过程控制和事后监督控制:……查看详情

    发布时间:2019.12.06来源:知乎浏览量:90次

  • 管理「政府数据资产」该怎么做

    管理「政府数据资产」该怎么做

    政府数据资产,是指由政务服务实施机构建设、管理、使用的各类业务应用系统,以及利用业务应用系统依法依规直接或间接采集、产生并管理的,具有经……查看详情

    发布时间:2020.07.17来源:CSDN浏览量:92次

  • 大数据治理需要具备哪些能力和关键技术?

    大数据治理需要具备哪些能力和关键技术?

    在企业数据建设过程中,大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:127次

  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?” Citizens Bank首席数据官(CDO)……查看详情

    发布时间:2018.11.14来源:Michelle Knight浏览量:74次

  • 如何确定数据治理工具与数据中心及信息系统的关系

    如何确定数据治理工具与数据中心及信息系统的关系

    通过实施数据治理工具,可以让数据质量变得更好,发掘数据资产的商业价值,实现如下目标:对业务的支撑;降低经营风险、安全保障;对决策进行支持……查看详情

    发布时间:2021.04.30来源:亿信数据治理知识库浏览量:86次

  • 什么是数据治理

    什么是数据治理

    什么是数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混……查看详情

    发布时间:2018.09.13来源:浏览量:79次

  • 数据与数据治理两个基本概念

    数据与数据治理两个基本概念

    数据治理这项基础数据能力的重要性越来越多突出。2017年4月22日,中国数据标准化及治理奖实践奖的现场评审在清华大学成功举行。……查看详情

    发布时间:2018.11.30来源:御数坊浏览量:79次

  • 利用数据治理重新定义数据架构

    利用数据治理重新定义数据架构

    数据和数据管理的重要性,价值和责任正在迅速增加。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:83次

  • 数据治理准备的五大支柱:团队资源

    数据治理准备的五大支柱:团队资源

    Facebook丑闻突显了组织需要理解和应用数据治理准备的五大支柱。……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:73次

  • 企业如何成功的实现数据治理?

    企业如何成功的实现数据治理?

    当下是一个大数据的时代,如果一个企业没有数据,那么在做决策时就缺乏数据的支持,但是如果企业有了数据,不对数据进行治理,那么就无法充分有效……查看详情

    发布时间:2019.07.18来源:知乎浏览量:51次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议