数据质量管理方法

发布时间:2019.11.15来源:知乎浏览量:214次标签:数据治理

1.数据质量管理框架
数据质量闭环管理机制以制定规则、问题发现、质量剖析、数据清理、评估验证、持续监控为核心活动(图2),又结合银行的数据实践进行了定制和优化。通常戴明环的四个活动是计划-实施-检查-行动,从质量管理角度出发执行循环工作机制。目前银行数据需求情况复杂多样,通过分析数据质量问题级别进行分类,有大规模跨部门的系统级建设或改造需求,也有业务口径、技术口径确定等中等问题,还有小范围的标准代码值修改等轻微问题,为此闭环机制在设计和实践中要充分考虑多种需求。

分解管理框架中的各项活动,首先是根据企业数据标准制定数据质量校验的业务和技术规则,以及对应的数据质量问题发现及管理;然后按照数据质量维度对抽样或全局数据进行剖析,并结合评估验证进行数据清理;最后通过数据质量持续监控,以数据质量报告的形式汇报并反映数据质量的状况及问题。数据全过程质量管理框架以改进数据质量为目标,确保数据的准确、完整、一致和及时性。通过制定数据质量关键性能指标或积分卡,评估数据质量的改善情况,并形成常态化数据质量管理闭环机制,以凸显数据质量管理的长效机制。

2.数据质量管理策略
从数据管理能力角度分析,数据质量管理策略主要负责质量剖析、评估、清理三项管理内容。在具体实践中,数据质量管理主要分为事件式驱动与主动管理两种模式。事件式驱动适合所有的应用场景,根据实际应用产生的各种数据质量需求均可纳入数据质量管理机制,通过相对固定的流程来解决。主动管理适用的范围相对严格一些,必须有明确的目标导向,以充分利用资源和能力。

目前适合银行的数据质量主动管理主要偏重基础数据和监管报送数据,二者都有明确的要求,能够清晰的制定度量规则,并且整个管理过程也满足数据治理的现状。在数据应用流程中的数据服务、分析、挖掘等工作中,应将数据质量剖析、评估活动纳入正常工作流程,将其中不满足要求的数据问题反馈给数据质量管理人员,纳入闭环工作机制进行处理。

分析数据质量管理对象,首先要重点监控企业现有数据资产的情况,结合数据质量剖析、验证、清理等活动,结合数据分析应用保障数据价值实现;其次,还要充分考虑新数据源的加入,结合元数据相关内容探测数据变化,及时揭示数据质量风险并纳入管理机制。

3.数据质量指标定义
低质量的数据会影响业务目标的完成,数据质量管理人员必须找到并使用数据质量指标,报告数据缺陷与受影响业务目标之间的关系。定义数据质量指标的过程存在着挑战,识别并管理业务相关的数据质量指标,可以与监控业务活动绩效相类比,数据质量指标应该合理地反映数据质量情况,为数据质量管理提供量化依据。

在定义数据质量指标的过程中,需要充分考虑可度量性、业务相关性、可接受程度、可控性、可追踪性等特性,并与数据认责制度充分结合。首先需要分析业务影响,并评估相关的数据元素以及数据生命周期流程;其次针对每个数据元素,列出与之相关的数据需求,并定义数据质量维度以及业务规则;最后针对业务规则,描述度量需求满足度的流程,并定义可接受程度的阈值。

4.数据质量剖析方法
企业数据质量的剖析方法主要包括三种,具体为字段剖析、记录剖析和表间剖析,通常能够覆盖所有的数据资产。实际管理中数据质量剖析用于判断质量情况,为后续的数据质量验证及数据质量清理提供依据,并且数据质量监控规则的制定提供技术口径。

字段剖析用于分析数据记录中的字段,将提供诸如完整性、数据类型、大小、长度、唯一值和频率分布列表、模式、最大和最小范围。字段剖析可用于发现数据质量问题,核实数据与预期值的符合性,并比较实际数据和目标需求。

记录剖析用于分析表格或文件内部字段之间的关联关系,进而能够发现实际数据结构、函数依赖关系、主键和数据结构中存在的质量问题,也可用于预测预期用户对数据的依赖关系。

表间分析用于比较表格或文件之间的数据,确定重叠的或相同的数值集,识别重复值或指出外键,判断数据的一致性等。表间剖析的结果可以帮助标准化数据模型,在模型中消除无用的冗余。

5.数据质量监控技术
在数据质量监控环节将数据质量控制和测量流程嵌入到信息处理流程,从而实现可持续的质量监控。依据数据粒度分布情况,采用两种形式来监控数据质量满足业务要求的情况。结合数据质量剖析方法,有字段、记录、表间三种粒度数据质量监控方法,对应的评价指标对应覆盖字段数据值、数据记录以及完整的数据集。

根据监控目标,数据质量监控分为常规闭环监控以及批量运动式两种,这与数据质量的需求来源保持对应关系。企业整体数据质量要求通过闭环机制进行持续监控推进,支持业务运营和基础的数据应用;对于数据分析、挖掘探索对应的质量需求,以及系统建设的需求,可以通过批量式以项目重要环节的形式完成质量监控。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理与数据质量的关系

    数据治理与数据质量的关系

    单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论……查看详情

    发布时间:2018.11.29来源:知乎浏览量:112次

  • 没有妥协的数据治理

    没有妥协的数据治理

    在考虑当今现代企业中数据的规模和规模时,显然需要一种全新的数据治理方法。与此同时,数据治理一直是企业范围内的问题 - 而不是大数据特有的……查看详情

    发布时间:2018.11.22来源:数据治理浏览量:131次

  • 大数据必备知识:数据的分类方式

    大数据必备知识:数据的分类方式

    数据分类在收集、处理和应用数据过程中非常重要。数据的分类方式很多,每种方式都有特别的作用。数据工作中不同角色往往需要理解和掌握不同的分类……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:122次

  • 数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向包括:资产分析、资产治理、资产应用,并需要基于这三个方向的技术研究和实战,将流程、经验、标准和规范等产品化……查看详情

    发布时间:2020.11.06来源:知乎浏览量:91次

  • 探索数据生命周期管理的五个阶段

    探索数据生命周期管理的五个阶段

    企业并不总是需要所有数据 - 特别是当数据被认为过时时。但是,诉讼,审计或其他突发事件可以使其快速检索变得至关重要。考虑到这种可能性,许……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:108次

  • 中小银行行数据治理是否错过最佳建设期?

    中小银行行数据治理是否错过最佳建设期?

    数据治理基础建设缺失、人才匮乏、意识觉醒较晚。目前中小银行数据治理难点有哪些?中小银行行数据治理是否错过最佳建设期。……查看详情

    发布时间:2019.11.28来源:知乎浏览量:93次

  • 各行业企业数据管理遇到的挑战

    各行业企业数据管理遇到的挑战

    目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情

    发布时间:2020.03.26来源:知乎浏览量:113次

  • 如何有效的进行数据治理?

    如何有效的进行数据治理?

    如果你处理或使用过大量数据,一定有听到过“数据治理”这个词。你会思考数据治理是什么?数据治理是否适合你?如何实施……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:134次

  • 数据治理技术措施

    数据治理技术措施

    企业构建的信息系统以满足功能应用为主,如果没有整体数据架构,应用系统就没有数据标准可参考,不可避免地会出现不同的应用系统使用不同的数据标……查看详情

    发布时间:2020.10.21来源:知乎浏览量:133次

  • “五方面发力”提升银行业的数据治理能力

    “五方面发力”提升银行业的数据治理能力

    随着英国、欧盟等国家和地区纷纷推行开放银行模式以及相关监管政策逐渐落地,开放银行正成为世界银行业发展的新趋势,备受关注。……查看详情

    发布时间:2019.11.29来源:知乎浏览量:109次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议