数据治理|如何做好数据质量管理
发布时间:2022.03.18来源:小亿浏览量:219次标签:数据治理
监管数据质量非常重要,已上升至中央层面,其重要性不言而喻。
一、什么是数据质量管理
数据质量包含两个方面:数据自身的质量和数据使用过程标准规范。数据质量管理是一个集方法论、管理、技术和业务为一体,对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过程,并通过改善和提高组织的管理水平确保数据质量的提升。
二、数据质量问题来源
1、数据量过大:过大数据量会使数据消费者难以在合理的时间内获得所需的数据。
2、数据的多源性:当同一个数据有多个数据来源时,很可能会导致不同的值,这在系统设计和业务流程设计时都可能会引起这一问题。
3、计算资源有限:缺乏足够的计算资源会限制相关数据的可访问性。
4、数据生成过程中的主观判断:如果在数据的生成过程中包含主观判断结果,那么会导致数据中含有主观偏见因素。
5、安全性和可访问性之间的权衡:对数据消费者而言,必须能够访问高质量的数据;同时,出于保护隐私、保密和安全性的考量,必须对访问设置权限。因此,高质量的数据可访问性与数据的安全性之间就产生了冲突。
6、分布式异构系统:对于分布式、异构的数据系统,缺乏适当的整合机制会导致其内部出现数据定义、格式、规则和值的不一致性。跨系统的查询和汇总数据往往需要太多的时间,降低了数据的可访问性。
三、数据质量管理方法
1、建立质量管控流程和规范
明确质量管控的角色、职责,建立可执行的工作流程、可量化的工作评估等关于数据质量管控办法,同时也应具备绩效考核、冲突解决与管控方式等。
2、执行管理工作
1)数据剖析
进行已知数据问题的评估,评估的范围控制在本轮管控的目标范围内。通过对数据进行剖析,发现数据问题,具体规则又可通过标准或业务调研进行提取。
2)设计数据质量控制操作程序
获得已知数据问题后,就应设计数据质量控制操作程序。主要包括制定质量问题评估方式和整改方式、制定质量报告内容及对象以及制定检查和监控的频率及方式。
3)定义数据质量需求
根据剖析的质检规则和控制操作程序,对数据质量需求进行定义。
4)确定数据质量水平
数据质量需求定义完毕之后,我们就需要确定在此需求下,目前数据质量的水平处于什么位置。明确反应质量水平的并最直观的就是错误数据的详情情况。
5)管理数据质量问题
问题找到后,针对根据不同的质量问题,进行不同的质量整改方案。比如:源头修改、补录、技术修复以及遗留问题管控等。
3、检查数据质量
首先确定整改质量,对处理后的数据进行再次质检,出具数据质量的报告;然后,对比处理前后效果,总结改进措施;最后,检查数据质量是否合格,分析不合格原因并下一轮管控中进行技术上或者操作程序上的改进。
4、监控数据质量,控制管理程序和绩效
根据既定的操作程序,对质量管控过程中各个环节参与者进行绩效评估。还可以根据不同时期的重点制定不同的评分标准,有针对性的进行评价和管控,如整改初期数据缺失严重,则可对完整性规则权重调大,以期更快看到成效或者达到更好的效果。
四、小结
数据质量管控在数据治理体系中占据了十分重要的地位,是看见实质成效最快的一环,也是数据治理过程中的重要一环,亿信华辰睿治智能数据治理平台,是一款融合数据治理十大产品模块,覆盖数据全生命周期管理的应用平台,其中也包括了数据质量模块,可帮助政企有效提升数据质量,挖掘数据价值。
-
一文说明数据质量与数据治理的关系
数据作为一种资产,对于一个公司来说,数据的核心价值可以理解为核心商业价值,我个人认为是体现在两方面,一是能为企业带来更多的盈利,二是能为……查看详情发布时间:2020.07.09来源:浏览量:87次
-
数据仓库的定义,它有什么作用?
最简单的数据仓库是用于存储和报告数据的系统。数据通常源自多个系统,然后将其移入数据仓库以进行长期存储和分析。该存储的结构使得组织内的许多……查看详情发布时间:2018.12.20来源:数据治理浏览量:85次
-
2021年16种最佳数据治理工具和软件
数据治理越来越被企业重视,在这样一个数据驱动经济增长的时代,数据治理正在成为一些企业或单位数字化转型的必经之路。下面,就来和大家简单介……查看详情发布时间:2021.05.25来源:亿信数据治理知识库浏览量:153次
-
企业数据资产管理应该如何做?
定义与提出:国外对“数据资产管理”的定义为:数据资产管理是规划、控制和提供数据及信息资产的一组业务职能,包括开发……查看详情发布时间:2020.08.14来源:知乎浏览量:81次
-
数据治理带给企业的6个惊喜
数据治理实际是一把双刃剑。一方面,法律法规的强制规定能立即引起客户对数据治理的重视。另一方面,为了达到合规,很多企业在实际操作中只会做到……查看详情发布时间:2019.11.22来源:知乎浏览量:66次
-
数据治理在大数据领域的重要性
即使在过去,企业也要面对超出其基础设施和流程处理能力的大量数据,更不用说要从数据中挖掘出对制定有效决策有实际价值的情报了。如今,随着种类……查看详情发布时间:2019.12.06来源:CSDN浏览量:55次
-
数据治理这个事儿啊,不是个事儿
数据治理是一个包含可用性,适用性,完整性和安全性的四向框架。它是由使用技术的利益相关者使用的一组流程,用于确保管理和保护重要的关键数据。……查看详情发布时间:2019.06.28来源:知乎浏览量:50次
-
谈大数据时代下的数据治理
2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划……查看详情发布时间:2019.01.03来源:亿信华辰浏览量:65次