浅谈数据质量管理

发布时间:2020.06.29来源:CSDN浏览量:101次标签:数据治理

这篇文章主要讲数据治理中的重要内容:数据质量管理。数据治理的理论和实践不断向前发展,但数据质量管理始终是数据治理的初衷,也是最重要的目的。我会从数据质量管理的目标,质量问题产生的根源,质量评估标准,质量管理流程,质量管理的取与舍几个方面进行阐述。

一、数据质量管理的目标
数据质量管理主要解决“数据质量现状如何,谁来改进,如何提高,怎样考核”的问题。

为什么这篇文章的标题中有“不忘初心方得始终”这几个字呢。因为最开始的关系型数据库时代,做数据治理最主要的目的,就是为了提升数据质量,让报表、分析、应用更加准确。时至今日,虽然数据治理的范畴扩大了很多,我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念,但是提升数据的质量,依然是数据治理最重要的目标之一。

为什么数据质量问题如此重要?

因为数据要能发挥其价值,关键在于其数据的质量的高低,高质量的数据是一切数据应用的基础。

如果一个组织根据劣质的数据分析业务、进行决策,那还不如没有数据,因为通过错误的数据分析出的结果往往会带来“精确的误导”,对于任何组织来说,这种“精确误导”都无异于一场灾难。

根据统计,数据科学家和数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上,在数据质量不高的环境下,做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理,持续地提升数据质量,已经成为组织内刻不容缓的优先任务。

二、数据质量问题产生的根源
做数据质量管理,首先要搞清楚数据质量问题产生的原因。原因有多方面,比如在技术、管理、流程方面都会碰到。但从根本上来时,数据质量问题产生的大部分原因在于业务上,也就是管理不善。许多表面上的技术问题,深究下去,其实还是业务问题。

 

我在给客户做数据治理咨询的时候,发现很多客户认识不到数据质量问题产生的根本原因,局限于只想从技术角度来解决问题,希望通过购买某个工具就能解决质量问题,这当然达不到理想的效果。经过和客户交流以及双方共同分析之后,大部分组织都能认识到数据质量问题产生的真正根源,从而开始从业务着手解决数据质量问题了。

从业务角度着手解决数据质量问题,重要的是建立一套科学、可行的数据质量评估标准和管理流程。

三、数据质量评估的标准
当我们谈到数据质量管理的时候,我们必须要有一个数据质量评估的标准,有了这个标准,我们才能知道如何评估数据的质量,才能把数据质量量化,并知道改进的方向,比较改进后的效果。

目前业内认可的数据质量的标准有:

准确性: 描述数据是否与其对应的客观实体的特征相一致。
完整性: 描述数据是否存在缺失记录或缺失字段。
一致性: 描述同一实体的同一属性的值在不同的系统是否一致。
有效性: 描述数据是否满足用户定义的条件或在一定的域值范围内。
唯一性: 描述数据是否存在重复记录。
及时性: 描述数据的产生和供应是否及时。
稳定性: 描述数据的波动是否是稳定的,是否在其有效范围内。
以上数据质量标准只是一些通用的规则,这些标准是可以根据数据的实际情况和业务要求进行扩展的,如交叉表校验等。

四、数据质量管理的流程
要提升数据质量,需要以问题数据为切入点,注重问题的分析、解决、跟踪、持续优化、知识积累,形成数据质量持续提升的闭环。

首先需要梳理和分析数据质量问题,摸清楚数据质量的现状;然后针对不同的质量问题选择适合的解决办法,制定出详细的解决方案;接着是问题的认责,追踪方案执行的效果,监督检查,持续优化;最后形成数据质量问题解决的知识库,以供后来者参考。上述步骤不断迭代,形成数据质量管理的闭环。

很显然,要管理好数据质量,仅有工具支撑是远远不够的,必须要组织架构、制度流程参与进来,做到数据的认责,数据的追责。


亿信华辰的数据治理产品---睿治是亿信华辰自主研发的由多个产品组成的数据全生命周期管理应用平台,也是目前国内功能齐全的数据治理工具,助力数据标准落地,提升数据质量。

数据治理

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 国内数据治理系统全面介绍

    国内数据治理系统全面介绍

    随着大数据技术的飞速发展,大数据已经融入到了各行各业,为了能让各企业的数据资产得到充分的利用,数据治理非常重要,如今数据治理已经逐渐成为……查看详情

    发布时间:2019.09.19来源:知乎浏览量:94次

  • 询问数据治理教练:我的数据治理计划需要多长时间?

    询问数据治理教练:我的数据治理计划需要多长时间?

    有多种不同的成熟度评估可用。如同所有的事物数据治理,我更喜欢一个简单的方法,你可以下载一个非常快速和容易的数据治理健康检查调查问卷免费在……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:60次

  • 银行业重塑数据治理体系 助力转型升级

    银行业重塑数据治理体系 助力转型升级

    银行业金融机构要深化认识,积极主动对接国家政策,改革数据治理体系,依靠数据治理改进决策、缩减成本、降低风险、增强核心竞争力,推动银行业向……查看详情

    发布时间:2019.10.18来源:知乎浏览量:92次

  • 什么是数据治理?为何数据治理如此重要?

    什么是数据治理?为何数据治理如此重要?

    如我们所见,数据正在以前所未有的速度增长,IDC曾发布报告称,到2025年,全球数据圈预计将增长至175 ZB。如何在这样一个数据大爆发……查看详情

    发布时间:2020.03.26来源:知乎浏览量:79次

  • 如何做好银行金融大数据治理平台建设

    如何做好银行金融大数据治理平台建设

    大数据、云计算、互联网等技术,将人类带入了一个以PB为单位的大规模生产、分享和应用数据的新时代。当治理的对象发生变化时,治理体系也应进行……查看详情

    发布时间:2019.10.15来源:知乎浏览量:150次

  • 企业如何有效进行数据治理

    企业如何有效进行数据治理

    如果你处理或使用过大量数据,一定有听到过“数据治理”这个词。你会思考数据治理是什么?……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:81次

  • 数据管理能力成熟度评估模型

    数据管理能力成熟度评估模型

    数据管理能力成熟度评估模型,中华人民共和国国家质量监督检验检疫总局,中国国家标准化管理委员会发布。……查看详情

    发布时间:2019.09.02来源:GB/T36073—2018浏览量:267次

  • 两会各地人大代表对于大数据都关心什么?

    两会各地人大代表对于大数据都关心什么?

    两会的召开,各地人大代表针对各个领域、行业、产业纷纷提出了许多具有高价值的议题。针对不同地区的情况与发展势态,各地代表对于大数据的运用与……查看详情

    发布时间:2019.03.11来源:大数据浏览量:88次

  • 数据治理的六大优势

    数据治理的六大优势

    重要的是,我们认识到数据治理(DG)的优势超出了通用数据保护法规(GDPR)的要求。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:124次

  • 数据治理对于大数据分析势在必行

    数据治理对于大数据分析势在必行

    数据被定义为“收集在一起以供参考或分析的事实和统计数据。”信息是“关于某事物或某人提供或了解的事实,”这是一个至关重要的信息。“信息治理……查看详情

    发布时间:2018.11.21来源:浏览量:71次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议