浅谈数据质量管理

发布时间:2020.06.29来源:CSDN浏览量:147次标签:数据治理

这篇文章主要讲数据治理中的重要内容:数据质量管理。数据治理的理论和实践不断向前发展,但数据质量管理始终是数据治理的初衷,也是最重要的目的。我会从数据质量管理的目标,质量问题产生的根源,质量评估标准,质量管理流程,质量管理的取与舍几个方面进行阐述。

一、数据质量管理的目标
数据质量管理主要解决“数据质量现状如何,谁来改进,如何提高,怎样考核”的问题。

为什么这篇文章的标题中有“不忘初心方得始终”这几个字呢。因为最开始的关系型数据库时代,做数据治理最主要的目的,就是为了提升数据质量,让报表、分析、应用更加准确。时至今日,虽然数据治理的范畴扩大了很多,我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念,但是提升数据的质量,依然是数据治理最重要的目标之一。

为什么数据质量问题如此重要?

因为数据要能发挥其价值,关键在于其数据的质量的高低,高质量的数据是一切数据应用的基础。

如果一个组织根据劣质的数据分析业务、进行决策,那还不如没有数据,因为通过错误的数据分析出的结果往往会带来“精确的误导”,对于任何组织来说,这种“精确误导”都无异于一场灾难。

根据统计,数据科学家和数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上,在数据质量不高的环境下,做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理,持续地提升数据质量,已经成为组织内刻不容缓的优先任务。

二、数据质量问题产生的根源
做数据质量管理,首先要搞清楚数据质量问题产生的原因。原因有多方面,比如在技术、管理、流程方面都会碰到。但从根本上来时,数据质量问题产生的大部分原因在于业务上,也就是管理不善。许多表面上的技术问题,深究下去,其实还是业务问题。

 

我在给客户做数据治理咨询的时候,发现很多客户认识不到数据质量问题产生的根本原因,局限于只想从技术角度来解决问题,希望通过购买某个工具就能解决质量问题,这当然达不到理想的效果。经过和客户交流以及双方共同分析之后,大部分组织都能认识到数据质量问题产生的真正根源,从而开始从业务着手解决数据质量问题了。

从业务角度着手解决数据质量问题,重要的是建立一套科学、可行的数据质量评估标准和管理流程。

三、数据质量评估的标准
当我们谈到数据质量管理的时候,我们必须要有一个数据质量评估的标准,有了这个标准,我们才能知道如何评估数据的质量,才能把数据质量量化,并知道改进的方向,比较改进后的效果。

目前业内认可的数据质量的标准有:

准确性: 描述数据是否与其对应的客观实体的特征相一致。
完整性: 描述数据是否存在缺失记录或缺失字段。
一致性: 描述同一实体的同一属性的值在不同的系统是否一致。
有效性: 描述数据是否满足用户定义的条件或在一定的域值范围内。
唯一性: 描述数据是否存在重复记录。
及时性: 描述数据的产生和供应是否及时。
稳定性: 描述数据的波动是否是稳定的,是否在其有效范围内。
以上数据质量标准只是一些通用的规则,这些标准是可以根据数据的实际情况和业务要求进行扩展的,如交叉表校验等。

四、数据质量管理的流程
要提升数据质量,需要以问题数据为切入点,注重问题的分析、解决、跟踪、持续优化、知识积累,形成数据质量持续提升的闭环。

首先需要梳理和分析数据质量问题,摸清楚数据质量的现状;然后针对不同的质量问题选择适合的解决办法,制定出详细的解决方案;接着是问题的认责,追踪方案执行的效果,监督检查,持续优化;最后形成数据质量问题解决的知识库,以供后来者参考。上述步骤不断迭代,形成数据质量管理的闭环。

很显然,要管理好数据质量,仅有工具支撑是远远不够的,必须要组织架构、制度流程参与进来,做到数据的认责,数据的追责。


亿信华辰的数据治理产品---睿治是亿信华辰自主研发的由多个产品组成的数据全生命周期管理应用平台,也是目前国内功能齐全的数据治理工具,助力数据标准落地,提升数据质量。

数据治理

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理有助于为分析构建坚实的基础

    数据治理有助于为分析构建坚实的基础

    如果您的业务很多,那么它就会大量投资于分析。我们生活在一个数据驱动的世界里。数据推动了我们从零售商处获得的建议,我们从杂货店获得的优惠券……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:140次

  • 金融行业数据治理与安全防护解决方案

    金融行业数据治理与安全防护解决方案

    在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法用途等数据泄漏的安全风险。一方面,数据处理过……查看详情

    发布时间:2019.09.30来源:CSDN浏览量:117次

  • 浅析银行业如何做数据治理

    浅析银行业如何做数据治理

    2018年5月,银保监会发布《银行业金融机构数据治理指引》,从数据治理架构、数据管理、数据质量控制、数据价值实现、监督管理等方面规范银行……查看详情

    发布时间:2019.06.14来源:亿信华辰浏览量:115次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:220次

  • 数据治理框架:它是什么,我已经拥有它?

    数据治理框架:它是什么,我已经拥有它?

    由于第一个人在第一台计算机上打开了电源开关,IT和业务部门已决定如何处理由技术使用和创建的数据。虽然您不再提交穿孔卡或存档磁带(可能),……查看详情

    发布时间:2018.12.27来源:数据治理浏览量:134次

  • 数据服务交换和服务工具经历三个阶段

    数据服务交换和服务工具经历三个阶段

    数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。……查看详情

    发布时间:2020.08.06来源:知乎浏览量:119次

  • 什么是敏捷数据管理?敏捷数据管理的技术原则

    什么是敏捷数据管理?敏捷数据管理的技术原则

    在大数据的时代,大家都在重视数据存储和大数据相关技术的同时,都开始注重建设数据管理能力。在海量复杂数据的场景下,如果没有有效的管理,那么……查看详情

    发布时间:2022.03.03来源:小亿浏览量:219次

  • 数据管理是真的, 真的需要!

    数据管理是真的, 真的需要!

    数据管理是与控制组织定义,生成和使用数据的方式相关的各种学科。这些学科的例子包括数据建模,数据架构,数据质量,元数据管理,数据互操作性等……查看详情

    发布时间:2018.12.21来源:数据管理浏览量:82次

  • 如今数据治理与企业密切相关

    如今数据治理与企业密切相关

    随着越来越多的企业建立并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。有专家表示,只有建立了一定的数据治理体系,用户……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:103次

  • 数据治理-理数据,现状分析

    数据治理-理数据,现状分析

    针对企业数据治理所处的内外部环境,从组织、人员、流程、数据四个方面入手,进行数据治理现状的分析。……查看详情

    发布时间:2020.07.17来源:知乎浏览量:115次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议