浅谈数据质量管理

发布时间:2020.06.29来源:CSDN浏览量:81次标签:数据治理

这篇文章主要讲数据治理中的重要内容:数据质量管理。数据治理的理论和实践不断向前发展,但数据质量管理始终是数据治理的初衷,也是最重要的目的。我会从数据质量管理的目标,质量问题产生的根源,质量评估标准,质量管理流程,质量管理的取与舍几个方面进行阐述。

一、数据质量管理的目标
数据质量管理主要解决“数据质量现状如何,谁来改进,如何提高,怎样考核”的问题。

为什么这篇文章的标题中有“不忘初心方得始终”这几个字呢。因为最开始的关系型数据库时代,做数据治理最主要的目的,就是为了提升数据质量,让报表、分析、应用更加准确。时至今日,虽然数据治理的范畴扩大了很多,我们开始讲数据资产管理、知识图谱、自动化的数据治理等等概念,但是提升数据的质量,依然是数据治理最重要的目标之一。

为什么数据质量问题如此重要?

因为数据要能发挥其价值,关键在于其数据的质量的高低,高质量的数据是一切数据应用的基础。

如果一个组织根据劣质的数据分析业务、进行决策,那还不如没有数据,因为通过错误的数据分析出的结果往往会带来“精确的误导”,对于任何组织来说,这种“精确误导”都无异于一场灾难。

根据统计,数据科学家和数据分析员每天有30%的时间浪费在了辨别数据是否是“坏数据”上,在数据质量不高的环境下,做数据分析可谓是战战兢兢。可见数据质量问题已经严重影响了组织业务的正常运营。通过科学的数据质量管理,持续地提升数据质量,已经成为组织内刻不容缓的优先任务。

二、数据质量问题产生的根源
做数据质量管理,首先要搞清楚数据质量问题产生的原因。原因有多方面,比如在技术、管理、流程方面都会碰到。但从根本上来时,数据质量问题产生的大部分原因在于业务上,也就是管理不善。许多表面上的技术问题,深究下去,其实还是业务问题。

 

我在给客户做数据治理咨询的时候,发现很多客户认识不到数据质量问题产生的根本原因,局限于只想从技术角度来解决问题,希望通过购买某个工具就能解决质量问题,这当然达不到理想的效果。经过和客户交流以及双方共同分析之后,大部分组织都能认识到数据质量问题产生的真正根源,从而开始从业务着手解决数据质量问题了。

从业务角度着手解决数据质量问题,重要的是建立一套科学、可行的数据质量评估标准和管理流程。

三、数据质量评估的标准
当我们谈到数据质量管理的时候,我们必须要有一个数据质量评估的标准,有了这个标准,我们才能知道如何评估数据的质量,才能把数据质量量化,并知道改进的方向,比较改进后的效果。

目前业内认可的数据质量的标准有:

准确性: 描述数据是否与其对应的客观实体的特征相一致。
完整性: 描述数据是否存在缺失记录或缺失字段。
一致性: 描述同一实体的同一属性的值在不同的系统是否一致。
有效性: 描述数据是否满足用户定义的条件或在一定的域值范围内。
唯一性: 描述数据是否存在重复记录。
及时性: 描述数据的产生和供应是否及时。
稳定性: 描述数据的波动是否是稳定的,是否在其有效范围内。
以上数据质量标准只是一些通用的规则,这些标准是可以根据数据的实际情况和业务要求进行扩展的,如交叉表校验等。

四、数据质量管理的流程
要提升数据质量,需要以问题数据为切入点,注重问题的分析、解决、跟踪、持续优化、知识积累,形成数据质量持续提升的闭环。

首先需要梳理和分析数据质量问题,摸清楚数据质量的现状;然后针对不同的质量问题选择适合的解决办法,制定出详细的解决方案;接着是问题的认责,追踪方案执行的效果,监督检查,持续优化;最后形成数据质量问题解决的知识库,以供后来者参考。上述步骤不断迭代,形成数据质量管理的闭环。

很显然,要管理好数据质量,仅有工具支撑是远远不够的,必须要组织架构、制度流程参与进来,做到数据的认责,数据的追责。


亿信华辰的数据治理产品---睿治是亿信华辰自主研发的由多个产品组成的数据全生命周期管理应用平台,也是目前国内功能齐全的数据治理工具,助力数据标准落地,提升数据质量。

数据治理

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理的演变

    数据治理的演变

    数据治理正在迅速发展。……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:66次

  • 企业何时进行数据治理才是最佳时机

    企业何时进行数据治理才是最佳时机

    找准数据治理的切入点,是关乎数据治理成败的关键。如果将数仓建设分为数仓雏形阶段、数仓迭代阶段和能力沉淀阶段,数据治理应该在哪个阶段切入为……查看详情

    发布时间:2020.06.30来源:知乎浏览量:49次

  • 颠覆性变革即将到来,金融行业大数据治理该怎么做?

    颠覆性变革即将到来,金融行业大数据治理该怎么做?

    说到大数据应用所带来的颠覆性变革,没有一个行业比金融行业更加明显。从客户画像到精准营销,从风险管控到运营优化,几乎所有的业务环节都与大数……查看详情

    发布时间:2018.10.10来源:it168浏览量:57次

  • 数据治理的血缘分析

    数据治理的血缘分析

    数据治理里经常提到的一个词就是血缘分析,血缘分析是保证数据融合(聚合)的一个手段,通过血缘分析实现数据融合处理的可追溯。……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:95次

  • 一文搞懂数据质量问题及对应的解决办法

    一文搞懂数据质量问题及对应的解决办法

    通过数据分析、数据评估、数据清洗、数据监控、错误预警等内容,解决数据质量问题,使数据的质量得以改善,使其满足数据需求方对数据质量的规则要……查看详情

    发布时间:2019.11.05来源:知乎浏览量:399次

  • 数据治理的未来

    数据治理的未来

    数据已成为我们数字经济的命脉。并且为了提取其全部价值,必须管理和管理数据。因此,本文的标题和我主题演讲的主题:数据治理的未来现在。……查看详情

    发布时间:2018.12.26来源:数据治理浏览量:85次

  • 数据质量和数据治理之间有什么区别?

    数据质量和数据治理之间有什么区别?

    跟上无穷无尽的技术术语可能是一项艰巨的任务。松散定义的术语和行业特定的白话使水更加泥泞。特别是在数据管理方面,似乎许多单词也可以互换使用……查看详情

    发布时间:2019.07.04来源:知乎浏览量:48次

  • 数据交换平台的功能结构设计与实现

    数据交换平台的功能结构设计与实现

    数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按……查看详情

    发布时间:2020.08.06来源:知乎浏览量:116次

  • 政府如何进行数据治理

    政府如何进行数据治理

    政府掌握全社会重要核心的、高价值的数据,如何通过有效管理,进行共享开放与协同,释放背后价值,赋能管理、服务决策,推动治理能力的提升对于我……查看详情

    发布时间:2021.08.30来源:亿信华辰浏览量:122次

  • 医疗保健中数据治理的7个基本实践

    医疗保健中数据治理的7个基本实践

    数据现在是任何组织中最有价值的资产之一,尤其是医疗保健,因为我们正在转向更具分析性的行业。数据现在是任何组织中最持久的资产,超过设施,设……查看详情

    发布时间:2018.11.16来源:戴尔桑德斯浏览量:74次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议