数据质量分析定义的六个阶段

发布时间:2019.12.06来源:知乎浏览量:82次标签:数据治理

(1)定义阶段(D阶段)。界定数据质量治理的范围,并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法,定义出数据治理的对象和范围。企业数据质量治理对象一般主要包括两类数据:一类是操作型数据,例如:主数据、参照数据和交易数据。另一类是分析型数据,例如:主题数据、指标数据等。注:根据笔者经验以及80/20法则,企业的数据质问题80%是由于管理不当或业务操作不规范引起的,参考:《主数据的3大特点、4个超越和三个80/20原则》。

(2)测量阶段(M阶段)。在定义出数据治理对象和内容后,需要选取以下若干个指标来作为数据质量评价指标,建立数据质量评估模型,对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的:数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

(3)分析阶段(A阶段)。基于数据质量评估模型,执行数据质量分析任务,通过数据分析,找到发生数据质量问题的重灾区,确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的,数据治理的目标是提升数据质量从而提高数据分析的准确性,而大数据分析技术也可反向作用于数据治理,通过大数据分析算法和大数据可视化技术,能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括:回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

(4)改进阶段(I 阶段)。通过制定改进管理和业务流程、优化数据质量的方案,消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升,绝不单单是技术问题,应从管理和业务入手,找出数据质量问题发生的根因,再对症下药。同时,数据质量管理是一个持续优化的过程,需要企业全员参与,并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法:流程再造、绩效激励等。

(5)控制阶段(C阶段)。固化数据标准,优化数据管理流程,并通过数据管理和监控手段,确保流程改进成果,提升数据质量。 主要方法有:标准化、程序化、制度化等。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 通过数据治理策略推动业务转型

    通过数据治理策略推动业务转型

    围绕数据制定战略是成功实现数字化转型的关键。除了流行语 - 组织需要了解他们试图通过数字化转型实现什么,以及它如何在行业和竞争优势中发挥……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:58次

  • 数据指标体系和数据治理的管理

    数据指标体系和数据治理的管理

    我们提到过为什么要搭建指标体系,相信大家在看数据相关招聘岗位简介的时候,也经常看到有关搭建指标体系的要求,因此这里简单的给出两点做指标体……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:80次

  • 做好数据治理才能建设大数据平台

    做好数据治理才能建设大数据平台

    大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,而国内企业数据平台的建设大概从90年代末就开始了,从第一……查看详情

    发布时间:2018.11.28来源:数据治理浏览量:83次

  • 谷歌首席决策科学家:30篇文章通关数据科学与人工智能

    谷歌首席决策科学家:30篇文章通关数据科学与人工智能

    谷歌首席决策科学家(Chief Decision Scientis)凯西柯兹科夫(Cassie Kozyrkov)在2018年非常高产,……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:68次

  • 数据质量是什么?控制数据质量的三个方法都在这

    数据质量是什么?控制数据质量的三个方法都在这

    目前有三种基本方法可以实现真正的数据质量。它们有助于提供可用于收集有用的商业情报和做出正确决策的准确数据。这些开发和维护数据质量的方法都……查看详情

    发布时间:2021.08.19来源:亿信华辰数据治理知识库浏览量:97次

  • 治理和管理

    治理和管理

    以问责制为重点的数据管理定义是“确保数据相关工作根据通过治理建立的政策和实践来执行的一系列活动。”……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:75次

  • 企业怎样保护业务数据的质量

    企业怎样保护业务数据的质量

    企业内容的质量主要从以下三个方面体现:技术人员设计系统时逻辑严谨,符合规范;业务人员通过统一的培训,录入数据时有统一的规范;管理人员发现……查看详情

    发布时间:2019.09.10来源:知乎浏览量:85次

  • 全方位解读 | 了解数据治理、挑战及数据治理工具

    全方位解读 | 了解数据治理、挑战及数据治理工具

    早在 2000 年代初,企业就将数据视为公司的战略资产,以指导战略决策,促进实验学习和改进,并提供更好的业务成果。数据安全已成为企业的重……查看详情

    发布时间:2021.07.29来源:亿信数据治理知识库浏览量:122次

  • 大数据时代监管安全的“智慧大脑”

    大数据时代监管安全的“智慧大脑”

    在这里,监控民警不仅是监狱监管安全防线上的眼睛、耳朵、嘴巴,还是视频监控、固证锁证、指挥联动、应急处突的“智慧”大脑。这里就是监狱监管安……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:73次

  • 数据治理到底能治什么,怎么治

    数据治理到底能治什么,怎么治

    近年来,数据治理成为挖掘数据价值的重要手段和工具。随着大数据平台和工业互联网兴起,数据治理平台主要采用数据中台技术和微服务架构初步替代传……查看详情

    发布时间:2020.03.26来源:知乎浏览量:73次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议