数据质量分析定义的六个阶段

发布时间:2019.12.06来源:知乎浏览量:75次标签:数据治理

(1)定义阶段(D阶段)。界定数据质量治理的范围,并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法,定义出数据治理的对象和范围。企业数据质量治理对象一般主要包括两类数据:一类是操作型数据,例如:主数据、参照数据和交易数据。另一类是分析型数据,例如:主题数据、指标数据等。注:根据笔者经验以及80/20法则,企业的数据质问题80%是由于管理不当或业务操作不规范引起的,参考:《主数据的3大特点、4个超越和三个80/20原则》。

(2)测量阶段(M阶段)。在定义出数据治理对象和内容后,需要选取以下若干个指标来作为数据质量评价指标,建立数据质量评估模型,对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的:数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

(3)分析阶段(A阶段)。基于数据质量评估模型,执行数据质量分析任务,通过数据分析,找到发生数据质量问题的重灾区,确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的,数据治理的目标是提升数据质量从而提高数据分析的准确性,而大数据分析技术也可反向作用于数据治理,通过大数据分析算法和大数据可视化技术,能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括:回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

(4)改进阶段(I 阶段)。通过制定改进管理和业务流程、优化数据质量的方案,消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升,绝不单单是技术问题,应从管理和业务入手,找出数据质量问题发生的根因,再对症下药。同时,数据质量管理是一个持续优化的过程,需要企业全员参与,并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法:流程再造、绩效激励等。

(5)控制阶段(C阶段)。固化数据标准,优化数据管理流程,并通过数据管理和监控手段,确保流程改进成果,提升数据质量。 主要方法有:标准化、程序化、制度化等。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 通用数据治理平台的功能模块

    通用数据治理平台的功能模块

    随着互联网与大数据技术的飞速发展,大数据已经融入到了各行各业。数据治理非常重要,已经逐渐成为了政府、企业进行智能化决策的重要手段。数据治……查看详情

    发布时间:2022.02.23来源:浏览量:320次

  • 企业级数据治理面临的挑战与对策

    企业级数据治理面临的挑战与对策

    数据治理是社会深度信息化的产物,显示数据正从独占转为共享、从封闭走向开放、从权力变成资源的趋势。目前国内外对其有多种定义,如数据治理是对……查看详情

    发布时间:2019.08.20来源:知乎浏览量:132次

  • 构建有效的数据科学团队

    构建有效的数据科学团队

    随着数据科学和人工智能几乎进入阳光下的每个行业,建立一个能够建立成功的AI项目的团队的挑战也是如此。对统计学家,程序员和沟通者完美融合的……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:79次

  • 数据治理委员会:指导原则

    数据治理委员会:指导原则

    数据所有权 指定义与特定数据集相关的各种责任级别。讨论谁负责特定的数据任务已经使我们机构的数据维护和准确性变得更加简单。……查看详情

    发布时间:2018.11.23来源:数据治理浏览量:65次

  • 数据治理知识:怎么判断数据质量是否健康?

    数据治理知识:怎么判断数据质量是否健康?

    从数据质量检查开始:导出数据的子集并通过亿信华辰数据质量管理平台运行它 。这项软件服务可快速评估您数据的有效性、完整性和唯一性。……查看详情

    发布时间:2021.06.10来源:亿信华辰数据治理知识库浏览量:90次

  • 从元数据角度来认识大数据

    从元数据角度来认识大数据

    什么是元数据?在前面的什么是元数据文章中,我们也提到过,元数据是数据的数据,可以帮助数据平台解决“有哪些数据”、“数据存储有多少”、“数……查看详情

    发布时间:2020.02.21来源:知乎浏览量:66次

  • 数据治理技术措施

    数据治理技术措施

    企业构建的信息系统以满足功能应用为主,如果没有整体数据架构,应用系统就没有数据标准可参考,不可避免地会出现不同的应用系统使用不同的数据标……查看详情

    发布时间:2020.10.21来源:知乎浏览量:75次

  • 大数据时代监管安全的“智慧大脑”

    大数据时代监管安全的“智慧大脑”

    在这里,监控民警不仅是监狱监管安全防线上的眼睛、耳朵、嘴巴,还是视频监控、固证锁证、指挥联动、应急处突的“智慧”大脑。这里就是监狱监管安……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:69次

  • 赞成谷歌的建议允许数据治理的巴尔干化

    赞成谷歌的建议允许数据治理的巴尔干化

    数据管理公司Immuta的首席隐私官和法律工程师表示,这只是一项建议,仍需要由法院作出最终裁决。……查看详情

    发布时间:2019.01.17来源:数据治理浏览量:53次

  • 一文讲透数据治理核心指标

    一文讲透数据治理核心指标

    股份制改革对我国银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分……查看详情

    发布时间:2020.06.19来源:CSDN浏览量:68次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议