数据质量分析定义的六个阶段

发布时间:2019.12.06来源:知乎浏览量:13次标签:数据治理

(1)定义阶段(D阶段)。界定数据质量治理的范围,并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法,定义出数据治理的对象和范围。企业数据质量治理对象一般主要包括两类数据:一类是操作型数据,例如:主数据、参照数据和交易数据。另一类是分析型数据,例如:主题数据、指标数据等。注:根据笔者经验以及80/20法则,企业的数据质问题80%是由于管理不当或业务操作不规范引起的,参考:《主数据的3大特点、4个超越和三个80/20原则》。

(2)测量阶段(M阶段)。在定义出数据治理对象和内容后,需要选取以下若干个指标来作为数据质量评价指标,建立数据质量评估模型,对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的:数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

(3)分析阶段(A阶段)。基于数据质量评估模型,执行数据质量分析任务,通过数据分析,找到发生数据质量问题的重灾区,确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的,数据治理的目标是提升数据质量从而提高数据分析的准确性,而大数据分析技术也可反向作用于数据治理,通过大数据分析算法和大数据可视化技术,能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括:回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

(4)改进阶段(I 阶段)。通过制定改进管理和业务流程、优化数据质量的方案,消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升,绝不单单是技术问题,应从管理和业务入手,找出数据质量问题发生的根因,再对症下药。同时,数据质量管理是一个持续优化的过程,需要企业全员参与,并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法:流程再造、绩效激励等。

(5)控制阶段(C阶段)。固化数据标准,优化数据管理流程,并通过数据管理和监控手段,确保流程改进成果,提升数据质量。 主要方法有:标准化、程序化、制度化等。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 2021公安数据治理的目标

    2021公安数据治理的目标

    公安数据治理的目标是实现全局数据资源的有效整合,有效解决公安力量分散、资源分割、信息孤岛、运行封闭等问题,最终打破部门壁垒和警种壁垒。……查看详情

    发布时间:2021.04.29来源:亿信数据治理知识库浏览量:52次

  • 谷歌的记录,gdpr罚款:避免这种命运与数据治理

    谷歌的记录,gdpr罚款:避免这种命运与数据治理

    通用数据保护条例(gdpr)第一次产生了真正的影响,因为谷歌的记录gdpr罚款主导了新闻周期。……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:44次

  • 2025年大数据分析发展的预测

    2025年大数据分析发展的预测

    全球每天的互联网搜索、点击、分享、喜欢和刷卡都会产生大约2 5艾字节的数据。这仅仅是由于物联网推动的。IDC公司预测,到2025年数据量……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:27次

  • 数据质量提升的必要性

    数据质量提升的必要性

    高质量的数据对管理决策,业务支撑都有极其重要的作用。有些项目在初期由于并没有考虑数据质量的因素,导致了项目实施后期才发现,由于数据质量问……查看详情

    发布时间:2022.02.18来源:小亿浏览量:89次

  • 利用数据治理重新定义数据架构

    利用数据治理重新定义数据架构

    数据和数据管理的重要性,价值和责任正在迅速增加。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:42次

  • 如何数据标准应对这些难题

    如何数据标准应对这些难题

    应对数据标准这些难题,最经济、最理想的模式当然是:做大数据建设,首先做标准,再做大数据平台,数据仓库等。但一般的不大可能有这样的认识,很……查看详情

    发布时间:2020.11.13来源:知乎浏览量:30次

  • 试论加强数据治理能力的重要性

    试论加强数据治理能力的重要性

    网络信息资源,是指所有以电子数据形式存储在信息光、磁等非纸质的文字、图像、声音、动画等多种形式的载体中,并通过网络通信、计算机或终端等方……查看详情

    发布时间:2018.12.05来源:网络传播杂志浏览量:30次

  • 浅谈数据治理

    浅谈数据治理

    随着越来越多的企业建立并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。有专家表示,只有建立了一定的数据治理体系,用户才……查看详情

    发布时间:2020.06.19来源:CSDN浏览量:30次

  • 业务系统的数据资产管理为什么这么难?

    业务系统的数据资产管理为什么这么难?

    如果你做过BI或大数据,一定会接触数据资产管理的一些概念,比如元数据,数据字典,血统分析等等,但你会发现,要做好大数据平台的数据资产管理……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:20次

  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    “如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?” Citizens Bank首席数据官(CDO……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:23次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议