数据质量分析定义的六个阶段

发布时间:2019.12.06来源:知乎浏览量:301次标签:数据治理

(1)定义阶段(D阶段)。界定数据质量治理的范围,并将数据质量改进的方向和内容界定在合理的范围内。通过使用主数据识别法、专家小组法、问卷调查法、漏斗法等方法,定义出数据治理的对象和范围。企业数据质量治理对象一般主要包括两类数据:一类是操作型数据,例如:主数据、参照数据和交易数据。另一类是分析型数据,例如:主题数据、指标数据等。注:根据笔者经验以及80/20法则,企业的数据质问题80%是由于管理不当或业务操作不规范引起的,参考:《主数据的3大特点、4个超越和三个80/20原则》。

(2)测量阶段(M阶段)。在定义出数据治理对象和内容后,需要选取以下若干个指标来作为数据质量评价指标,建立数据质量评估模型,对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的:数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。

(3)分析阶段(A阶段)。基于数据质量评估模型,执行数据质量分析任务,通过数据分析,找到发生数据质量问题的重灾区,确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的,数据治理的目标是提升数据质量从而提高数据分析的准确性,而大数据分析技术也可反向作用于数据治理,通过大数据分析算法和大数据可视化技术,能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括:回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。

(4)改进阶段(I 阶段)。通过制定改进管理和业务流程、优化数据质量的方案,消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升,绝不单单是技术问题,应从管理和业务入手,找出数据质量问题发生的根因,再对症下药。同时,数据质量管理是一个持续优化的过程,需要企业全员参与,并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法:流程再造、绩效激励等。

(5)控制阶段(C阶段)。固化数据标准,优化数据管理流程,并通过数据管理和监控手段,确保流程改进成果,提升数据质量。 主要方法有:标准化、程序化、制度化等。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 如何有效的进行数据交换管理

    如何有效的进行数据交换管理

    在现代信息社会,政府、企事业单位相继建立了各自的信息管理系统,这些独立的系统创建之初没有统一的规划,彼此之间数据的存储环境和存储形式差异……查看详情

    发布时间:2020.04.23来源:知乎浏览量:191次

  • 数据治理对医疗保健未来的重要性

    数据治理对医疗保健未来的重要性

    在过去的一年里,我已经广泛报道了基因组数据在医疗保健领域日益增长的重要性。其中一个最好的例子是英国生物银行与欧洲基因组 - 表型库(EG……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:188次

  • “数据治理”:重构和愿景

    “数据治理”:重构和愿景

    对于数据业者而言,数据治理(datagovernance)并不陌生。根据国际标准化组织IT服务管理与IT治理分技术委员会、国际数据治理研……查看详情

    发布时间:2020.06.19来源:CSDN浏览量:175次

  • 如何全面解决数据问题?看这里就全知道!

    如何全面解决数据问题?看这里就全知道!

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情

    发布时间:2019.09.04来源:知乎浏览量:223次

  • 企业如何快速启动数据治理项目?

    企业如何快速启动数据治理项目?

    大数据时代已经到来,各个政府机关,大中小企业都越来越重视数据的价值。然而在企业的运转过程中,却经常会产生各种各样的数据问题。……查看详情

    发布时间:2019.08.15来源:知乎浏览量:164次

  • 如何利用元数据管理数据资产

    如何利用元数据管理数据资产

    如今,各大企业都在关心数据该如何使用,但大数据应用的前提是有高质量的数据。而很多企业内部数据形态多样,标准不统一,大数据应用往往得从数据……查看详情

    发布时间:2020.11.05来源:知乎浏览量:164次

  • 赢得数据治理的五个秘诀

    赢得数据治理的五个秘诀

    到目前为止,您已经意识到拥有出色的数据分析策略还需要拥有良好的数据治理策略。毕竟,如果您的数据无法控制,那么您在其上运行的分析在一天结束……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:168次

  • 数据治理与数据管理:有什么区别?

    数据治理与数据管理:有什么区别?

    如果今天有任何定义成功企业的东西,那就是公司数据的成功理解,使用和策略。了解您的数据并确定如何实施它会带来一系列问题,包括用户和利益相关……查看详情

    发布时间:2018.11.13来源:克里希基德浏览量:151次

  • 外部管理数据集的政府数据可靠性

    外部管理数据集的政府数据可靠性

    当我在退伍军人事务部工作时,我联系了许多人 - 联邦政府以外的人 - 他们希望在联邦政府开放数据工作时帮助清理,使用和改进公共数据集。当……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:164次

  • 数据清理的终极指南——亿信华辰

    数据清理的终极指南——亿信华辰

    我花了几个月的时间分析来自传感器、调查及日志等相关数据。无论我用多少图表,设计多么复杂的算法,结果总是会与预期不同。……查看详情

    发布时间:2019.03.20来源:数据清理浏览量:161次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议