数据质量监控步骤及方法

发布时间:2020.08.31来源:CSDN浏览量:32次标签:数据治理

随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。
数据质量监控
大数据处理中数据质量监控从哪几个方面进行?

数据容量(Volume):数据的大小决定所考虑的数据的价值的和潜在的信息;
数据种类(Variety):数据类型的多样性;
数据速度(Velocity):指获得数据的速度;
数据可变性(Variability):妨碍了处理和有效地管理数据的过程;
数据真实性(Veracity):数据的质量;
数据复杂性(Complexity):数据量巨大,来源多渠道。

数据质量监控怎么做?

四大关注点
先简单地聊一下数据质量需要关注的四个点:即完整性、准确性、一致性和及时性。这四个关注点,会在我们的数据处理流程的各个环节有所体现。

一、完整性
完整性是指数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成统计结果不准确,所以说完整性是数据质量最基础的保障。
简单来讲,如果要做监控,需要考虑两个方面:一是,数据条数是否少了,二是,某些字段的取值是否缺失。完整性的监控,多出现在日志级别的监控上,一般会在数据接入的时候来做数据完整性校验。

二、准确性
准确性是指数据中记录的信息和数据是否准确,是否存在异常或者错误的信息。
直观来讲就是看数据是否上准确的。一般准确性的监控多集中在对业务结果数据的监控,比如每日的活跃、收入等数据是否正常。

三、一致性
一致性是指同一指标在不同地方的结果是否一致。
数据不一致的情况,多出现在数据系统达到一定的复杂度后,同一指标会在多处进行计算,由于计算口径或者开发人员的不同,容易造成同一指标出现的不同的结果。

四、及时性
在确保数据的完整性、准确性和一致性后,接下来就要保障数据能够及时产出,这样才能体现数据的价值。
及时性很容易理解,主要就是数据计算出来的速度是否够快,这点在数据质量监控中可以体现在监控结果数据数据是否在指定时间点前计算完成。

数据质量监控之所以难做,是因为在数据的各个环节都会出现数据质量的问题。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。好好把握这几个点才能更好地进行数据质量监控。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理和数据管理、数据管控是什么关系

    数据治理和数据管理、数据管控是什么关系

    如果要用一个模型来描述数据治理、数据管理、数据管控这三个名词,那应该是一个“金字塔”模型。……查看详情

    发布时间:2021.04.12来源:亿信数据治理研究院浏览量:38次

  • 零售商的数据治理势在必行

    零售商的数据治理势在必行

    最好的零售商擅长推销商品。在顶级的实体和电子商务商店,产品组织巧妙,布置精美,色彩鲜明,使客户可以轻松找到他们想要的东西。做得好,商品推……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:27次

  • 数据治理的核心价值是什么

    数据治理的核心价值是什么

    数据治理工作的初心与核心目标是解决数据价值路上的这些拦路虎,这是数据治理工作的挑战所在,也是价值所在。……查看详情

    发布时间:2021.04.02来源:数据治理研究院浏览量:37次

  • 制定数据治理行动路线和计划

    制定数据治理行动路线和计划

    路线图是使用特定技术方案帮助达到短期或者长期目标的计划,用于新产品、项目或技术领域的开发,是指应用简洁的图形、表格、文字等形式描述技术变……查看详情

    发布时间:2020.07.17来源:知乎浏览量:28次

  • 云管理与云治理

    云管理与云治理

    混合云或多云已成为当今组织IT战略的重要组成部分。作为多云战略的一部分,组织需要定义如何在多个云中管理,控制,操作,优化和保护云基础架构……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:27次

  • 企业数据治理的实际步骤

    企业数据治理的实际步骤

    数据治理是一项业务活动。到目前为止,已经有多项努力从IT内部开始。但是,数据属于业务,而不属于IT。IT可以提供建议,帮助管理存储库,提……查看详情

    发布时间:2018.11.20来源:数据治理浏览量:22次

  • 数据治理为什么成为企业必备?

    数据治理为什么成为企业必备?

    基本概念什么是数据治理?答:又叫”数据管控”。引用《DAMA数据管理知识体系指南》一书给出的定义:数据治理是对数……查看详情

    发布时间:2020.07.29来源:CSDN浏览量:59次

  • 数据治理到底在哪里治?

    数据治理到底在哪里治?

    关于数据中台到底应该在中台治理还是应该在后台治理,数据治理到底应该放在中台,还是后台,我个人的理解是:小数据标准化治理靠人工、大数据预测……查看详情

    发布时间:2020.07.07来源:知乎浏览量:28次

  • 如何实现数据治理合作交流的4点建议

    如何实现数据治理合作交流的4点建议

    数据如同工业的石油一样,成为国家的重要资源,成为推动经济社会增长和发展的重要引擎。大数据、云计算、人工智能是大势所趋,发展这些技术也是人……查看详情

    发布时间:2019.10.25来源:知乎浏览量:20次

  • 企业怎样建立完整的数据治理体系?

    企业怎样建立完整的数据治理体系?

    大数据智能时代,管理不再是传统的做法,一套完善的数据管理体系是企业长远要生存的必须择决。我们的生活已经离不开大数据,企业的数据管理不仅能……查看详情

    发布时间:2020.03.26来源:知乎浏览量:16次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议