数据质量监控步骤及方法

发布时间:2020.08.31来源:CSDN浏览量:1次标签:数据治理

随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。
数据质量监控
大数据处理中数据质量监控从哪几个方面进行?

数据容量(Volume):数据的大小决定所考虑的数据的价值的和潜在的信息;
数据种类(Variety):数据类型的多样性;
数据速度(Velocity):指获得数据的速度;
数据可变性(Variability):妨碍了处理和有效地管理数据的过程;
数据真实性(Veracity):数据的质量;
数据复杂性(Complexity):数据量巨大,来源多渠道。

数据质量监控怎么做?

四大关注点
先简单地聊一下数据质量需要关注的四个点:即完整性、准确性、一致性和及时性。这四个关注点,会在我们的数据处理流程的各个环节有所体现。

一、完整性
完整性是指数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成统计结果不准确,所以说完整性是数据质量最基础的保障。
简单来讲,如果要做监控,需要考虑两个方面:一是,数据条数是否少了,二是,某些字段的取值是否缺失。完整性的监控,多出现在日志级别的监控上,一般会在数据接入的时候来做数据完整性校验。

二、准确性
准确性是指数据中记录的信息和数据是否准确,是否存在异常或者错误的信息。
直观来讲就是看数据是否上准确的。一般准确性的监控多集中在对业务结果数据的监控,比如每日的活跃、收入等数据是否正常。

三、一致性
一致性是指同一指标在不同地方的结果是否一致。
数据不一致的情况,多出现在数据系统达到一定的复杂度后,同一指标会在多处进行计算,由于计算口径或者开发人员的不同,容易造成同一指标出现的不同的结果。

四、及时性
在确保数据的完整性、准确性和一致性后,接下来就要保障数据能够及时产出,这样才能体现数据的价值。
及时性很容易理解,主要就是数据计算出来的速度是否够快,这点在数据质量监控中可以体现在监控结果数据数据是否在指定时间点前计算完成。

数据质量监控之所以难做,是因为在数据的各个环节都会出现数据质量的问题。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。好好把握这几个点才能更好地进行数据质量监控。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 有效数据治理计划在客户购买决策中的作用

    有效数据治理计划在客户购买决策中的作用

    数据治理计划将最大限度地提高数据的安全性,质量和价值,所有这些都构成了客户的信任。……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:1次

  • [数据治理方法论]6点数据治理最佳实施方法

    [数据治理方法论]6点数据治理最佳实施方法

    在寻找数据治理最佳实施方法时,您可以从其他通过数据治理项目的各种流程和模型中学到东西。尽管每个企业都不同,但仍有可借鉴之处,因此无需完全……查看详情

    发布时间:2021.05.28来源:亿信数据治理知识库浏览量:2次

  • 数据交换如何“主动出击”?

    数据交换如何“主动出击”?

    传统的数据交换,一般说来是用户根据自身的数据抽取需求,配置好相关的设置,定义好数据抽取时间来进行数据交换。这是一种被动式的数据交换,如果……查看详情

    发布时间:2020.09.27来源:头条浏览量:2次

  • 大数据时代的数据治理

    大数据时代的数据治理

    随着Hadoop技术的提升,数据如何进来,如何整合,开展什么样的应用都已经有了成熟的案例,可是,同传统数仓时代一样,垃圾进垃圾出,如何破……查看详情

    发布时间:2020.03.19来源:知乎浏览量:2次

  • 数据治理和流分析的关系

    数据治理和流分析的关系

    借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:3次

  • 国内数据治理有何新动向?

    国内数据治理有何新动向?

    大数据时代,大数据技术在飞速的发展,逐渐的,大数据融入了各行各业,并且深受各大企业的喜欢,为了让各个企业的数据资产得到充分的利用,数据治……查看详情

    发布时间:2019.09.23来源:知乎浏览量:3次

  • 大数据资产管理总体框架概述

    大数据资产管理总体框架概述

    随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将被……查看详情

    发布时间:2020.08.28来源:知乎浏览量:1次

  • 应用程序组合管理:优化您的投资组合

    应用程序组合管理:优化您的投资组合

    过程的第四个也是最后一个阶段是优化您的投资组合,在这里您必须开始检查其他应用程序和项目之间的依赖关系。您还必须在每个应用程序中添加成本和……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:1次

  • 数据治理工作的难点主要体现在那些方面?

    数据治理工作的难点主要体现在那些方面?

    由哪个部门主导;人员应该怎样配置;各个数据治理角色的职责分别是什么。这些一定需要明确,一个职责分工明确的团队将更好的推进数据治理工作。建……查看详情

    发布时间:2019.09.18来源:知乎浏览量:3次

  • 使用知识图技术实现数据治理2.0

    使用知识图技术实现数据治理2.0

    当您使用Google,从Netflix挑选电影,与Siri或Alexa交谈,或在Facebook上寻找您的侄子时,您将从知识图谱技术中受……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议