数据质量监控步骤及方法

发布时间:2020.08.31来源:CSDN浏览量:353次标签:数据治理

随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。
数据质量监控
大数据处理中数据质量监控从哪几个方面进行?

数据容量(Volume):数据的大小决定所考虑的数据的价值的和潜在的信息;
数据种类(Variety):数据类型的多样性;
数据速度(Velocity):指获得数据的速度;
数据可变性(Variability):妨碍了处理和有效地管理数据的过程;
数据真实性(Veracity):数据的质量;
数据复杂性(Complexity):数据量巨大,来源多渠道。

数据质量监控怎么做?

四大关注点
先简单地聊一下数据质量需要关注的四个点:即完整性、准确性、一致性和及时性。这四个关注点,会在我们的数据处理流程的各个环节有所体现。

一、完整性
完整性是指数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成统计结果不准确,所以说完整性是数据质量最基础的保障。
简单来讲,如果要做监控,需要考虑两个方面:一是,数据条数是否少了,二是,某些字段的取值是否缺失。完整性的监控,多出现在日志级别的监控上,一般会在数据接入的时候来做数据完整性校验。

二、准确性
准确性是指数据中记录的信息和数据是否准确,是否存在异常或者错误的信息。
直观来讲就是看数据是否上准确的。一般准确性的监控多集中在对业务结果数据的监控,比如每日的活跃、收入等数据是否正常。

三、一致性
一致性是指同一指标在不同地方的结果是否一致。
数据不一致的情况,多出现在数据系统达到一定的复杂度后,同一指标会在多处进行计算,由于计算口径或者开发人员的不同,容易造成同一指标出现的不同的结果。

四、及时性
在确保数据的完整性、准确性和一致性后,接下来就要保障数据能够及时产出,这样才能体现数据的价值。
及时性很容易理解,主要就是数据计算出来的速度是否够快,这点在数据质量监控中可以体现在监控结果数据数据是否在指定时间点前计算完成。

数据质量监控之所以难做,是因为在数据的各个环节都会出现数据质量的问题。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。好好把握这几个点才能更好地进行数据质量监控。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    当前,数据及其技术的融合应用在政府经济调节、市场监管、社会管理、公共服务、生态环境保护等各项工作中强劲助攻、潜力无限。但由于数据是新型生……查看详情

    发布时间:2020.06.22来源:知乎浏览量:124次

  • 数据治理加速企业数字化转型

    数据治理加速企业数字化转型

    现在大家都在说一个概念,银行有3.0时代,数据也有3.0时代,3.0时代在不同地域里都有不同的诉求,数字3.0时代是什么?概念并不新,从……查看详情

    发布时间:2019.08.02来源:企业网浏览量:122次

  • 数据中台和业务中台的区别

    数据中台和业务中台的区别

    数据中台是什么?数据中使前台更智慧。当然它也可以加快前台的开发速度,但它更重要的是使前台更智慧。业务系统,原来是跨类的,是分领域的财务系……查看详情

    发布时间:2021.01.23来源:头条浏览量:160次

  • 金融机构数据质量迎来“大考” ,这个数据治理利器你值得拥有

    金融机构数据质量迎来“大考” ,这个数据治理利器你值得拥有

    金融机构数据质量迎来“大考”。近日,中国银保监会办公厅下发了《关于开展监管数据质量专项治理工作的通知》,此次专项治理工作要压实监管数据质……查看详情

    发布时间:2021.01.29来源:知乎浏览量:275次

  • 数据治理|如何做好数据质量管理

    数据治理|如何做好数据质量管理

    数据质量管理是一个集方法论、管理、技术和业务为一体,对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过……查看详情

    发布时间:2022.03.18来源:小亿浏览量:410次

  • 数据治理的四点好处

    数据治理的四点好处

    大数据现在越来越广泛地应用在我们的日常生活当中,随着企业业务的发展,数据的来源、种类变得越来越多样化,系统改造或重新设计的难度就越大,所……查看详情

    发布时间:2022.02.22来源:小亿浏览量:219次

  • 数据治理和数据管理推动成功的词汇表和词典

    数据治理和数据管理推动成功的词汇表和词典

    任何数据管理员的噩梦都是运行会议,创建迂腐和无关的业务词汇表或数据词典,最终收集网络粉尘。但是,跳过构建和维护良好的业务术语表或数据字典……查看详情

    发布时间:2018.12.27来源:亿信华辰浏览量:144次

  • 提高企业数据质量能做些什么?

    提高企业数据质量能做些什么?

    如今,我们生活在数据时代,各种数字化正在实实在在的改变着企业的日常运营,我们的生活、工作、学习,现在都离不开数据,对于企业来说,数据就是……查看详情

    发布时间:2019.11.01来源:知乎浏览量:149次

  • 企业数据治理到底怎么做?

    企业数据治理到底怎么做?

    数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值……查看详情

    发布时间:2019.08.30来源:知乎浏览量:152次

  • 数据资产管理方案之如何让数据化为价值

    数据资产管理方案之如何让数据化为价值

    数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。主要分为以下三点:1、……查看详情

    发布时间:2020.08.14来源:知乎浏览量:204次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议