数据质量监控步骤及方法

发布时间:2020.08.31来源:CSDN浏览量:99次标签:数据治理

随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。
数据质量监控
大数据处理中数据质量监控从哪几个方面进行?

数据容量(Volume):数据的大小决定所考虑的数据的价值的和潜在的信息;
数据种类(Variety):数据类型的多样性;
数据速度(Velocity):指获得数据的速度;
数据可变性(Variability):妨碍了处理和有效地管理数据的过程;
数据真实性(Veracity):数据的质量;
数据复杂性(Complexity):数据量巨大,来源多渠道。

数据质量监控怎么做?

四大关注点
先简单地聊一下数据质量需要关注的四个点:即完整性、准确性、一致性和及时性。这四个关注点,会在我们的数据处理流程的各个环节有所体现。

一、完整性
完整性是指数据的记录和信息是否完整,是否存在缺失的情况。数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失,两者都会造成统计结果不准确,所以说完整性是数据质量最基础的保障。
简单来讲,如果要做监控,需要考虑两个方面:一是,数据条数是否少了,二是,某些字段的取值是否缺失。完整性的监控,多出现在日志级别的监控上,一般会在数据接入的时候来做数据完整性校验。

二、准确性
准确性是指数据中记录的信息和数据是否准确,是否存在异常或者错误的信息。
直观来讲就是看数据是否上准确的。一般准确性的监控多集中在对业务结果数据的监控,比如每日的活跃、收入等数据是否正常。

三、一致性
一致性是指同一指标在不同地方的结果是否一致。
数据不一致的情况,多出现在数据系统达到一定的复杂度后,同一指标会在多处进行计算,由于计算口径或者开发人员的不同,容易造成同一指标出现的不同的结果。

四、及时性
在确保数据的完整性、准确性和一致性后,接下来就要保障数据能够及时产出,这样才能体现数据的价值。
及时性很容易理解,主要就是数据计算出来的速度是否够快,这点在数据质量监控中可以体现在监控结果数据数据是否在指定时间点前计算完成。

数据质量监控之所以难做,是因为在数据的各个环节都会出现数据质量的问题。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。好好把握这几个点才能更好地进行数据质量监控。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 统一数据交换平台解决方案

    统一数据交换平台解决方案

    随着我国信息化工程建设的迅速发展,各政府部门及各大企业内部都建立了各自的信息处理系统。这些信息系统往往是在不同时期、由不同厂商、在不同平……查看详情

    发布时间:2020.08.07来源:知乎浏览量:100次

  • 为什么数据治理这么重要?

    为什么数据治理这么重要?

    一个科学合理的数据治理规范,是数据安全与价值的制度保障,是数据产业健康发展,甚至是国家人工智能战略实施不可或缺的前提条件。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:56次

  • 中国地方政府数据治理机构的初步研究:现状与模式

    中国地方政府数据治理机构的初步研究:现状与模式

    立数据治理机构是中国地方政府迎接数字时代的一项重要治理创新。本文对近年来先后成立的地方政府数据治理机构的发展现状进行了详细梳理,对其隶属……查看详情

    发布时间:2019.02.25来源:电子政务网浏览量:83次

  • 敏捷/精益数据治理最佳实践

    敏捷/精益数据治理最佳实践

    数据治理 的目标 是确保组织内的质量,可用性,完整性,安全性和可用性。你对此的看法取决于你。许多传统的数据治理方法似乎在实践中都很困难,……查看详情

    发布时间:2018.11.20来源:数据治理浏览量:71次

  • 数据治理的六大优势

    数据治理的六大优势

    重要的是,我们认识到数据治理(DG)的优势超出了通用数据保护法规(GDPR)的要求。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:118次

  • 如何确定数据治理工具与数据中心及信息系统的关系

    如何确定数据治理工具与数据中心及信息系统的关系

    通过实施数据治理工具,可以让数据质量变得更好,发掘数据资产的商业价值,实现如下目标:对业务的支撑;降低经营风险、安全保障;对决策进行支持……查看详情

    发布时间:2021.04.30来源:亿信数据治理知识库浏览量:95次

  • 国内数据治理平台厂商介绍

    国内数据治理平台厂商介绍

    睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情

    发布时间:2019.09.19来源:知乎浏览量:108次

  • “五方面发力”提升银行业的数据治理能力

    “五方面发力”提升银行业的数据治理能力

    随着英国、欧盟等国家和地区纷纷推行开放银行模式以及相关监管政策逐渐落地,开放银行正成为世界银行业发展的新趋势,备受关注。……查看详情

    发布时间:2019.11.29来源:知乎浏览量:82次

  • 大数据治理的核心要素有哪些

    大数据治理的核心要素有哪些

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情

    发布时间:2019.10.21来源:知乎浏览量:94次

  • 2021 年 10 大数据治理工具

    2021 年 10 大数据治理工具

    数据治理工具被定义为帮助创建和维护一组结构化策略、程序和协议的过程的工具,这些策略、程序和协议控制企业数据的存储、使用和管理方式。本文将……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理知识库浏览量:543次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议