数据质量六大评价标准是什么

发布时间:2022.03.28来源:小亿浏览量:6967次标签:数据治理

随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。

一、数据质量六大评价标准

一致性:一致性是指数据是否遵循了统一的规范,数据集合是否保持了统一的格式。

完整性:完整性指的是数据信息是否存在缺失的状况,数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值就会大大降低,也是数据质量更为基础的一项评估标准。

及时性:及时性是指数据从产生到可以查看的时间间隔,也叫数据的延时时长。及时性对于数据分析本身要求并不高,但如果数据分析周期加上数据建立的时间过长,就可能导致分析得出的结论失去了借鉴意义。

准确性:准确性是指数据记录的信息是否存在异常或错误。和一致性不一样,存在准确性问题的数据不仅仅只是规则上的不一致。更为常见的数据准确性错误就如乱码。其次,异常的大或者小的数据也是不符合条件的数据。

有效性:对于数据的值、格式要求符合数据定义或业务定义的要求,如某些电话、邮箱的格式。

唯一性:针对某个数据项或某组数据,没有重复的数据值。值必须是唯一的如ID类数据。

二、企业面临数据质量问题

数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。

1)管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。

2)流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。

3)技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。

4)信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。

图片1.png

三、如何提高数据质量

亿信数据质量管理平台以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。

1)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。

2)包含丰富的质量评价方法,并且易于扩展。系统支持数十种质量评价算法技术,满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义,并可实现跨数据源的对比分析;支持通过XML扩展,可完全适应企业未来的数据质量管理需求的变化。

3)采用全导航交互式设计界面,技术门槛低。不管是规则定义还是流程管理都无需编写sql或代码,通过图形化界面进行简单配置即可,使得非技术用户也能对定义过程和定义结果一目了然。

4)智能数据质量检查调度;通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 银行的信息科技部门做数据治理的体验

    银行的信息科技部门做数据治理的体验

    银行对于数据治理的态度:从90年代末开始我国银行业信息化之路就已经开启,到了21世纪越来越多的银行开始利用数据进行更为精准的客户营销、提……查看详情

    发布时间:2020.07.31来源:知乎浏览量:446次

  • 企业怎样建立完整的数据治理体系?

    企业怎样建立完整的数据治理体系?

    大数据智能时代,管理不再是传统的做法,一套完善的数据管理体系是企业长远要生存的必须择决。我们的生活已经离不开大数据,企业的数据管理不仅能……查看详情

    发布时间:2020.03.26来源:知乎浏览量:443次

  • 数据治理能否提升数据安全性?

    数据治理能否提升数据安全性?

    大数据技术的快速发展不断催生新的产业形态,正成为经济社会发展的新动能。在·发展数字经济、加快培育发展数据要素市场,必须把保障数据安全放在……查看详情

    发布时间:2022.03.07来源:小亿浏览量:569次

  • 数据质量包含的要素有哪几点

    数据质量包含的要素有哪几点

    数据是企业最有价值的资产之一,越来越多的企业认识到了数据的重要性。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公……查看详情

    发布时间:2022.02.17来源:小亿浏览量:943次

  • 基础数据标准 – 从制定到落实

    基础数据标准 – 从制定到落实

    标准,是旨在一定范围内维护最佳秩序,经协商一致制定并公开颁布认定、共同遵循的一种规范性要求。……查看详情

    发布时间:2019.12.20来源:知乎浏览量:613次

  • 云中的数据治理

    云中的数据治理

    IT中心,内部部署基础架构变得越来越复杂和昂贵,并且需要高技能的人力,因此企业现在将其IT和数据科学功能转移到云。云计算承诺提供低成本存……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:408次

  • 企业数据治理的坑你遇到过哪些?

    企业数据治理的坑你遇到过哪些?

    在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟……查看详情

    发布时间:2019.09.12来源:知乎浏览量:366次

  • 人工智能商业化提速 创新奇智瞄准三大场景万亿市场

    人工智能商业化提速 创新奇智瞄准三大场景万亿市场

    “接下来的AI投资就是要去跟中国各行各业进行结合,把中国的后端效率大幅改进。而这个机会将不会小于过去几年阿里、腾讯那些前端的互联网巨头所……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:389次

  • 数据交换管理—企业数据上链的起点

    数据交换管理—企业数据上链的起点

    随着数据体量的增长,大数据处理、大数据应用分析的门槛逐渐提高,社会普遍开始重视数据安全和隐私。目前,数据交换共享平台已成为政府和企业在系……查看详情

    发布时间:2020.08.11来源:知乎浏览量:428次

  • 如何实现数据治理合作交流的4点建议

    如何实现数据治理合作交流的4点建议

    数据如同工业的石油一样,成为国家的重要资源,成为推动经济社会增长和发展的重要引擎。大数据、云计算、人工智能是大势所趋,发展这些技术也是人……查看详情

    发布时间:2019.10.25来源:知乎浏览量:397次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议