数据质量六大评价标准是什么

发布时间:2022.03.28来源:小亿浏览量:6278次标签:数据治理

随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。

一、数据质量六大评价标准

一致性:一致性是指数据是否遵循了统一的规范,数据集合是否保持了统一的格式。

完整性:完整性指的是数据信息是否存在缺失的状况,数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值就会大大降低,也是数据质量更为基础的一项评估标准。

及时性:及时性是指数据从产生到可以查看的时间间隔,也叫数据的延时时长。及时性对于数据分析本身要求并不高,但如果数据分析周期加上数据建立的时间过长,就可能导致分析得出的结论失去了借鉴意义。

准确性:准确性是指数据记录的信息是否存在异常或错误。和一致性不一样,存在准确性问题的数据不仅仅只是规则上的不一致。更为常见的数据准确性错误就如乱码。其次,异常的大或者小的数据也是不符合条件的数据。

有效性:对于数据的值、格式要求符合数据定义或业务定义的要求,如某些电话、邮箱的格式。

唯一性:针对某个数据项或某组数据,没有重复的数据值。值必须是唯一的如ID类数据。

二、企业面临数据质量问题

数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。

1)管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。

2)流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。

3)技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。

4)信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。

图片1.png

三、如何提高数据质量

亿信数据质量管理平台以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。

1)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。

2)包含丰富的质量评价方法,并且易于扩展。系统支持数十种质量评价算法技术,满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义,并可实现跨数据源的对比分析;支持通过XML扩展,可完全适应企业未来的数据质量管理需求的变化。

3)采用全导航交互式设计界面,技术门槛低。不管是规则定义还是流程管理都无需编写sql或代码,通过图形化界面进行简单配置即可,使得非技术用户也能对定义过程和定义结果一目了然。

4)智能数据质量检查调度;通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?” Citizens Bank首席数据官(CDO)……查看详情

    发布时间:2018.11.14来源:Michelle Knight浏览量:112次

  • 数据安全系列(一)之大数据安全管理体系

    数据安全系列(一)之大数据安全管理体系

    信息技术的快速发展和各种IT技术的广泛应用,企业越来越多的依赖于IT技术来支撑自己业务生产的正常运转。产生的大量数据,成为企业核心资产的……查看详情

    发布时间:2019.01.10来源:亿信华辰浏览量:165次

  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    当前,数据及其技术的融合应用在政府经济调节、市场监管、社会管理、公共服务、生态环境保护等各项工作中强劲助攻、潜力无限。但由于数据是新型生……查看详情

    发布时间:2020.04.02来源:知乎浏览量:156次

  • 大数据助力经济社会发展的实践与探索

    大数据助力经济社会发展的实践与探索

    近年来,贵州省深入贯彻习近平新时代中国特色社会主义思想,抢抓获批建设国家大数据(贵州)综合试验区重要机遇,深入实施大数据战略行动,持续推……查看详情

    发布时间:2019.03.20来源:大数据浏览量:100次

  • 用大数据守护绿水青山,铸就“智慧环保”

    用大数据守护绿水青山,铸就“智慧环保”

    为了打破数据壁垒,基于亿信华辰的睿治数据治理平台和实时大数据平台PetaBase-s搭建A市生态环境大数据管理平台。……查看详情

    发布时间:2021.05.07来源:亿信华辰浏览量:172次

  • 数据仓库应该怎么建立

    数据仓库应该怎么建立

    现在的社会就是一个数据化的社会,大数据已经成为大家讨论的热门话题了,对于每个企业来说,建立自己的数据仓库已经显得非常重要了,尤其是对于新……查看详情

    发布时间:2019.07.17来源:数据仓库小编浏览量:93次

  • 红树林社会:从数字创新到数字治理

    红树林社会:从数字创新到数字治理

    这种情况就在我们身边,证明了数字化对日常生活的影响以及如何对其进行规范。……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:121次

  • 2021数据治理如何让数据产生价值

    2021数据治理如何让数据产生价值

    众所周知,2020年新冠疫情爆发以来,“健康码”已常态化的出现在大家的日常生活中,这个全民参与其中的数字化疫情防控手段背后正是“数据治理……查看详情

    发布时间:2021.04.14来源:亿信数据治理知识库浏览量:164次

  • 为什么数据标准这么重要,三个小招教你实现

    为什么数据标准这么重要,三个小招教你实现

    评价是现代社会各领域的一项经常性的工作,是科学做出管理决策的重要依据。随着人们研究领域的不断扩大,所面临的评价对象日趋复杂,如果仅依据单……查看详情

    发布时间:2020.07.17来源:CSDN浏览量:96次

  • 数据治理的战略转变

    数据治理的战略转变

    正在进行的思维方式和工具集战略转变正在改变主要思想家如何重新考虑他们的数据治理方法。治理的核心是变革管理。……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:121次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议