数据质量包含的要素有哪几点

发布时间:2022.02.17来源:小亿浏览量:637次标签:数据治理

数据是企业最有价值的资产之一,越来越多的企业认识到了数据的重要性。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公司的竞争力,在经济动荡时期立于不败之地。但数据在为企业带来业务的同时也带来了一定的风险来源,低质量数据往往会导致错误的业务决策。能够为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提。有了普遍和深入的数据质量,企业就可以随时信任所有数据,满足所有需要。

数据质量评估标准

规范性:用于度量哪些数据未按统一格式存储。

完整性:用于度量哪些数据不可用或者哪些数据丢失了。

准确性:用于度量哪些数据是超期的,或者哪些数据和信息是不正确的。

一致性:用于度量哪些数据的值或属性在信息含义上是冲突的。 

关联性:用于度量哪些关联的数据未建立索引或者缺失。

唯一性:用于度量数据的哪些属性是重复的或者哪些数据是重复数据。

数据质量问题的来源

数据质量问题按照来源和具体原因,可以分为技术、信息、管理、流程四个问题域。

技术问题域

技术类问题产生的直接原因是技术实现上的某种缺陷,由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据获取、数据创建、数据装载、数据传递、数据使用、数据维护等方面的内容。

信息问题域

信息类问题是由于对数据度量标准以及数据本身的描述理解的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:数据度量的各种性质得不到保证和变化频度不恰当、元数据描述及理解错误等。

管理问题域

管理类问题是指由于管理机制方面及人员素质的原因造成的数据质量问题,如培训和奖励、人员管理等方面的措施不当导致的管理缺失。

流程问题域

流程类问题是指由于人工操作流程和系统作业流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、装载流程、传递流程、使用流程、维护流程和稽核流程等各环节。

企业应该如何提升数据质量

亿信华辰自主研发的数据质量管理平台EsDataClean,一站式轻松搞定质检全过程,能够有效地管理与掌控数据质量,提高业务数据的正确性、适时性、完全性、一致性与相关性。

智能全面的检查调度

亿信华辰数据质量管理平台提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。可通过事先定义好的规则、调度时间、工作流程、预警条件,让质检方案自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。当问题数据超过阀值时,可及时告警,让用户及时了解到数据的检查结果,避免重大问题的延误。

图片1.png

智能推进问题数据整改

智能数据质量检查调度;通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。

重大问题及时告警;对质量检查的结果提供多方式(界面、邮件、短信)告警,让用户及时了解到系统检查结果,避免重大问题的延误。

一键生成质量报告和评估结果;系统通过数理统计、数据分析等技术,根据事先定义好的模板,自动生成质量报告和绩效考评结果。

图片2.png

完善丰富的数据质量评估体系

亿信数据质量管理平台(EsDataClean)包含丰富的质量评价方法,并且易于扩展。系统支持数十种质量评价算法技术,满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义,并可实现跨数据源的对比分析;支持通过XML扩展,可完全适应企业未来的数据质量管理需求的变化。

图片3.png

详尽灵活的质检结果

自动生成每个质检方案的明细结果表,并允许用户根据分析需要对明细结果表字段进行自定义,从而为用户进行丰富多样的数据质量分析提供数据。

支持整改计划管理,保证检查出来的数据质量问题能落实到地区、部门、个人,从而让数据质量问题真正得到解决。

支持问题数据的智能修复,可以对空值、值域、规范(身份证、日期、全半角)这些规则进行修复。

图片5.png

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 为何数据治理如此重要?

    为何数据治理如此重要?

    如我们所见,数据正在以前所未有的速度增长,IDC曾发布报告称,到2025年,全球数据圈预计将增长至175 ZB。如何在这样一个数据大爆发……查看详情

    发布时间:2020.04.09来源:知乎浏览量:141次

  • 什么是数据治理?为何数据治理如此重要?

    什么是数据治理?为何数据治理如此重要?

    如我们所见,数据正在以前所未有的速度增长,IDC曾发布报告称,到2025年,全球数据圈预计将增长至175 ZB。如何在这样一个数据大爆发……查看详情

    发布时间:2020.03.26来源:知乎浏览量:113次

  • 数据安全—“无悔”的正确步骤

    数据安全—“无悔”的正确步骤

    谈到数据安全性,你必定不希望有遗憾。我们从马克扎克伯格那里知道了数据安全正在成为互联网公司的头等大事。正如我们知道的,这位首席执行官正处……查看详情

    发布时间:2019.06.19来源:知乎浏览量:104次

  • 关于数据标准认识的几个误区

    关于数据标准认识的几个误区

    数据标准这个词,最早是在金融行业,特别是银行业的数据治理中开始使用的。数据标准工作一直是数据治理中的重要基础性内容。但是对于数据标准,不……查看详情

    发布时间:2019.12.20来源:知乎浏览量:113次

  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    而互联网、大数据、人工智能等技术手段应用的基础是数据。由此,我们看出围绕数据生产要素,构建科学的数据治理规则体系,是政府治理体系和治理能……查看详情

    发布时间:2020.04.09来源:中国电子报浏览量:124次

  • 政府数据治理的国际经验与启示

    政府数据治理的国际经验与启示

    政府数据治理是当前政府信息管理研究的热点问题,对发达国家政府数据治理经验的总结有助于把握政府数据治理的普遍规律,推动我国政府数据的开发利……查看详情

    发布时间:2018.10.23来源:信息资源管理学报浏览量:169次

  • 物联网中的安全与数据治理到底怎么做?

    物联网中的安全与数据治理到底怎么做?

    如果企业和公共部门机构要启动成功的物联网项目,确保物联网系统和智能设备的用户保持安全,这要求他们的数据受到保护和谨慎管理至关重要。用户的……查看详情

    发布时间:2019.06.21来源:知乎浏览量:97次

  • 利用数据治理重新定义数据架构

    利用数据治理重新定义数据架构

    数据和数据管理的重要性,价值和责任正在迅速增加。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:150次

  • 颠覆性变革即将到来,金融行业大数据治理该怎么做?

    颠覆性变革即将到来,金融行业大数据治理该怎么做?

    说到大数据应用所带来的颠覆性变革,没有一个行业比金融行业更加明显。从客户画像到精准营销,从风险管控到运营优化,几乎所有的业务环节都与大数……查看详情

    发布时间:2018.10.10来源:it168浏览量:120次

  • 大数据时代监管安全的“智慧大脑”

    大数据时代监管安全的“智慧大脑”

    在这里,监控民警不仅是监狱监管安全防线上的眼睛、耳朵、嘴巴,还是视频监控、固证锁证、指挥联动、应急处突的“智慧”大脑。这里就是监狱监管安……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:122次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议