数据质量包含的要素有哪几点

发布时间:2022.02.17来源:小亿浏览量:661次标签:数据治理

数据是企业最有价值的资产之一,越来越多的企业认识到了数据的重要性。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公司的竞争力,在经济动荡时期立于不败之地。但数据在为企业带来业务的同时也带来了一定的风险来源,低质量数据往往会导致错误的业务决策。能够为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提。有了普遍和深入的数据质量,企业就可以随时信任所有数据,满足所有需要。

数据质量评估标准

规范性:用于度量哪些数据未按统一格式存储。

完整性:用于度量哪些数据不可用或者哪些数据丢失了。

准确性:用于度量哪些数据是超期的,或者哪些数据和信息是不正确的。

一致性:用于度量哪些数据的值或属性在信息含义上是冲突的。 

关联性:用于度量哪些关联的数据未建立索引或者缺失。

唯一性:用于度量数据的哪些属性是重复的或者哪些数据是重复数据。

数据质量问题的来源

数据质量问题按照来源和具体原因,可以分为技术、信息、管理、流程四个问题域。

技术问题域

技术类问题产生的直接原因是技术实现上的某种缺陷,由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据获取、数据创建、数据装载、数据传递、数据使用、数据维护等方面的内容。

信息问题域

信息类问题是由于对数据度量标准以及数据本身的描述理解的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:数据度量的各种性质得不到保证和变化频度不恰当、元数据描述及理解错误等。

管理问题域

管理类问题是指由于管理机制方面及人员素质的原因造成的数据质量问题,如培训和奖励、人员管理等方面的措施不当导致的管理缺失。

流程问题域

流程类问题是指由于人工操作流程和系统作业流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、装载流程、传递流程、使用流程、维护流程和稽核流程等各环节。

企业应该如何提升数据质量

亿信华辰自主研发的数据质量管理平台EsDataClean,一站式轻松搞定质检全过程,能够有效地管理与掌控数据质量,提高业务数据的正确性、适时性、完全性、一致性与相关性。

智能全面的检查调度

亿信华辰数据质量管理平台提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。可通过事先定义好的规则、调度时间、工作流程、预警条件,让质检方案自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。当问题数据超过阀值时,可及时告警,让用户及时了解到数据的检查结果,避免重大问题的延误。

图片1.png

智能推进问题数据整改

智能数据质量检查调度;通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。

重大问题及时告警;对质量检查的结果提供多方式(界面、邮件、短信)告警,让用户及时了解到系统检查结果,避免重大问题的延误。

一键生成质量报告和评估结果;系统通过数理统计、数据分析等技术,根据事先定义好的模板,自动生成质量报告和绩效考评结果。

图片2.png

完善丰富的数据质量评估体系

亿信数据质量管理平台(EsDataClean)包含丰富的质量评价方法,并且易于扩展。系统支持数十种质量评价算法技术,满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义,并可实现跨数据源的对比分析;支持通过XML扩展,可完全适应企业未来的数据质量管理需求的变化。

图片3.png

详尽灵活的质检结果

自动生成每个质检方案的明细结果表,并允许用户根据分析需要对明细结果表字段进行自定义,从而为用户进行丰富多样的数据质量分析提供数据。

支持整改计划管理,保证检查出来的数据质量问题能落实到地区、部门、个人,从而让数据质量问题真正得到解决。

支持问题数据的智能修复,可以对空值、值域、规范(身份证、日期、全半角)这些规则进行修复。

图片5.png

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理领军企业在中国

    数据治理领军企业在中国

    中国在大数据领域做得不错。中国人口多,数据就多,数据多就会呼唤更先进的数据处理技术,呼唤更多的数据应用场景,这是中国在数据方面得天独厚的……查看详情

    发布时间:2020.07.31来源:知乎浏览量:117次

  • 金融行业数据治理与安全防护解决方案

    金融行业数据治理与安全防护解决方案

    在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法用途等数据泄漏的安全风险。一方面,数据处理过……查看详情

    发布时间:2019.09.30来源:CSDN浏览量:171次

  • 大数据在媒体行业的应用——《企业大数据实践路线》之二

    大数据在媒体行业的应用——《企业大数据实践路线》之二

    新闻工作者先产生一个内容,形式可以是文字的、视频的等,无论你是编辑还是记者或者说是美编,或电视台的采编人员等等所生产的内容都会存入到业务……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:123次

  • 如何制定数据标准

    如何制定数据标准

    企业的数据标准来源非常丰富,有外部的监管要求,行业的通用标准,同时也必须考虑到企业内部数据的实际情况,梳理其中的业务指标、数据项、代码等……查看详情

    发布时间:2020.11.13来源:知乎浏览量:149次

  • 使用数据治理指导数据传输

    使用数据治理指导数据传输

    在过去几年中,我们一直迷恋于大量数据以及我们创建和收集新数据类型和来源的能力。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:143次

  • 银行金融机构如何做好数据治理

    银行金融机构如何做好数据治理

    数据治理是用于描述给定组织中数据的所有过程和管理的术语,包括所述数据的质量,保护和使用。由于所持数据的性质,金融服务公司可能特别需要治理……查看详情

    发布时间:2019.08.16来源:知乎浏览量:174次

  • 你认为你知道什么是数据治理吗?

    你认为你知道什么是数据治理吗?

    数据治理是当今一个相对较新且非常热门的话题。因此,毫不奇怪,对数据治理的定义有多种不同的定义。大多数这些定义都是自我服务……查看详情

    发布时间:2018.11.19来源:丹尼尔舒勒浏览量:110次

  • 如何降低BI系统建设风险?数据治理告诉你答案

    如何降低BI系统建设风险?数据治理告诉你答案

    如何降低BI系统建设风险?如何更好地管理和控制数据,做好数据体系建设,而非打造一个又一个割裂孤立的系统?这其中数据分析与数据治理双翼并行……查看详情

    发布时间:2021.03.23来源:亿信数据治理研究院浏览量:699次

  • 良好数据治理的6步路线图

    良好数据治理的6步路线图

    今年早些时候,我们发现许多数据科学家将大部分时间花在“数据管理员”上 - 即分类和清理数据,而不是将其分析为可操作的见解。……查看详情

    发布时间:2019.04.03来源:亿信华辰浏览量:219次

  • 打开大数据的正确方式——做减法

    打开大数据的正确方式——做减法

    随着数字技术的广泛应用,原本的新奇感已经荡然无存。创新领域内积年累月的争夺不断攫取着人们的时间和注意力,反而令用户感到信息过载、不堪重负……查看详情

    发布时间:2019.04.09来源:亿信华辰浏览量:134次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议