数据质量包含的要素有哪几点
发布时间:2022.02.17来源:小亿浏览量:482次标签:数据治理
数据是企业最有价值的资产之一,越来越多的企业认识到了数据的重要性。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公司的竞争力,在经济动荡时期立于不败之地。但数据在为企业带来业务的同时也带来了一定的风险来源,低质量数据往往会导致错误的业务决策。能够为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提。有了普遍和深入的数据质量,企业就可以随时信任所有数据,满足所有需要。
数据质量评估标准
规范性:用于度量哪些数据未按统一格式存储。
完整性:用于度量哪些数据不可用或者哪些数据丢失了。
准确性:用于度量哪些数据是超期的,或者哪些数据和信息是不正确的。
一致性:用于度量哪些数据的值或属性在信息含义上是冲突的。
关联性:用于度量哪些关联的数据未建立索引或者缺失。
唯一性:用于度量数据的哪些属性是重复的或者哪些数据是重复数据。
数据质量问题的来源
数据质量问题按照来源和具体原因,可以分为技术、信息、管理、流程四个问题域。
技术问题域
技术类问题产生的直接原因是技术实现上的某种缺陷,由于具体数据处理的各技术环节的异常造成的数据质量问题。数据质量问题的产生环节主要包括数据获取、数据创建、数据装载、数据传递、数据使用、数据维护等方面的内容。
信息问题域
信息类问题是由于对数据度量标准以及数据本身的描述理解的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:数据度量的各种性质得不到保证和变化频度不恰当、元数据描述及理解错误等。
管理问题域
管理类问题是指由于管理机制方面及人员素质的原因造成的数据质量问题,如培训和奖励、人员管理等方面的措施不当导致的管理缺失。
流程问题域
流程类问题是指由于人工操作流程和系统作业流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、装载流程、传递流程、使用流程、维护流程和稽核流程等各环节。
企业应该如何提升数据质量
亿信华辰自主研发的数据质量管理平台EsDataClean,一站式轻松搞定质检全过程,能够有效地管理与掌控数据质量,提高业务数据的正确性、适时性、完全性、一致性与相关性。
智能全面的检查调度
亿信华辰数据质量管理平台提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。可通过事先定义好的规则、调度时间、工作流程、预警条件,让质检方案自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。当问题数据超过阀值时,可及时告警,让用户及时了解到数据的检查结果,避免重大问题的延误。
智能推进问题数据整改
智能数据质量检查调度;通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。
重大问题及时告警;对质量检查的结果提供多方式(界面、邮件、短信)告警,让用户及时了解到系统检查结果,避免重大问题的延误。
一键生成质量报告和评估结果;系统通过数理统计、数据分析等技术,根据事先定义好的模板,自动生成质量报告和绩效考评结果。
完善丰富的数据质量评估体系
亿信数据质量管理平台(EsDataClean)包含丰富的质量评价方法,并且易于扩展。系统支持数十种质量评价算法技术,满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义,并可实现跨数据源的对比分析;支持通过XML扩展,可完全适应企业未来的数据质量管理需求的变化。
详尽灵活的质检结果
自动生成每个质检方案的明细结果表,并允许用户根据分析需要对明细结果表字段进行自定义,从而为用户进行丰富多样的数据质量分析提供数据。
支持整改计划管理,保证检查出来的数据质量问题能落实到地区、部门、个人,从而让数据质量问题真正得到解决。
支持问题数据的智能修复,可以对空值、值域、规范(身份证、日期、全半角)这些规则进行修复。
-
手把手系列:常用数据交换方案之Web Service接口处理法
Web Service是一个SOA(面向服务的编程)的架构,是一个平台独立的,低耦合的,基于可编程的web的应用程序,可使用开放的XML……查看详情发布时间:2020.12.29来源:知乎浏览量:74次
-
“安全”与“共享”同行,大数据正改变着世界
什么是大数据?早在2011年,世界著名咨询公司麦肯锡就曾在《大数据:下一个创新、竞争和生产力的前沿》报告中对其进行了基础定义:“大数据是……查看详情发布时间:2019.01.14来源:亿信华辰浏览量:85次
-
企业数据治理的九大要素
元数据管理致力于处理技术元数据、业务元数据、管理元数据,通过丰富的元数据分析和检核,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏……查看详情发布时间:2020.07.10来源:知乎浏览量:148次
-
为什么数据治理是数据管理的关键
如果要将数据用于战略业务决策,运营效率,增加盈利能力和增强增长,那么正确管理数据至关重要。管理不善的数据导致数据不信任,数据利用率很快就……查看详情发布时间:2019.06.18来源:知乎浏览量:59次
-
主数据管理主要管理哪些数据?
主数据主要管理多百个业务系统中共享的重要数据,比如公司组织架度构、物料编号、客户资料等等数据,国知辰机器人的主数据管理系统(MDM)能够……查看详情发布时间:2020.04.29来源:知乎浏览量:85次
-
新模型:组合投资组合管理和数据治理建议
通常,组织决定不让投资组合管理网守优先/授权所有来自治理主导的问题分析的建议。因此,创建了一个新模型,第三个存储桶。……查看详情发布时间:2019.03.29来源:亿信华辰浏览量:57次
-
数据治理“起航” 推动银行业高质量发展
银行业金融机构数据治理提上日程。近日,银监会发布《银行业金融机构数据治理指引(征求意见稿)》(以下简称《指引》),要求银行业金融机构将数……查看详情发布时间:2019.02.21来源:和讯网浏览量:76次
-
构建成功的数据治理策略
随着组织继续努力解决他们的分析过程,他们开始意识到他们需要退后一步,从头开始重新思考他们的数据策略。当他们这样做,并从一开始就通过良好的……查看详情发布时间:2019.02.27来源:亿信华辰浏览量:92次