数据质量六大评价标准是什么
发布时间:2022.03.28来源:小亿浏览量:5322次标签:数据治理
随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。
一、数据质量六大评价标准
一致性:一致性是指数据是否遵循了统一的规范,数据集合是否保持了统一的格式。
完整性:完整性指的是数据信息是否存在缺失的状况,数据缺失的情况可能是整个数据记录缺失,也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值就会大大降低,也是数据质量更为基础的一项评估标准。
及时性:及时性是指数据从产生到可以查看的时间间隔,也叫数据的延时时长。及时性对于数据分析本身要求并不高,但如果数据分析周期加上数据建立的时间过长,就可能导致分析得出的结论失去了借鉴意义。
准确性:准确性是指数据记录的信息是否存在异常或错误。和一致性不一样,存在准确性问题的数据不仅仅只是规则上的不一致。更为常见的数据准确性错误就如乱码。其次,异常的大或者小的数据也是不符合条件的数据。
有效性:对于数据的值、格式要求符合数据定义或业务定义的要求,如某些电话、邮箱的格式。
唯一性:针对某个数据项或某组数据,没有重复的数据值。值必须是唯一的如ID类数据。
二、企业面临数据质量问题
数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。
1)管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。
2)流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节。
3)技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。
4)信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。
三、如何提高数据质量
亿信数据质量管理平台以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。
1)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。
2)包含丰富的质量评价方法,并且易于扩展。系统支持数十种质量评价算法技术,满足业务系统运行、数据中心建设、数据治理过程中各类规则的定义,并可实现跨数据源的对比分析;支持通过XML扩展,可完全适应企业未来的数据质量管理需求的变化。
3)采用全导航交互式设计界面,技术门槛低。不管是规则定义还是流程管理都无需编写sql或代码,通过图形化界面进行简单配置即可,使得非技术用户也能对定义过程和定义结果一目了然。
4)智能数据质量检查调度;通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。
-
世界各地的组织如何处理数据治理
在2019年G20大阪峰会召开的同时,我很幸运能够在整个六月的整个月里在东京办公室工作。这是一个有趣的事件,引起我注意的主要议题之一是“……查看详情发布时间:2019.07.11来源:知乎浏览量:74次
-
企业大数据治理的五个核心要素
当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情发布时间:2019.08.20来源:知乎浏览量:62次
-
方法论:如何从0到1搭建企业级主数据管理平台
企业主数据是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业……查看详情发布时间:2020.12.04来源:知乎浏览量:126次
-
数据资产管理直面企业痛点
企业日常经营活动中积累的大量数据,除了支持业务流程运转之外,越来越多地被用于帮助企业提升管理决策效率、实现价值挖掘和业务创新。企业日常经……查看详情发布时间:2020.09.11来源:知乎浏览量:58次
-
区块链和AI如何帮助掌握数据管理
主数据很容易成为企业拥有的最重要的资产之一。随着数字化的不断发展和第四次工业革命的到来,主数据的价值和主数据管理的重要性才会增长。在我们……查看详情发布时间:2019.07.11来源:福布斯浏览量:53次
-
了解变更治理与数据管理实践
组织实施变革,为内部利益相关者或股东创造价值和利益。通常,价值创造只不过是在优化风险的同时享受理想资源成本带来的好处。……查看详情发布时间:2019.03.07来源:亿信华辰浏览量:82次
-
银行自身要提升数据治理能力
数字经济对金融服务的模式也提出了新的要求,银行必须依托科技支撑,加快和深化数字化转型,带动风控模式的改革创新。银行还需要着力于构建其自身……查看详情发布时间:2019.10.29来源:知乎浏览量:103次
-
SAP利用企业信息管理产品组合的更新推进数据治理和信任
对SAP主数据治理和SAP Agile数据准备应用程序和SAP数据服务软件的更新提供了现代化和全面的功能,可帮助企业轻松,信任和安全地为……查看详情发布时间:2018.12.21来源:SAP浏览量:75次