数据治理标准:数据质量六大评价标准

发布时间:2022.03.10来源:小亿浏览量:1746次标签:数据治理

一、什么是数据质量与管理?

众所周知,大数据建设的目标是为了融合组织数据,增加组织的洞察力和竞争力,实现业务创新和产业升级。因此,数据是企业数字化转型的核心要素,而数据能发挥价值的大小取决于其数据的质量高低。

数据质量指在业务环境下,数据符合数据消费者的使用目的,满足业务场景具体的需求。数据质量包含两个方面:数据的过程质量和数据自身的质量。数据的过程质量就是数据的使用过程符合标准规范,比如数据存储:数据是否被安全的存储到了合适的介质上,能够保证数据不受外来因素的破坏。除此之外还包括获取、传输、应用和删除等数据生命周期的各个阶段。数据自身的质量指数据必须真实准确地反映实际发生的业务,任何业务操作的数据都没有被遗漏,数据存在各种约束条件,这种约束条件不能自相矛盾等等。

数据质量管理指对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平确保数据质量的提升。数据质量管理是一个集方法论、管理、技术和业务为一体的解决方案,是一个不断循环的管理过程。一方面反映出数据质量的重要性以及数据质量工作的零散性和琐碎性;另一方面也反映出企业数据很难一次性就达到使用的标准规范,毕竟数据治理是一个相对漫长的过程。

1646894720(1).jpg

二、数据质量评价标准

完整性:完整性可以从数据集完整性,架构完整性,属性完整性三个层面来理解。其中,数据集完整性是指数据集中应该出现而没有出现的数据成员的程度;架构完整性是指数据架构的实体和属性没有缺失的程度;属性完整性是指一张表中的一列没有缺失的程度,或者对于无效属性的度量。

准确性:用于描述数据是否正确。通常准确性是个综合性指标,由多个二级指标组成,二级指标需要通过业务规则先将错误数据定义出来,进而进行计算。

规范性:指数据符合数据模型、数据标准、元数据、业务规则或权威参考数据的程度。在实践中,通常如果企业在制定相关标准规范的时候考虑了国标和行业惯例,并且在实际落地时也进行了良好的管控,则规范性大部分都可满足,不需要额外定量测量。

一致性:一致性也可以从形式一致性、参照一致性、元素一致性三个视角来看。形式一致性,通常不做必须检查的要求,根据实际业务需求来判断;参照一致性是与值域表中的值不匹配的行数;元素一致性是指如城市名字和邮政编码应该是一致的,输入邮编就能自动匹配正确对应的城市名字。

时效性:需要用到输入时间、发布时间、敏感性指数、年限、波动时长等指标。这类复杂指标通常在企业里不会计算,通常用数据年龄就足够了。

可访问性:衡量获取数据的难易程度,强调了时间的重要性。这个指标权衡了用户需要数据的时间和提供数据所需的时间。如果一个数据消费者需要近5天的数据,而获取它也需要五天的时间,那么大概率这个数据对这位数据消费者是无效的。

三、睿治数据质量管理平台的作用

亿信华辰睿治数据治理平台的数据质量管理模块以全面质量管理PDCA循环管理方法为指导,充分结合国内数据质量管理工作的特点,运用数据挖掘、元数据管理、工作流、数据分析、评分卡、可视化等技术最终帮助企业和政府建立数据质量管理体系,全面提升数据的规范性、完整性、一致性、及时性、逻辑性等,降低数据管理成本,减少因数据不可靠导致的决策偏差和损失。

1、发现数据质量问题

灵活定义多模型质检方案,多点监测、多模型质检方案,高效调度,并发和串行处理相结合,性能高效,只需2分30秒,便可完成20条规则百万级数据的质量检查。

2、构建数据质量规则库

定义数据验证方法,内嵌空值检查、值域检查等13种检查规则,基本覆盖目前数据质量相关问题。

3、数据质量全流程管理

提供从质量监控、标准定义、质量分析、绩效评估、重大问题及时告警、质量报告、流程整改发起、系统管理等数据质量管理全过程的功能,不仅能发现问题、还能将问题分发给数据负责人、管理者,在线跟踪问题处理进展。

4、出具全面的“体检报告”

内置常规质检分析报告,实时可视化呈现质检结果,质检结果模型灵活扩展,充分利用了BI工具的分析展现能力,提供图文并茂的质量检查结果报告。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 谷歌首席决策科学家:30篇文章通关数据科学与人工智能

    谷歌首席决策科学家:30篇文章通关数据科学与人工智能

    谷歌首席决策科学家(Chief Decision Scientis)凯西柯兹科夫(Cassie Kozyrkov)在2018年非常高产,……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:88次

  • 说到数据治理,我们不得不要谈到的要素和落地方法

    说到数据治理,我们不得不要谈到的要素和落地方法

    据戴尔易安信最新调查显示:全球大多数企业现已认识到数据的价值,受管理的平均数据量从2016年的1.45PB增加至2018年的9.70PB……查看详情

    发布时间:2020.06.29来源:CSDN浏览量:130次

  • 2019年三种降低公司数据风险的方法

    2019年三种降低公司数据风险的方法

    企业家是自然风险承担者,风险是发展业务的必要条件。但是,一些风险不在商业领袖的控制范围之内,因此必须考虑这些外部因素,以确保企业的整体寿……查看详情

    发布时间:2019.01.03来源:数据治理浏览量:99次

  • 数据治理推动业务价值并降低风险

    数据治理推动业务价值并降低风险

    治理推动业务价值并降低风险 数据分析治理是你需要把你的数据转化为创造竞争优势,并帮助您的宝贵商业资产的保险EVOLVE您的组织。……查看详情

    发布时间:2018.11.16来源:互联网浏览量:117次

  • 数据治理:推动结果的引擎

    数据治理:推动结果的引擎

    组织成功取决于某些与共同业务目标一致的构建块。这些构建块包括业务活动,数据和分析。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:136次

  • 我国数据资产管理的现状

    我国数据资产管理的现状

    我国数据资产管理市场发展的主要推动来自政府和大型互联网公司。在国家层面上,正在以政务信息和政府数据管理为切入口,由上至下地推动数据资产管……查看详情

    发布时间:2020.09.11来源:知乎浏览量:192次

  • 如何搭建数据质量管理平台

    如何搭建数据质量管理平台

    数据往往在一个企业是相当于一个重要资产,企业在经营的过程中也会积累不少各类数据,这类数据后期也可通过归纳、提炼从而进行深度挖掘分析,给企……查看详情

    发布时间:2019.07.30来源:知乎浏览量:120次

  • 关注:2019年大数据的10大发展趋势

    关注:2019年大数据的10大发展趋势

    如今,人们寻求获得更多的数据有着充分的理由,因为数据分析推动了数字创新。然而,将这些庞大的数据集转化为可操作的洞察力仍然是一个难题。而那……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:102次

  • 大数据治理平台建设过程

    大数据治理平台建设过程

    分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:272次

  • 用于指导金融行业开展大数据基础平台建设技术类标准

    用于指导金融行业开展大数据基础平台建设技术类标准

    技术类标准用于指导金融行业开展大数据基础平台建设。大数据技术本身涉及内容广泛,既包含大数据平台本身的基础软件和各类功能组件,又包括基于业……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:137次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议