数据质量评估体系主要参考以下5个指标

发布时间:2019.11.07来源:知乎浏览量:26次标签:数据治理

数据质量评估体系主要参考以下指标:
数据完整性
数据准确性
数据有效性
数据时效性
数据一致性

依据以上指标,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。


数据质量评估具体检测的内容
数据完整性检测
完整性,描述数据信息缺失的程度,是数据质量中最基础的一项评估标准。数据缺失的情况可以分为数据信息记录缺失和字段信息记录缺失。数据完整性检测的步骤是
1、对于数据信息记录缺失的检测,可以通过对比源库上的表数据量和目的库上对应表的数据量来判断数据是否存在缺失。
2、对于字段信息记录缺失的检测,选择需要进行完整性检查的字段,计算该字段中空值数据的占比,通常来说表的主键及非空字段空值率为0%。空值率越小说明字段信息越完善,空值率越大说明字段信息缺失的越多。

数据准确性检测
准确性,用于描述一个值与它所描述的客观事物的真实值之间的接近程度,通俗来说就是指数据记录的信息是否存在异常或错误。例如业务员在上报系统上填写客户信息时,手误输错了某一信息,造成了数据库里存在的信息与客观事实不一样。数据准确性的检测较为困难,一般情况下很难解决。在某些特定的情况下,例如性别,年龄,出生日期,籍贯等信息可以通过校验身份证号来检测,前提是确保身份证号码是正确的。

数据有效性检测
有效性,描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等。数据有效性检测的步骤是用户选择需要进行有效性检测的字段,针对每个字段设定有效性规则。有效性规则包括类型有效、格式有效和取值有效等。类型有效检测字段数据的类型是否符合其定义,例如可以通过求和来判断是否是数值型,通过时间操作来判断是否是时间类型。格式有效性检测可以通过正则表达式来判断数据是否与其定义相符。取值有效检测则通过计算最大最小值来判断数据是否在有效的取值范围之内。

数据时效性检测
时效性,是指信息仅在一定时间段内对决策具有价值的属性。数据从生成到录入数据库存在一定的时间间隔,若该间隔较久,就可能导致分析得出的结论失去了借鉴意义。例如当天的交易数据生成后没有及时的录入数据库或者源库与目的库之间的同步延迟,则会导致统计结果和真实结果存在一定误差。

数据一致性检测
把待检测的表作为主表,首先用户确定一致性检测的主表字段,然后选择需要给定检测的从表和从表字段,设置好主表和从表之间的关联项,关联项可以是多个字段,但是关联项必须是拥有匹配值的相似字段。匹配关联之后检查主表和从表相同或者类似字段字段值是否一致。

数据质量评估流程
数据质量的评估流程首先确定要检测的数据质量指标和评估规则,然后编写相应的 SQL 脚本来检测分析数据,最后计算满足各个规则的数据的百分比得分。系统的综合得分的计算可以通过把每条规则的得分计算出来,然后综合后取平均值,但更为合理的方法就是可以把每条规则的得分按照给定的权重进行评价,做出一个合理的数据质量评价等级。由用户规定每个检测规则的权重,做出一个权重方案,然后按照各个检测规则的权重进行整体的计算统计,得到一个合理的数据质量评估得分。

下面介绍一款数据质量管理平台来解决数据质量问题
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据治理——元数据是关键

    大数据治理——元数据是关键

    在大数据时代,当数据以多种格式分散在整个企业中并来自许多来源时,需要一种新的数据治理方法。……查看详情

    发布时间:2018.12.03来源:数据管理浏览量:19次

  • 一文说清数据资产

    一文说清数据资产

    为什么说数据是资产何为数据资产,首页我们先了解一下数据到底是什么?按照一般的定义,数据就是数值,是通过我们的观察、实验和计算得出的结果。……查看详情

    发布时间:2020.07.17来源:CSDN浏览量:15次

  • 数据资产管理直面企业痛点

    数据资产管理直面企业痛点

    企业日常经营活动中积累的大量数据,除了支持业务流程运转之外,越来越多地被用于帮助企业提升管理决策效率、实现价值挖掘和业务创新。企业日常经……查看详情

    发布时间:2020.09.11来源:知乎浏览量:28次

  • 云,基础设施现代化和数据治理定义了2019年的IT成功

    云,基础设施现代化和数据治理定义了2019年的IT成功

    随着新兴数据技术的优先事项和采用不断升级,IT正在发生变化,挑战也在不断增加。……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:23次

  • 元数据:数据治理的燃料

    元数据:数据治理的燃料

    企业渴望从可提供竞争优势的数据中获取洞察力。实现这一目标的最常见障碍是数据质量差。如果输入到预测算法的数据是“脏的”(具有丢失或无效的值……查看详情

    发布时间:2019.08.02来源:知乎浏览量:16次

  • 数据交换服务组件介绍

    数据交换服务组件介绍

    数据交换服务组件,在遵循一定的交换策略条件下进行数据交换及消息传递,支持数据资源在不同单位、不同区域的快速交换和共享,提供配置工具生成交……查看详情

    发布时间:2020.08.12来源:知乎浏览量:23次

  • 企业架构组织的创新能力如何?

    企业架构组织的创新能力如何?

    回想一下最新的企业架构文章,博客文章,甚至是你读过的职位描述,并算一下至少一次没有提到“创新”的内容?我猜测,“创新”往往被作为有效企业……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:28次

  • 数据治理:指定您的业务战略

    数据治理:指定您的业务战略

    数据治理是作为一个重要的业务计划,治理需要政策,所以在进行治理的时候就需要通过多方协调找到最适合自身组织的治理方法。 ……查看详情

    发布时间:2019.09.04来源:知乎浏览量:14次

  • 数据治理运营:团队

    数据治理运营:团队

    这是关于数据治理运作的两部分系列的第二部分。“ 数据治理运作:差距 ”系列的第一部分讨论了需求是如何产生的,数据治理运营所需的一些主要原……查看详情

    发布时间:2018.11.14来源:Jayakumar Rajaretnam浏览量:23次

  • 为您的数据治理策略选择一个更聪明的比喻

    为您的数据治理策略选择一个更聪明的比喻

    组织希望“数据驱动”,其要点是他们希望人们使用数据来做出决策。领导们知道太多的人组成的东西。每一……查看详情

    发布时间:2019.01.14来源:亿信华辰浏览量:13次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议