数据质量评估体系主要参考以下5个指标

发布时间:2019.11.07来源:知乎浏览量:352次标签:数据治理

数据质量评估体系主要参考以下指标:
数据完整性
数据准确性
数据有效性
数据时效性
数据一致性

依据以上指标,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。


数据质量评估具体检测的内容
数据完整性检测
完整性,描述数据信息缺失的程度,是数据质量中最基础的一项评估标准。数据缺失的情况可以分为数据信息记录缺失和字段信息记录缺失。数据完整性检测的步骤是
1、对于数据信息记录缺失的检测,可以通过对比源库上的表数据量和目的库上对应表的数据量来判断数据是否存在缺失。
2、对于字段信息记录缺失的检测,选择需要进行完整性检查的字段,计算该字段中空值数据的占比,通常来说表的主键及非空字段空值率为0%。空值率越小说明字段信息越完善,空值率越大说明字段信息缺失的越多。

数据准确性检测
准确性,用于描述一个值与它所描述的客观事物的真实值之间的接近程度,通俗来说就是指数据记录的信息是否存在异常或错误。例如业务员在上报系统上填写客户信息时,手误输错了某一信息,造成了数据库里存在的信息与客观事实不一样。数据准确性的检测较为困难,一般情况下很难解决。在某些特定的情况下,例如性别,年龄,出生日期,籍贯等信息可以通过校验身份证号来检测,前提是确保身份证号码是正确的。

数据有效性检测
有效性,描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等。数据有效性检测的步骤是用户选择需要进行有效性检测的字段,针对每个字段设定有效性规则。有效性规则包括类型有效、格式有效和取值有效等。类型有效检测字段数据的类型是否符合其定义,例如可以通过求和来判断是否是数值型,通过时间操作来判断是否是时间类型。格式有效性检测可以通过正则表达式来判断数据是否与其定义相符。取值有效检测则通过计算最大最小值来判断数据是否在有效的取值范围之内。

数据时效性检测
时效性,是指信息仅在一定时间段内对决策具有价值的属性。数据从生成到录入数据库存在一定的时间间隔,若该间隔较久,就可能导致分析得出的结论失去了借鉴意义。例如当天的交易数据生成后没有及时的录入数据库或者源库与目的库之间的同步延迟,则会导致统计结果和真实结果存在一定误差。

数据一致性检测
把待检测的表作为主表,首先用户确定一致性检测的主表字段,然后选择需要给定检测的从表和从表字段,设置好主表和从表之间的关联项,关联项可以是多个字段,但是关联项必须是拥有匹配值的相似字段。匹配关联之后检查主表和从表相同或者类似字段字段值是否一致。

数据质量评估流程
数据质量的评估流程首先确定要检测的数据质量指标和评估规则,然后编写相应的 SQL 脚本来检测分析数据,最后计算满足各个规则的数据的百分比得分。系统的综合得分的计算可以通过把每条规则的得分计算出来,然后综合后取平均值,但更为合理的方法就是可以把每条规则的得分按照给定的权重进行评价,做出一个合理的数据质量评价等级。由用户规定每个检测规则的权重,做出一个权重方案,然后按照各个检测规则的权重进行整体的计算统计,得到一个合理的数据质量评估得分。

下面介绍一款数据质量管理平台来解决数据质量问题
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 理论之企业数据挖掘成功之道

    理论之企业数据挖掘成功之道

    面对现在海量的、不完整的、模棱两可的数据,运用数据挖掘算法对数据进行查找,找出人们所不知道的、有实用价值的信息,这一过程就是数据挖据。随……查看详情

    发布时间:2019.05.23来源:知乎浏览量:124次

  • 数据治理的重点领域:专注于数据仓库和商业智能(BI)

    数据治理的重点领域:专注于数据仓库和商业智能(BI)

    这种类型的程序通常与特定的数据仓库,数据集市或BI工具一起出现。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:185次

  • 数据质量需求与定义

    数据质量需求与定义

    数据质量通常表现为一组具体的流程和技术,用于识别和修正数据中的错误以支持业务运行及决策支持。在银行实际中数据质量管理的应用场景主要包括数……查看详情

    发布时间:2019.11.15来源:知乎浏览量:248次

  • 避免这五大数据治​​理错误

    避免这五大数据治​​理错误

    如果您正在开始一个大数据项目,那么您可能会遇到一个或多个数据管理挑战。您就如何实施数据治理以及如何控制数据流所做出的决策可能会影响您的项……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:128次

  • 数据治理的主战场,商业智能还是数据挖掘?

    数据治理的主战场,商业智能还是数据挖掘?

    数据治理这门学问,入手极易,精通极难。说说经验吧,数据治理强调两点,一是高层支持,二是各部门广泛参与。组织内数据治理各项工作的开展都要处……查看详情

    发布时间:2019.02.21来源:知乎浏览量:149次

  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:215次

  • 解析业务数据的特征——《企业大数据实践路线》

    解析业务数据的特征——《企业大数据实践路线》

    我们今天的内容是解析业务数据的特征。我们已经知道了数据从哪里来,也知道有什么数据,现在我们需要去分析一下这些数据的特征是什么,想想能在这……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:118次

  • 数据湖中的数据管理与治理

    数据湖中的数据管理与治理

    当您转换到数据湖时,选择完全集成的数据湖泊管理平台将使您对数据充满信心,并对其进行扩展以包含越来越多的用户和有利于业务的用例。毕竟,这就……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:177次

  • 数据治理:将数据从源头进行清洗

    数据治理:将数据从源头进行清洗

    数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与……查看详情

    发布时间:2019.06.20来源:简书浏览量:184次

  • 数据治理:大学数据的分类

    数据治理:大学数据的分类

    所有学院数据都被分类为敏感级别,为理解和管理大学数据提供基础。准确的分类为大学数据应用适当的安全级别提供了基础。这些分类考虑了法律保护(……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:226次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议