数据质量评估体系主要参考以下5个指标

发布时间:2019.11.07来源:知乎浏览量:191次标签:数据治理

数据质量评估体系主要参考以下指标:
数据完整性
数据准确性
数据有效性
数据时效性
数据一致性

依据以上指标,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。


数据质量评估具体检测的内容
数据完整性检测
完整性,描述数据信息缺失的程度,是数据质量中最基础的一项评估标准。数据缺失的情况可以分为数据信息记录缺失和字段信息记录缺失。数据完整性检测的步骤是
1、对于数据信息记录缺失的检测,可以通过对比源库上的表数据量和目的库上对应表的数据量来判断数据是否存在缺失。
2、对于字段信息记录缺失的检测,选择需要进行完整性检查的字段,计算该字段中空值数据的占比,通常来说表的主键及非空字段空值率为0%。空值率越小说明字段信息越完善,空值率越大说明字段信息缺失的越多。

数据准确性检测
准确性,用于描述一个值与它所描述的客观事物的真实值之间的接近程度,通俗来说就是指数据记录的信息是否存在异常或错误。例如业务员在上报系统上填写客户信息时,手误输错了某一信息,造成了数据库里存在的信息与客观事实不一样。数据准确性的检测较为困难,一般情况下很难解决。在某些特定的情况下,例如性别,年龄,出生日期,籍贯等信息可以通过校验身份证号来检测,前提是确保身份证号码是正确的。

数据有效性检测
有效性,描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等。数据有效性检测的步骤是用户选择需要进行有效性检测的字段,针对每个字段设定有效性规则。有效性规则包括类型有效、格式有效和取值有效等。类型有效检测字段数据的类型是否符合其定义,例如可以通过求和来判断是否是数值型,通过时间操作来判断是否是时间类型。格式有效性检测可以通过正则表达式来判断数据是否与其定义相符。取值有效检测则通过计算最大最小值来判断数据是否在有效的取值范围之内。

数据时效性检测
时效性,是指信息仅在一定时间段内对决策具有价值的属性。数据从生成到录入数据库存在一定的时间间隔,若该间隔较久,就可能导致分析得出的结论失去了借鉴意义。例如当天的交易数据生成后没有及时的录入数据库或者源库与目的库之间的同步延迟,则会导致统计结果和真实结果存在一定误差。

数据一致性检测
把待检测的表作为主表,首先用户确定一致性检测的主表字段,然后选择需要给定检测的从表和从表字段,设置好主表和从表之间的关联项,关联项可以是多个字段,但是关联项必须是拥有匹配值的相似字段。匹配关联之后检查主表和从表相同或者类似字段字段值是否一致。

数据质量评估流程
数据质量的评估流程首先确定要检测的数据质量指标和评估规则,然后编写相应的 SQL 脚本来检测分析数据,最后计算满足各个规则的数据的百分比得分。系统的综合得分的计算可以通过把每条规则的得分计算出来,然后综合后取平均值,但更为合理的方法就是可以把每条规则的得分按照给定的权重进行评价,做出一个合理的数据质量评价等级。由用户规定每个检测规则的权重,做出一个权重方案,然后按照各个检测规则的权重进行整体的计算统计,得到一个合理的数据质量评估得分。

下面介绍一款数据质量管理平台来解决数据质量问题
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 一文透露银行业的数据治理该不该做,又怎么做?

    一文透露银行业的数据治理该不该做,又怎么做?

    小宋最近同学会,一个大学同学就职银行信息科技部门,听说小宋也在一家大数据公司便拉起小宋的手要和她好好掰扯掰扯一下银行业的数据治理了。银行……查看详情

    发布时间:2020.07.29来源:今日头条浏览量:77次

  • 构建有效的数据科学团队

    构建有效的数据科学团队

    随着数据科学和人工智能几乎进入阳光下的每个行业,建立一个能够建立成功的AI项目的团队的挑战也是如此。对统计学家,程序员和沟通者完美融合的……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:93次

  • 跨域数据交换平台解决方案

    跨域数据交换平台解决方案

    随着信息社会的不断发展,信息融合正逐步走向深化。业务系统如何跨越不同安全等级的网络域进行数据传输,是整合各类信息资源、降低各系统间信息壁……查看详情

    发布时间:2020.08.07来源:知乎浏览量:126次

  • 数据治理:建设大数据平台就够了?你还要做这件事

    数据治理:建设大数据平台就够了?你还要做这件事

    长期以来,大家一直忽略一个问题:数据跟原来的企业应用系统一样,它是需要被管理的。企业逐渐了解数据所蕴含的价值,对数据的重视程度越来越高。……查看详情

    发布时间:2018.12.12来源:亿信华辰浏览量:69次

  • 如何降低BI系统建设风险?数据治理告诉你答案

    如何降低BI系统建设风险?数据治理告诉你答案

    如何降低BI系统建设风险?如何更好地管理和控制数据,做好数据体系建设,而非打造一个又一个割裂孤立的系统?这其中数据分析与数据治理双翼并行……查看详情

    发布时间:2021.03.23来源:亿信数据治理研究院浏览量:485次

  • 数据治理的关键要求是什么?

    数据治理的关键要求是什么?

    这些功能中的每一项都可以实现受管理的环境 目录和数据字典元数据的组合为数据策略和使用的可审计性提供了完整的信息。它还包含血统和操纵。工作……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:79次

  • 数据质量对数据治理的重要性!

    数据质量对数据治理的重要性!

    人常说“失之毫厘,差之千里”,在数据来源多样化的情况下,数据的可靠性和实用性,直接影响到统计分析是否得到正确的结论,所以说数据的质量尤为……查看详情

    发布时间:2019.11.01来源:知乎浏览量:64次

  • 如何构建我国的数据治理体系

    如何构建我国的数据治理体系

    公司应该考虑它是否有数据治理政策,如果有,是否全面有效。数据治理政策已成为监管期望,作为核心质量体系政策之一。企业应根据对流程的理解和技……查看详情

    发布时间:2019.08.16来源:知乎浏览量:92次

  • 克服数据管理成功的最大障碍

    克服数据管理成功的最大障碍

    随着数据治理的重要性不断提升,数据管理员可能成为您组织的无名英雄。你在做什么来支持他们?……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:72次

  • 一分钟了解企业主数据系统建设,成功化数据为价值。

    一分钟了解企业主数据系统建设,成功化数据为价值。

    “在数据治理的相关资料中,提到了一个概念,叫‘主数据’,究竟什么是主数据,它的收益又在哪?”之所以具有代表性,是因为这是一个典型的企业人……查看详情

    发布时间:2020.08.28来源:知乎浏览量:81次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议