数据质量评估体系主要参考以下5个指标

发布时间:2019.11.07来源:知乎浏览量:407次标签:数据治理

数据质量评估体系主要参考以下指标:
数据完整性
数据准确性
数据有效性
数据时效性
数据一致性

依据以上指标,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。


数据质量评估具体检测的内容
数据完整性检测
完整性,描述数据信息缺失的程度,是数据质量中最基础的一项评估标准。数据缺失的情况可以分为数据信息记录缺失和字段信息记录缺失。数据完整性检测的步骤是
1、对于数据信息记录缺失的检测,可以通过对比源库上的表数据量和目的库上对应表的数据量来判断数据是否存在缺失。
2、对于字段信息记录缺失的检测,选择需要进行完整性检查的字段,计算该字段中空值数据的占比,通常来说表的主键及非空字段空值率为0%。空值率越小说明字段信息越完善,空值率越大说明字段信息缺失的越多。

数据准确性检测
准确性,用于描述一个值与它所描述的客观事物的真实值之间的接近程度,通俗来说就是指数据记录的信息是否存在异常或错误。例如业务员在上报系统上填写客户信息时,手误输错了某一信息,造成了数据库里存在的信息与客观事实不一样。数据准确性的检测较为困难,一般情况下很难解决。在某些特定的情况下,例如性别,年龄,出生日期,籍贯等信息可以通过校验身份证号来检测,前提是确保身份证号码是正确的。

数据有效性检测
有效性,描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等。数据有效性检测的步骤是用户选择需要进行有效性检测的字段,针对每个字段设定有效性规则。有效性规则包括类型有效、格式有效和取值有效等。类型有效检测字段数据的类型是否符合其定义,例如可以通过求和来判断是否是数值型,通过时间操作来判断是否是时间类型。格式有效性检测可以通过正则表达式来判断数据是否与其定义相符。取值有效检测则通过计算最大最小值来判断数据是否在有效的取值范围之内。

数据时效性检测
时效性,是指信息仅在一定时间段内对决策具有价值的属性。数据从生成到录入数据库存在一定的时间间隔,若该间隔较久,就可能导致分析得出的结论失去了借鉴意义。例如当天的交易数据生成后没有及时的录入数据库或者源库与目的库之间的同步延迟,则会导致统计结果和真实结果存在一定误差。

数据一致性检测
把待检测的表作为主表,首先用户确定一致性检测的主表字段,然后选择需要给定检测的从表和从表字段,设置好主表和从表之间的关联项,关联项可以是多个字段,但是关联项必须是拥有匹配值的相似字段。匹配关联之后检查主表和从表相同或者类似字段字段值是否一致。

数据质量评估流程
数据质量的评估流程首先确定要检测的数据质量指标和评估规则,然后编写相应的 SQL 脚本来检测分析数据,最后计算满足各个规则的数据的百分比得分。系统的综合得分的计算可以通过把每条规则的得分计算出来,然后综合后取平均值,但更为合理的方法就是可以把每条规则的得分按照给定的权重进行评价,做出一个合理的数据质量评价等级。由用户规定每个检测规则的权重,做出一个权重方案,然后按照各个检测规则的权重进行整体的计算统计,得到一个合理的数据质量评估得分。

下面介绍一款数据质量管理平台来解决数据质量问题
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 外部管理数据集的政府数据可靠性

    外部管理数据集的政府数据可靠性

    当我在退伍军人事务部工作时,我联系了许多人 - 联邦政府以外的人 - 他们希望在联邦政府开放数据工作时帮助清理,使用和改进公共数据集。当……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:147次

  • 从数据中台到AI中台

    从数据中台到AI中台

    企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题,第三阶段“创造业务”,则需要AI中台。1、数据……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:146次

  • 数据治理 VS 数据管理!

    数据治理 VS 数据管理!

    与早期的数字化原生企业相比,不进行数据管理或治理的企业将面临着严重的后果 。至于说到良好的数据管理和应用的实践,大多数人只会将这个词与那……查看详情

    发布时间:2022.06.15来源:互联网浏览量:273次

  • 现在企业为什么越来越关注数据治理了

    现在企业为什么越来越关注数据治理了

    数据治理在当今的企业中经常被引用,但是许多IT团队在围绕如此宽泛的概念进行思考时遇到了麻烦。数据治理也称为信息治理,是指用于管理整个组织……查看详情

    发布时间:2020.06.22来源:知乎浏览量:197次

  • 数据治理准备的五大支柱:团队资源

    数据治理准备的五大支柱:团队资源

    Facebook丑闻突显了组织需要理解和应用数据治理准备的五大支柱。……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:182次

  • 理解和证明数据治理2.0

    理解和证明数据治理2.0

    过去,证明数据治理的合理性是非常困难的。数据治理1.0的孤岛性质以及缺乏对增值的关注意味着买入率很低。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:235次

  • 大型企业数据治理的现状和解决方案

    大型企业数据治理的现状和解决方案

    在大数据时代,数据治理是所有的拥有大量数据的公司的巨大的挑战。没有数据,企业缺乏用于做决策的数据的支持。可是有了越来越多的数据,很多情况……查看详情

    发布时间:2020.03.24来源:知乎浏览量:166次

  • 金融机构数据质量迎来“大考” ,这个数据治理利器你值得拥有

    金融机构数据质量迎来“大考” ,这个数据治理利器你值得拥有

    金融机构数据质量迎来“大考”。近日,中国银保监会办公厅下发了《关于开展监管数据质量专项治理工作的通知》,此次专项治理工作要压实监管数据质……查看详情

    发布时间:2021.01.29来源:知乎浏览量:294次

  • 数据治理:让数据质量更好(data governance)

    数据治理:让数据质量更好(data governance)

    核心提示:大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:696次

  • 2019年的数据治理趋势

    2019年的数据治理趋势

    2018年十月,DATAVERSITY ®发布报告趋势数据治理和数据管理,这是基于对囊括主要来自信息和数据治理专家,数据和信息架构师,以……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:174次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议