数据质量评估体系主要参考以下5个指标

发布时间:2019.11.07来源:知乎浏览量:2次标签:数据治理

数据质量评估体系主要参考以下指标:
数据完整性
数据准确性
数据有效性
数据时效性
数据一致性

依据以上指标,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。


数据质量评估具体检测的内容
数据完整性检测
完整性,描述数据信息缺失的程度,是数据质量中最基础的一项评估标准。数据缺失的情况可以分为数据信息记录缺失和字段信息记录缺失。数据完整性检测的步骤是
1、对于数据信息记录缺失的检测,可以通过对比源库上的表数据量和目的库上对应表的数据量来判断数据是否存在缺失。
2、对于字段信息记录缺失的检测,选择需要进行完整性检查的字段,计算该字段中空值数据的占比,通常来说表的主键及非空字段空值率为0%。空值率越小说明字段信息越完善,空值率越大说明字段信息缺失的越多。

数据准确性检测
准确性,用于描述一个值与它所描述的客观事物的真实值之间的接近程度,通俗来说就是指数据记录的信息是否存在异常或错误。例如业务员在上报系统上填写客户信息时,手误输错了某一信息,造成了数据库里存在的信息与客观事实不一样。数据准确性的检测较为困难,一般情况下很难解决。在某些特定的情况下,例如性别,年龄,出生日期,籍贯等信息可以通过校验身份证号来检测,前提是确保身份证号码是正确的。

数据有效性检测
有效性,描述数据遵循预定的语法规则的程度,是否符合其定义,比如数据的类型、格式、取值范围等。数据有效性检测的步骤是用户选择需要进行有效性检测的字段,针对每个字段设定有效性规则。有效性规则包括类型有效、格式有效和取值有效等。类型有效检测字段数据的类型是否符合其定义,例如可以通过求和来判断是否是数值型,通过时间操作来判断是否是时间类型。格式有效性检测可以通过正则表达式来判断数据是否与其定义相符。取值有效检测则通过计算最大最小值来判断数据是否在有效的取值范围之内。

数据时效性检测
时效性,是指信息仅在一定时间段内对决策具有价值的属性。数据从生成到录入数据库存在一定的时间间隔,若该间隔较久,就可能导致分析得出的结论失去了借鉴意义。例如当天的交易数据生成后没有及时的录入数据库或者源库与目的库之间的同步延迟,则会导致统计结果和真实结果存在一定误差。

数据一致性检测
把待检测的表作为主表,首先用户确定一致性检测的主表字段,然后选择需要给定检测的从表和从表字段,设置好主表和从表之间的关联项,关联项可以是多个字段,但是关联项必须是拥有匹配值的相似字段。匹配关联之后检查主表和从表相同或者类似字段字段值是否一致。

数据质量评估流程
数据质量的评估流程首先确定要检测的数据质量指标和评估规则,然后编写相应的 SQL 脚本来检测分析数据,最后计算满足各个规则的数据的百分比得分。系统的综合得分的计算可以通过把每条规则的得分计算出来,然后综合后取平均值,但更为合理的方法就是可以把每条规则的得分按照给定的权重进行评价,做出一个合理的数据质量评价等级。由用户规定每个检测规则的权重,做出一个权重方案,然后按照各个检测规则的权重进行整体的计算统计,得到一个合理的数据质量评估得分。

下面介绍一款数据质量管理平台来解决数据质量问题
EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理流程

    数据治理流程

    要真正把数据作为企业有价值的资产来管理,就必须像管理财务、人力资源等业务功能一样进行数据治理。财务功能由多个核心业务流程组成,如应付账款……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:3次

  • 金融服务的数据治理2.0

    金融服务的数据治理2.0

    随着金融服务业面临特别的压力,数据驱动型业务的变化速度正在增加。对于银行,信用卡,保险,抵押贷款公司等,必须正确地进行数据治理。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:1次

  • 浅谈银行的数据治理有哪些问题

    浅谈银行的数据治理有哪些问题

    企业数据治理的实践来看,目前在数据标准化这块落地也存在很大的困难,虽然现在有些企业在数据标准整理上已经基本上有了一个完整的标准,也存在标……查看详情

    发布时间:2020.02.21来源:知乎浏览量:2次

  • 大数据平台应用开发的五个痛点

    大数据平台应用开发的五个痛点

    随着数据利用率的提高和数据共享行为变得频繁,对于大数据平台应用开发来说,如何进行数据交换是每个平台组件都绕不过去的问题。目前大数据平台应……查看详情

    发布时间:2020.08.21来源:知乎浏览量:1次

  • 扩展数据治理 推进数字化转型

    扩展数据治理 推进数字化转型

    数据正在重新定义我们的工作方式。当数据在上升至公司议程的同时,数据治理也得到了更多关注。数据治理正在迅速成为企业战略重点和不可或缺的业务……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:1次

  • 数据治理困难,即数据治理之“困”。

    数据治理困难,即数据治理之“困”。

    当前,以人工智能、区块链等为代表的数字技术不断涌现,快速向经济社会各领域融合渗透。以数据为核心的数字化转型已是大势所趋。金融业是数据密集……查看详情

    发布时间:2020.01.03来源:知乎浏览量:2次

  • 数据治理准备的五大支柱:组织支持

    数据治理准备的五大支柱:组织支持

    企业领导者必须为其数据治理工作提供组织支持。……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:4次

  • 数据治理能力正在成为互联网+时代城市竞争新优势

    数据治理能力正在成为互联网+时代城市竞争新优势

    新型智慧城市的四个新视角解读 城市服务要以人为中心,但是城市的服务不但以人为中心,还是要做到数据,由于数据为核心,没有好的数据,就没有……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:1次

  • 用大数据守护绿水青山,铸就“智慧环保”

    用大数据守护绿水青山,铸就“智慧环保”

    为了打破数据壁垒,基于亿信华辰的睿治数据治理平台和实时大数据平台PetaBase-s搭建A市生态环境大数据管理平台。……查看详情

    发布时间:2021.05.07来源:亿信华辰浏览量:1次

  • 数据管理和分析趋势正在改变世界

    数据管理和分析趋势正在改变世界

    现在的数据世界正在发生什么,它将如何影响2018年的市场?比如这些头条新闻:人工智能无处不在,并将改变一切;企业继续将他们的基础设施和数……查看详情

    发布时间:2019.01.03来源:bingdata123浏览量:1次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议