什么是数据质量?如何衡量它以获得最佳结果?

发布时间:2018.12.25来源:数据治理浏览量:228次标签:数据治理

我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意思。

例如,有没有办法衡量这种质量,如果有,你是如何做到的?在本文中,我们将寻求回答这些问题等等。但首先…

 

数据质量

消除数据质量神话

 在创建基本要求时,确保数据质量的基础

关于数据质量的最大误区之一是它必须完全没有错误。随着网站和其他广告系列收集如此多的数据,几乎不可能获得零错误。相反,数据只需要符合为其设置的标准。为了确定“质量”是什么,我们首先需要了解三件事:

    1. 谁创造了要求        

    2. 如何创建需求,以及

    3. 在满足这些要求方面,我们有多大程度的自由度


许多企业都有一个独特的“数据管理员”,他们理解并设定了这些要求,并且是确定错误容忍度的人。如果没有数据管理者,IT通常会发挥作用,确保负责数据的人了解可能影响数据的任何缺点。

你可以拥有它好,快或便宜 - 选择两个

数据质量

 

从收集数据到使其符合公司需求,一切都可以解决潜在的错误。拥有100%完整且100%准确的数据不仅非常昂贵,而且耗时且几乎没有推动ROI针头。

有这么多数据进入,必须迅速做出决策。这就是为什么数据质量是一个微妙的平衡行为 - 杂耍和判断准确性和完整性。如果它听起来像一个很高的要求,你会很高兴知道有一种疯狂的方法,第一步是数据分析。

什么是数据分析?

数据质量

 

数据分析涉及查看数据库中的所有信息,以确定它是否准确和/或完整,以及如何处理不是的条目。例如,导入贵公司制造的产品数据库并确保所有信息都是准确的,这是相当简单的,但当您导入有关竞争对手产品或其他相关细节的详细信息时,情况就不同了。

通过数据分析,您还可以查看数据的准确程度。如果您在2016年7月1日推出,系统是否记录为1916年或2016年?您可能甚至可以在梳理您获得的信息时发现重复和其他问题。以这种方式分析数据为我们提供了一个起点 - 从确保我们使用的信息具有最佳质量的跳板。

确定数据质量

现在我们有一个起点来确定我们的信息是否完整和准确,下一个问题就变成了 - 当我们发现错误或问题时我们该怎么办?通常,您可以执行以下四种操作之一:

  • 接受错误 - 如果它在可接受的标准范围内(即主街而不是主街),您可以决定接受它并转到下一个条目。
  • 拒绝错误 - 有时,特别是对于数据导入,信息严重受损或不正确,最好只删除条目而不是尝试纠正它。
  • 纠正错误 - 客户名称的拼写错误是一个很容易纠正的常见错误。如果名称有变化,您可以将其中一个设置为“主”,并在所有数据库中保持数据的整合和正确。
  • 创建一个默认值 - 如果您不知道该值,那么在那里(未知或不适用)可能更好。


整合数据

当您在不同数据库中拥有相同的数据时,错误和重复的机会已经成熟。成功集成的第一步是查看数据的位置,然后以一致的方式组合数据。在这里投资成熟的数据质量和准确性工具来帮助协调和同步数据库中的信息是非常值得的。

您的数据质量检查表

数据质量

 

最后,因为您在很多不同的领域处理如此多的数据,所以有一个清单可以确定您是否正在使用最高质量的数据。DAMA UK创建了一个关于“ 数据维度 ” 的出色指南,可用于更好地全面了解如何确定数据质量。

他们的数据质量维度包括:

完整性 - 包含一个或多个值的数据的百分比。重要的是首先完成关键数据(例如客户姓名,电话号码,电子邮件地址等),因为完整性不会对非关键数据产生太大影响。

唯一性 - 当针对其他数据集进行测量时,只有一个类型的条目。

及时性 - 日期和时间对数据的影响有多大?这可能是之前的销售,产品发布或在一段时间内依赖的任何信息都是准确的。

有效性 - 数据是否符合为其设定的相应标准?

准确性 - 数据如何反映出由其识别的真实世界的人或事物?

一致性 - 数据与先入为主的模式的一致性如何?出生日期有一个共同的一致性问题,因为在中国,标准是 YYYY / MM /DD,而在欧洲和其他地区,DD / MM / YYYY的使用是标准的。

数据质量的大图

正如您所看到的,没有“一刀切”的方法来保持每个企业的每种类型数据的准确性和完整性。随着大数据对信息的兴趣越来越大,每天都越来越重要,正面解决数据质量问题变得越来越重要。虽然看起来势不可挡,但值得利用数据卫生工具让计算机做他们最擅长的事情 - 数字紧缩。

您可以采取的最重要的步骤就是开始。随着越来越多的潜在客户加入并发现新市场,数据总是会增长,因此永远不会成为解决数据质量问题的“最佳时机”。花时间来确定数据质量对您的公司或组织意味着什么可以产生改善客户服务,更好的客户体验,更高的转换率和更长的客户保留率的连锁反应 - 这些都是投资回报的类型任何企业都会全心全意地拥抱!

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 银行数据治理方法浅析

    银行数据治理方法浅析

    数据是银行最核心的资产,数据治理能成就银行的未来。数据治理是一个新兴的并且不断演进的概念,涉及数据质量、数据管理、数据政策、商业过程管理……查看详情

    发布时间:2019.02.21来源:知乎浏览量:213次

  • 正确的数据文化是数据治理成功的预测指标

    正确的数据文化是数据治理成功的预测指标

    获得数据治理计划的业务和领导支持 - 以及在该支持下建立数据文化 - 仍然是许多组织面临的重大挑战。然而,根据一项新的调查,获得这种支持……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:192次

  • 数据治理成功的秘诀

    数据治理成功的秘诀

    数据治理(DG)1.0一直在努力实现,但现在DG需要符合通用数据保护法规(GDPR),因此企业需要一种新方法来实现数据治理的成功。……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:238次

  • 企业必须使其数据治理程序适应数据爆炸和颠覆性技术的现实

    企业必须使其数据治理程序适应数据爆炸和颠覆性技术的现实

    公司必须使其数据治理计划适应数据爆炸和颠覆性技术的现实 今天的数据爆炸 - 以及所揭示的见解 - 不仅从战略角度对组织非常有价值,而且……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:163次

  • 为什么营销人员应该关心数据治理

    为什么营销人员应该关心数据治理

    如果没有适当的数据治理,您就会面临两个巨大问题的风险:低效率和违反客户信任。有了它,您的业务就是一台信息灵通,运行良好的机器。简而言之,……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:200次

  • 金融服务的数据治理2.0

    金融服务的数据治理2.0

    随着金融服务业面临特别的压力,数据驱动型业务的变化速度正在增加。对于银行,信用卡,保险,抵押贷款公司等,必须正确地进行数据治理。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:176次

  • SAP利用企业信息管理产品组合的更新推进数据治理和信任

    SAP利用企业信息管理产品组合的更新推进数据治理和信任

    对SAP主数据治理和SAP Agile数据准备应用程序和SAP数据服务软件的更新提供了现代化和全面的功能,可帮助企业轻松,信任和安全地为……查看详情

    发布时间:2018.12.21来源:SAP浏览量:192次

  • 数据共享,奇葩证明的解药——亿信华辰

    数据共享,奇葩证明的解药——亿信华辰

    出境旅游,要求出具“母子关系证明”;市民迁户口,要证明“你爸是你爸”;车在大风中被树木刮伤,理赔要出示“风力证明”;去买房,要证明“结婚……查看详情

    发布时间:2019.03.04来源:亿信华辰浏览量:195次

  • 企业如何进行数据资产管理

    企业如何进行数据资产管理

    大数据离不开计算和存储,因此大数据建设与成本强挂钩。大数据需要耗费大量的计算存储资源,如果没有合理的资产管理,很可能在大数据还没来得及发……查看详情

    发布时间:2020.08.28来源:知乎浏览量:153次

  • 数据建模在数据治理中的作用

    数据建模在数据治理中的作用

    在过去的9个月里,erwin建模团队一直在忙着从山顶呼喊我们进入数据治理领域。2015年4月,我们发布了新版的建模门户网站erwin®W……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:225次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议