什么是数据质量?如何衡量它以获得最佳结果?

发布时间:2018.12.25来源:数据治理浏览量:247次标签:数据治理

我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意思。

例如,有没有办法衡量这种质量,如果有,你是如何做到的?在本文中,我们将寻求回答这些问题等等。但首先…

 

数据质量

消除数据质量神话

 在创建基本要求时,确保数据质量的基础

关于数据质量的最大误区之一是它必须完全没有错误。随着网站和其他广告系列收集如此多的数据,几乎不可能获得零错误。相反,数据只需要符合为其设置的标准。为了确定“质量”是什么,我们首先需要了解三件事:

    1. 谁创造了要求        

    2. 如何创建需求,以及

    3. 在满足这些要求方面,我们有多大程度的自由度


许多企业都有一个独特的“数据管理员”,他们理解并设定了这些要求,并且是确定错误容忍度的人。如果没有数据管理者,IT通常会发挥作用,确保负责数据的人了解可能影响数据的任何缺点。

你可以拥有它好,快或便宜 - 选择两个

数据质量

 

从收集数据到使其符合公司需求,一切都可以解决潜在的错误。拥有100%完整且100%准确的数据不仅非常昂贵,而且耗时且几乎没有推动ROI针头。

有这么多数据进入,必须迅速做出决策。这就是为什么数据质量是一个微妙的平衡行为 - 杂耍和判断准确性和完整性。如果它听起来像一个很高的要求,你会很高兴知道有一种疯狂的方法,第一步是数据分析。

什么是数据分析?

数据质量

 

数据分析涉及查看数据库中的所有信息,以确定它是否准确和/或完整,以及如何处理不是的条目。例如,导入贵公司制造的产品数据库并确保所有信息都是准确的,这是相当简单的,但当您导入有关竞争对手产品或其他相关细节的详细信息时,情况就不同了。

通过数据分析,您还可以查看数据的准确程度。如果您在2016年7月1日推出,系统是否记录为1916年或2016年?您可能甚至可以在梳理您获得的信息时发现重复和其他问题。以这种方式分析数据为我们提供了一个起点 - 从确保我们使用的信息具有最佳质量的跳板。

确定数据质量

现在我们有一个起点来确定我们的信息是否完整和准确,下一个问题就变成了 - 当我们发现错误或问题时我们该怎么办?通常,您可以执行以下四种操作之一:

  • 接受错误 - 如果它在可接受的标准范围内(即主街而不是主街),您可以决定接受它并转到下一个条目。
  • 拒绝错误 - 有时,特别是对于数据导入,信息严重受损或不正确,最好只删除条目而不是尝试纠正它。
  • 纠正错误 - 客户名称的拼写错误是一个很容易纠正的常见错误。如果名称有变化,您可以将其中一个设置为“主”,并在所有数据库中保持数据的整合和正确。
  • 创建一个默认值 - 如果您不知道该值,那么在那里(未知或不适用)可能更好。


整合数据

当您在不同数据库中拥有相同的数据时,错误和重复的机会已经成熟。成功集成的第一步是查看数据的位置,然后以一致的方式组合数据。在这里投资成熟的数据质量和准确性工具来帮助协调和同步数据库中的信息是非常值得的。

您的数据质量检查表

数据质量

 

最后,因为您在很多不同的领域处理如此多的数据,所以有一个清单可以确定您是否正在使用最高质量的数据。DAMA UK创建了一个关于“ 数据维度 ” 的出色指南,可用于更好地全面了解如何确定数据质量。

他们的数据质量维度包括:

完整性 - 包含一个或多个值的数据的百分比。重要的是首先完成关键数据(例如客户姓名,电话号码,电子邮件地址等),因为完整性不会对非关键数据产生太大影响。

唯一性 - 当针对其他数据集进行测量时,只有一个类型的条目。

及时性 - 日期和时间对数据的影响有多大?这可能是之前的销售,产品发布或在一段时间内依赖的任何信息都是准确的。

有效性 - 数据是否符合为其设定的相应标准?

准确性 - 数据如何反映出由其识别的真实世界的人或事物?

一致性 - 数据与先入为主的模式的一致性如何?出生日期有一个共同的一致性问题,因为在中国,标准是 YYYY / MM /DD,而在欧洲和其他地区,DD / MM / YYYY的使用是标准的。

数据质量的大图

正如您所看到的,没有“一刀切”的方法来保持每个企业的每种类型数据的准确性和完整性。随着大数据对信息的兴趣越来越大,每天都越来越重要,正面解决数据质量问题变得越来越重要。虽然看起来势不可挡,但值得利用数据卫生工具让计算机做他们最擅长的事情 - 数字紧缩。

您可以采取的最重要的步骤就是开始。随着越来越多的潜在客户加入并发现新市场,数据总是会增长,因此永远不会成为解决数据质量问题的“最佳时机”。花时间来确定数据质量对您的公司或组织意味着什么可以产生改善客户服务,更好的客户体验,更高的转换率和更长的客户保留率的连锁反应 - 这些都是投资回报的类型任何企业都会全心全意地拥抱!

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 最终有人把数据治理的元数据、主数据等概念讲明白了

    最终有人把数据治理的元数据、主数据等概念讲明白了

    数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和……查看详情

    发布时间:2022.06.24来源:小亿浏览量:479次

  • 数据治理:推动结果的引擎

    数据治理:推动结果的引擎

    组织成功取决于某些与共同业务目标一致的构建块。这些构建块包括业务活动,数据和分析。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:224次

  • 数据是超乎想象的商业资产 - 这就是为什么(以及在哪里)

    数据是超乎想象的商业资产 - 这就是为什么(以及在哪里)

    说数据是商业资产几乎变得尴尬,应该被视为一个(信息也是如此)。 “数据是资产”或“数据是商业资产”消息并不新鲜。它可以追溯到二十年……查看详情

    发布时间:2018.12.20来源:数据治理浏览量:185次

  • 云中的数据治理

    云中的数据治理

    IT中心,内部部署基础架构变得越来越复杂和昂贵,并且需要高技能的人力,因此企业现在将其IT和数据科学功能转移到云。云计算承诺提供低成本存……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:219次

  • 如何做好大数据的质量管理?

    如何做好大数据的质量管理?

    如今关于大数据的话题非常火热,关于但数据的质量问题也备受人们关注,有很多IT人士开始认为,在大数据的时代,只有对数据进行有效的管理,那么……查看详情

    发布时间:2019.07.26来源:知乎浏览量:238次

  • 常见的主数据管理问题

    常见的主数据管理问题

    主数据管理,包括不仅仅是硬件和软件,还是将数据作为重要资产管理的思想和办法,是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保……查看详情

    发布时间:2020.12.05来源:知乎浏览量:430次

  • 大数据治理背景现状以及策略

    大数据治理背景现状以及策略

    随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,根据监测,这个速度在2020 年之前会继续保持下去。这……查看详情

    发布时间:2018.12.07来源:物联网世界浏览量:341次

  • 银行数据质量管理方法研究与实践

    银行数据质量管理方法研究与实践

    伴随外部监管要求逐步提高以及市场竞争环境的日益激励,银行对于数据价值的重视提升到了前所未有的高度,数据对于银行来说已经成为一项重要的资产……查看详情

    发布时间:2019.02.21来源:知乎浏览量:220次

  • 四位一体的大数据治理框架是什么?

    四位一体的大数据治理框架是什么?

    大数据治理有着自身独特的框架,这一框架经由人、物、技术、数据的高度融合而成,大数据的价值与保护在这一框架内被重新定义。除此之外,凡身处这……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:250次

  • 数据虚拟化 实现大数据的有效管理

    数据虚拟化 实现大数据的有效管理

    关于在石油天然气的钻探和出产过程中所发生的数据的价值,并没有太多的争议。尽管数字化油田运动的最初意图,是将与设备的监测和维护相关的使命完……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:186次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议