什么是数据质量?如何衡量它以获得最佳结果?

发布时间:2018.12.25来源:数据治理浏览量:189次标签:数据治理

我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意思。

例如,有没有办法衡量这种质量,如果有,你是如何做到的?在本文中,我们将寻求回答这些问题等等。但首先…

 

数据质量

消除数据质量神话

 在创建基本要求时,确保数据质量的基础

关于数据质量的最大误区之一是它必须完全没有错误。随着网站和其他广告系列收集如此多的数据,几乎不可能获得零错误。相反,数据只需要符合为其设置的标准。为了确定“质量”是什么,我们首先需要了解三件事:

    1. 谁创造了要求        

    2. 如何创建需求,以及

    3. 在满足这些要求方面,我们有多大程度的自由度


许多企业都有一个独特的“数据管理员”,他们理解并设定了这些要求,并且是确定错误容忍度的人。如果没有数据管理者,IT通常会发挥作用,确保负责数据的人了解可能影响数据的任何缺点。

你可以拥有它好,快或便宜 - 选择两个

数据质量

 

从收集数据到使其符合公司需求,一切都可以解决潜在的错误。拥有100%完整且100%准确的数据不仅非常昂贵,而且耗时且几乎没有推动ROI针头。

有这么多数据进入,必须迅速做出决策。这就是为什么数据质量是一个微妙的平衡行为 - 杂耍和判断准确性和完整性。如果它听起来像一个很高的要求,你会很高兴知道有一种疯狂的方法,第一步是数据分析。

什么是数据分析?

数据质量

 

数据分析涉及查看数据库中的所有信息,以确定它是否准确和/或完整,以及如何处理不是的条目。例如,导入贵公司制造的产品数据库并确保所有信息都是准确的,这是相当简单的,但当您导入有关竞争对手产品或其他相关细节的详细信息时,情况就不同了。

通过数据分析,您还可以查看数据的准确程度。如果您在2016年7月1日推出,系统是否记录为1916年或2016年?您可能甚至可以在梳理您获得的信息时发现重复和其他问题。以这种方式分析数据为我们提供了一个起点 - 从确保我们使用的信息具有最佳质量的跳板。

确定数据质量

现在我们有一个起点来确定我们的信息是否完整和准确,下一个问题就变成了 - 当我们发现错误或问题时我们该怎么办?通常,您可以执行以下四种操作之一:

  • 接受错误 - 如果它在可接受的标准范围内(即主街而不是主街),您可以决定接受它并转到下一个条目。
  • 拒绝错误 - 有时,特别是对于数据导入,信息严重受损或不正确,最好只删除条目而不是尝试纠正它。
  • 纠正错误 - 客户名称的拼写错误是一个很容易纠正的常见错误。如果名称有变化,您可以将其中一个设置为“主”,并在所有数据库中保持数据的整合和正确。
  • 创建一个默认值 - 如果您不知道该值,那么在那里(未知或不适用)可能更好。


整合数据

当您在不同数据库中拥有相同的数据时,错误和重复的机会已经成熟。成功集成的第一步是查看数据的位置,然后以一致的方式组合数据。在这里投资成熟的数据质量和准确性工具来帮助协调和同步数据库中的信息是非常值得的。

您的数据质量检查表

数据质量

 

最后,因为您在很多不同的领域处理如此多的数据,所以有一个清单可以确定您是否正在使用最高质量的数据。DAMA UK创建了一个关于“ 数据维度 ” 的出色指南,可用于更好地全面了解如何确定数据质量。

他们的数据质量维度包括:

完整性 - 包含一个或多个值的数据的百分比。重要的是首先完成关键数据(例如客户姓名,电话号码,电子邮件地址等),因为完整性不会对非关键数据产生太大影响。

唯一性 - 当针对其他数据集进行测量时,只有一个类型的条目。

及时性 - 日期和时间对数据的影响有多大?这可能是之前的销售,产品发布或在一段时间内依赖的任何信息都是准确的。

有效性 - 数据是否符合为其设定的相应标准?

准确性 - 数据如何反映出由其识别的真实世界的人或事物?

一致性 - 数据与先入为主的模式的一致性如何?出生日期有一个共同的一致性问题,因为在中国,标准是 YYYY / MM /DD,而在欧洲和其他地区,DD / MM / YYYY的使用是标准的。

数据质量的大图

正如您所看到的,没有“一刀切”的方法来保持每个企业的每种类型数据的准确性和完整性。随着大数据对信息的兴趣越来越大,每天都越来越重要,正面解决数据质量问题变得越来越重要。虽然看起来势不可挡,但值得利用数据卫生工具让计算机做他们最擅长的事情 - 数字紧缩。

您可以采取的最重要的步骤就是开始。随着越来越多的潜在客户加入并发现新市场,数据总是会增长,因此永远不会成为解决数据质量问题的“最佳时机”。花时间来确定数据质量对您的公司或组织意味着什么可以产生改善客户服务,更好的客户体验,更高的转换率和更长的客户保留率的连锁反应 - 这些都是投资回报的类型任何企业都会全心全意地拥抱!

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 管理数据与拥有数据一样重要:关注数据治理和数据质量

    管理数据与拥有数据一样重要:关注数据治理和数据质量

    在许多人看来,数据 - 干净,清晰和准确的数据 - 统治着宇宙。然而,当数据质量较差时,企业及其客户都会受到影响。即使数据是原始数据,糟……查看详情

    发布时间:2019.09.20来源:知乎浏览量:179次

  • 大数据是大问题?组织需要为数据管理负责

    大数据是大问题?组织需要为数据管理负责

    如果数据收集在2018年让人们明白一件事的话,那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。……查看详情

    发布时间:2019.04.08来源:亿信华辰浏览量:144次

  • 大数据元数据管理系统有哪些功能

    大数据元数据管理系统有哪些功能

    1、元数据模型的建立,定义元数据模型,清晰展现元数据需求。2、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。……查看详情

    发布时间:2021.08.17来源:亿信数据治理知识库浏览量:255次

  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    当我们谈数据资产管理时,我们究竟在谈什么?就目前而言,我们谈论得最多的非数据管理和数据治理这两个概念莫属。但是对于这两个概念,两者的准确……查看详情

    发布时间:2018.09.13来源:浏览量:123次

  • 在信息治理中处于领先地位

    在信息治理中处于领先地位

    随着这一关键战略的出现,应对最新的信息治理,以应对医疗保健领域的众多信息管理挑战。本博客将重点介绍IG为确保将信息视为组织资产而提出的趋……查看详情

    发布时间:2018.11.21来源:信息治理浏览量:153次

  • 手把手系列:常用数据交换方案之RESTful接口处理

    手把手系列:常用数据交换方案之RESTful接口处理

    随着技术的发展与互联网的普及,除了传统的库表、文件方式之外,API接口也成为一种常用的交换方式。于是乎,越来越多的项目存在这样的接口数据……查看详情

    发布时间:2021.01.12来源:知乎浏览量:168次

  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    当我们谈数据资产管理时,我们究竟在谈什么?就目前而言,我们谈论得最多的非数据管理和数据治理这两个概念莫属。但是对于这两个概念,两者的准确……查看详情

    发布时间:2019.11.22来源:知乎浏览量:131次

  • 什么是数据集成?

    什么是数据集成?

    数据集成是将来自不同来源的数据组合到统一视图中的过程:从摄取,清理,映射和转换到目标接收器,最后使数据对访问它的人更具可操作性和价值。 ……查看详情

    发布时间:2018.12.20来源:数据治理浏览量:123次

  • 数据治理在大数据领域的重要性

    数据治理在大数据领域的重要性

    即使在过去,企业也要面对超出其基础设施和流程处理能力的大量数据,更不用说要从数据中挖掘出对制定有效决策有实际价值的情报了。如今,随着种类……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:128次

  •  数据治理目标是什么?数据治理框架包括哪些方面?

    数据治理目标是什么?数据治理框架包括哪些方面?

    ​数据治理涵盖了数据质量、数据建模和架构、数据存储、数据操作、商业智能、数据沿袭、文档、数据集成和数据安全等.制定数据治理计划前我们需要……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理浏览量:500次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议