如何保证所基于的数据具有高质量?

发布时间:2020.10.31来源:知乎浏览量:152次标签:数据治理

基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是学校所收集的数据可能不完全,或者更新不及时。不完全的数据,特别是不准确的数据,可能会带来更危险的决策。但是,所收集的数据来源多样,种类丰富,也很容易出现同一个数据(比如一所高校的在校生人数) 从不同的部门得到的数值不一样的情况。IBM 认为,高质量的数据具有以下四个特征:

完整性(Completeness): 要从所有可能的来源中关联相关的数据。

准确性(Accuracy): 数据必须是正确的、一致的,没有输入错误。

可用性(Availability): 数据必须在需要时可以获得。

时效性(Timeliness): 当下的数据必须可以获得。

为了提高数据的质量,可能需要多管齐下。

首先要制订数据治理政策,其次要开发和部署专门的工具来简化数据收集过程。美国的大多数高校会选择数据质量工具通过数据清理、匹配、监控和其他方式, 让质量保证过程自动化。

2013年圣母大学(University of Notre Dame)建立了商业智能(business intelligence)项目dataND ,经过摸索,发现制订数据治理政策非常有必要,即要定义数据是什么,如何使用这些数据,谁应该有权访问这些数据。其经验总结如下:

1.如何统一数据定义:雇佣了一个数据治理管家(a campus data steward)在部门之间协调,建立关于数据的共识。

2.如何确定谁能访问什么数据:正确的问题不是这个业务是否需要这个数据,而是获取这个数据是否会给大学带来风险,因为数据治理的目的是为了支持更广泛地使用数据,为了避免使用数据带来的风险,要加强对能够获得数据的人进行培训。当数据可能对大学造成重大伤害时,要有严格的限制。


2013年圣母大学(University of Notre Dame)建立了商业智能(business intelligence)项目dataND ,经过摸索,发现制订数据治理政策非常有必要,即要定义数据是什么,如何使用这些数据,谁应该有权访问这些数据。其经验总结如下:

1.如何统一数据定义:雇佣了一个数据治理管家(a campus data steward)在部门之间协调,建立关于数据的共识。

2.如何确定谁能访问什么数据:正确的问题不是这个业务是否需要这个数据,而是获取这个数据是否会给大学带来风险,因为数据治理的目的是为了支持更广泛地使用数据,为了避免使用数据带来的风险,要加强对能够获得数据的人进行培训。当数据可能对大学造成重大伤害时,要有严格的限制。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 元数据:数据治理的燃料

    元数据:数据治理的燃料

    企业渴望从可提供竞争优势的数据中获取洞察力。实现这一目标的最常见障碍是数据质量差。如果输入到预测算法的数据是“脏的”(具有丢失或无效的值……查看详情

    发布时间:2019.08.02来源:知乎浏览量:189次

  • 通俗讲透什么是数据资产管理

    通俗讲透什么是数据资产管理

    作为一个初入数据治理这行的小白,刚听到数据资产管理的时候也是一脸懵,资产编目?数据生命周期?归档?概念有时候实在有些抽象,再加上数据本来……查看详情

    发布时间:2020.08.14来源:知乎浏览量:182次

  • 数据治理市场驱动因素和预测

    数据治理市场驱动因素和预测

    全球数据治理市场分散,主要参与者使用各种策略,如新产品发布,扩张,协议,合资企业,合作伙伴关系,收购等,以增加他们在这个市场的足迹,以便……查看详情

    发布时间:2019.07.11来源:知乎浏览量:201次

  • 什么是数据治理?

    什么是数据治理?

    数据治理是一个包含可用性,适用性,完整性和安全性的四向框架。它是由使用技术的利益相关者使用的一组流程,以确保管理和保护重要和关键数据。它……查看详情

    发布时间:2018.11.16来源:互联网浏览量:188次

  • 数据清理的终极指南——亿信华辰

    数据清理的终极指南——亿信华辰

    我花了几个月的时间分析来自传感器、调查及日志等相关数据。无论我用多少图表,设计多么复杂的算法,结果总是会与预期不同。……查看详情

    发布时间:2019.03.20来源:数据清理浏览量:158次

  • 管理、选择性投资推动了Hmshost的多渠道数字化之旅

    管理、选择性投资推动了Hmshost的多渠道数字化之旅

    hmshost利用跨渠道数据优化饥饿旅客的用餐体验。……查看详情

    发布时间:2019.01.15来源:亿信华辰浏览量:180次

  • 什么是数据治理

    什么是数据治理

    什么是数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混……查看详情

    发布时间:2018.09.13来源:浏览量:183次

  • 企业数据中台建设过程中面临的三大挑战

    企业数据中台建设过程中面临的三大挑战

    业务挑战:如何以大数据赋能,反哺业务精耕? 越是成功的企业,业务发展的痛点越难以单点解决,需要整体思考、科学决策、集体行动,在业务的创……查看详情

    发布时间:2020.07.10来源:知乎浏览量:173次

  • 数据治理的关键要求是什么?

    数据治理的关键要求是什么?

    这些功能中的每一项都可以实现受管理的环境 目录和数据字典元数据的组合为数据策略和使用的可审计性提供了完整的信息。它还包含血统和操纵。工作……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:174次

  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:260次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议