询问数据治理教练:数据湖上的数据治理?

发布时间:2019.03.22来源:亿信华辰浏览量:434次标签:数据治理


目前有很多关于数据湖泊及其提供的可能性的兴奋,特别是关于分析和数据可视化。因此,我越来越多地被问到您是否真的需要在数据湖上进行数据治理。毕竟,数据湖是一个集中式存储库,允许您以可扩展的方式存储所有结构化和非结构化数据。

与数据仓库不同,您可以按原样存储数据,而无需先构建数据。这导致许多组织以不受控制和轻率的方式将大量数据“倾倒”到数据湖中。结果是许多人称之为“数据沼泽”,并没有提供他们希望的惊人见解。

所以这个问题的简单答案是肯定的 - 你确实需要数据治理数据湖,以防止它们成为用户不使用的数据沼泽,因为他们不知道那里有什么数据,他们找不到它,或者他们只是不相信它。如果您的数据库上有数据治理,那么您和您的用户可以确信它包含可以找到并正确使用的干净数据。

但我不指望你只是接受我的话; 让我们看一下为什么要对数据库中的数据实施数据治理的一些原因:

数据所有者已达成一致

数据所有者应该批准他们拥有的数据是否适合加载到Data Lake,例如它是否是敏感数据,如果在加载之前是匿名的?

此外,数据湖的用户如果对数据有任何疑问及其可以或不可以使用的内容,则需要知道联系人。

数据定义

虽然数据定义在所有情况下都是可取的,但对数据湖来说它们更为必要。在没有定义的情况下,更多结构化数据库中的数据用户可以使用该数据的上下文来收集数据可能是什么的一些想法。由于数据湖本质上是非结构化的,因此没有这样的背景。

缺少数据定义意味着用户可能无法找到或理解数据,或者使用错误的数据进行分析。因此,数据湖可以提供现成的数据来源,但缺乏对它的理解将意味着它无法快速,轻松地用于响应机会,并且数据湖的使用将局限于一个小的专家用户数量。

数据质量标准

数据质量标准使您能够监控和报告数据湖中保存的数据的质量。虽然在分析大量数据时并不总是需要完美的数据,但用户确实需要了解数据的质量。如果没有标准(以及监控它们的能力),用户将无法知道数据是否足以进行分析。

数据清理

在数据湖内以自动方式完成的任何数据清理需要与数据所有者和数据使用者达成一致,以确保所有此类行为符合定义和标准,并且不会导致数据无法用于某些分析目的 - 例如,将缺席的出生日期默认到约定的日期可能会影响分析,这些分析涉及查看客户的年龄。

数据质量问题解决

虽然在某些情况下数据湖内的自动数据清理可能是适当的,但数据湖中所有已识别的数据质量问题都应通过现有流程进行管理,以确保数据所有者和数据同意最合适的解决方案。消费者。

数据沿袭

记录数据流总是有价值的,但为了满足某些监管要求,(包括EU GDPR)组织需要证明他们知道数据的位置以及数据在整个公司中的流动方式。

关键数据治理可交付成果之一是数据沿袭图。应将数据流中的关键或敏感数据记录在数据流图中。这将通过突出显示数据的来源来增加对数据使用者的理解。此类文档还有助于防止将来将重复数据加载到数据湖中。

我希望我已经说服你,如果你想要一个数据湖来支持你的业务决策,那么就需要数据治理。虽然它可能不需要像您为数据仓库安装的定义和文档那样精细,但需要确保您创建和维护数据湖而不是数据沼泽!

在没有首先理解数据的情况下将数据提取到数据湖中,这只是经常发生的许多数据治理错误之一。您可以在此处下载我的免费报告,找出最常见的错误,更重要的是如何避免错误。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 数据治理的坑,你踩过多少?

    数据治理的坑,你踩过多少?

    大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大……查看详情

    发布时间:2020.06.29来源:CSDN浏览量:801次

  • 数据治理:推动结果的引擎

    数据治理:推动结果的引擎

    组织成功取决于某些与共同业务目标一致的构建块。这些构建块包括业务活动,数据和分析。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:485次

  • 数据治理:如何入门

    数据治理:如何入门

    无论是在零售业,银行业还是医疗保健业,如今最精明的商业领袖都将数据列入其顶级企业资产 - 与产品,设备,设施和员工一样有价值 - 并且他……查看详情

    发布时间:2018.11.23来源:Henry DeVries浏览量:479次

  • 探索科学有效的数据治理之路

    探索科学有效的数据治理之路

    数据是数字经济的基础性战略资源,数据治理能力是国家竞争力的体现。随着移动互联网、物联网、云计算等信息技术的飞速发展,人们的生产和生活方式……查看详情

    发布时间:2020.07.31来源:CSDN浏览量:544次

  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?在为所有CitizenBank的企业数据创建和实施……查看详情

    发布时间:2018.12.27来源:亿信华辰浏览量:479次

  • 数据质量包括那些方面

    数据质量包括那些方面

    数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。……查看详情

    发布时间:2020.04.09来源:百度浏览量:606次

  • 数据资产管理是做什么的?

    数据资产管理是做什么的?

    随着大数据的持续升温,数据资产管理近年来成为政府和企业领导层特别关注的领域。尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得……查看详情

    发布时间:2019.12.19来源:知乎浏览量:424次

  • 您是将数据视为资产吗?

    您是将数据视为资产吗?

    您可以做的最好的事情是鼓励以数据为中心的文化,实现安全和隐私的重要性,以及了解数据对您组织的成功至关重要。 这是我们不断听到的一句话,……查看详情

    发布时间:2018.12.28来源:数据治理浏览量:398次

  • 美国政府开放数据的元数据标准对我国的启示

    美国政府开放数据的元数据标准对我国的启示

    从 2012 年至今,我国已相继上线近 20 个地方政 府开放数据的门户网站,国家层面的统一数据门户 网站 www.data.gov.c……查看详情

    发布时间:2019.08.27来源:大连海事大学交通运输管理学院浏览量:509次

  • 2021基层政府数据治理的必要性

    2021基层政府数据治理的必要性

    政府数据治理是指为高效发挥数据价值、达到治理能力现代化的目标,以政府为主导、社会共同负责的多元主体,运用各种可行手段对重要数据资源各个生……查看详情

    发布时间:2021.04.26来源:亿信数据治理知识库浏览量:620次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议