询问数据治理教练:数据湖上的数据治理?

发布时间:2019.03.22来源:亿信华辰浏览量:116次标签:数据治理


目前有很多关于数据湖泊及其提供的可能性的兴奋,特别是关于分析和数据可视化。因此,我越来越多地被问到您是否真的需要在数据湖上进行数据治理。毕竟,数据湖是一个集中式存储库,允许您以可扩展的方式存储所有结构化和非结构化数据。

与数据仓库不同,您可以按原样存储数据,而无需先构建数据。这导致许多组织以不受控制和轻率的方式将大量数据“倾倒”到数据湖中。结果是许多人称之为“数据沼泽”,并没有提供他们希望的惊人见解。

所以这个问题的简单答案是肯定的 - 你确实需要数据治理数据湖,以防止它们成为用户不使用的数据沼泽,因为他们不知道那里有什么数据,他们找不到它,或者他们只是不相信它。如果您的数据库上有数据治理,那么您和您的用户可以确信它包含可以找到并正确使用的干净数据。

但我不指望你只是接受我的话; 让我们看一下为什么要对数据库中的数据实施数据治理的一些原因:

数据所有者已达成一致

数据所有者应该批准他们拥有的数据是否适合加载到Data Lake,例如它是否是敏感数据,如果在加载之前是匿名的?

此外,数据湖的用户如果对数据有任何疑问及其可以或不可以使用的内容,则需要知道联系人。

数据定义

虽然数据定义在所有情况下都是可取的,但对数据湖来说它们更为必要。在没有定义的情况下,更多结构化数据库中的数据用户可以使用该数据的上下文来收集数据可能是什么的一些想法。由于数据湖本质上是非结构化的,因此没有这样的背景。

缺少数据定义意味着用户可能无法找到或理解数据,或者使用错误的数据进行分析。因此,数据湖可以提供现成的数据来源,但缺乏对它的理解将意味着它无法快速,轻松地用于响应机会,并且数据湖的使用将局限于一个小的专家用户数量。

数据质量标准

数据质量标准使您能够监控和报告数据湖中保存的数据的质量。虽然在分析大量数据时并不总是需要完美的数据,但用户确实需要了解数据的质量。如果没有标准(以及监控它们的能力),用户将无法知道数据是否足以进行分析。

数据清理

在数据湖内以自动方式完成的任何数据清理需要与数据所有者和数据使用者达成一致,以确保所有此类行为符合定义和标准,并且不会导致数据无法用于某些分析目的 - 例如,将缺席的出生日期默认到约定的日期可能会影响分析,这些分析涉及查看客户的年龄。

数据质量问题解决

虽然在某些情况下数据湖内的自动数据清理可能是适当的,但数据湖中所有已识别的数据质量问题都应通过现有流程进行管理,以确保数据所有者和数据同意最合适的解决方案。消费者。

数据沿袭

记录数据流总是有价值的,但为了满足某些监管要求,(包括EU GDPR)组织需要证明他们知道数据的位置以及数据在整个公司中的流动方式。

关键数据治理可交付成果之一是数据沿袭图。应将数据流中的关键或敏感数据记录在数据流图中。这将通过突出显示数据的来源来增加对数据使用者的理解。此类文档还有助于防止将来将重复数据加载到数据湖中。

我希望我已经说服你,如果你想要一个数据湖来支持你的业务决策,那么就需要数据治理。虽然它可能不需要像您为数据仓库安装的定义和文档那样精细,但需要确保您创建和维护数据湖而不是数据沼泽!

在没有首先理解数据的情况下将数据提取到数据湖中,这只是经常发生的许多数据治理错误之一。您可以在此处下载我的免费报告,找出最常见的错误,更重要的是如何避免错误。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理计划阶段

    数据治理计划阶段

    所有程序都有生命周期。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:113次

  • 大数据必备知识:数据的分类方式

    大数据必备知识:数据的分类方式

    数据分类在收集、处理和应用数据过程中非常重要。数据的分类方式很多,每种方式都有特别的作用。数据工作中不同角色往往需要理解和掌握不同的分类……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:123次

  • 在信息治理中处于领先地位

    在信息治理中处于领先地位

    随着这一关键战略的出现,应对最新的信息治理,以应对医疗保健领域的众多信息管理挑战。本博客将重点介绍IG为确保将信息视为组织资产而提出的趋……查看详情

    发布时间:2018.11.21来源:信息治理浏览量:122次

  • 您是否与数据治理的战略转变保持一致?

    您是否与数据治理的战略转变保持一致?

    大多数企业都知道数据是收入增长和长寿的关键,并且他们必须找到一种方法来利用这些资产获取洞察力以获得竞争优势。……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:125次

  • 银行数据治理怎么做,先了解一下元数据管理在银行业务中的应用

    银行数据治理怎么做,先了解一下元数据管理在银行业务中的应用

    伴随着我国银行信息化建设的发展,银行形成了包括核心系统、数据仓库、风险管理、客户关系管理等在内的多种业务和管理系统。大数据给银行数据处理……查看详情

    发布时间:2020.01.03来源:亿信华辰浏览量:96次

  • 新模型:组合投资组合管理和数据治理建议

    新模型:组合投资组合管理和数据治理建议

    通常,组织决定不让投资组合管理网守优先/授权所有来自治理主导的问题分析的建议。因此,创建了一个新模型,第三个存储桶。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:93次

  • 做好大数据治理才能建设好大数据平台

    做好大数据治理才能建设好大数据平台

    数据量不断的增加,对数据分析和管理带来了挑战,分析数据背后的价值也为企业发展,社会进步带来了机遇。因此各行各业开始建设大数据平台,大数据……查看详情

    发布时间:2019.08.15来源:知乎浏览量:137次

  • 如何选择正确的数据治理工具

    如何选择正确的数据治理工具

    通过选择和利用具有嵌入式质量控制的智能和工作流驱动的自助数据治理工具,您可以实施可扩展的信任系统。让我们探索一些方法来为您的团队找到合适……查看详情

    发布时间:2021.06.16来源:亿信数据治理知识库浏览量:94次

  • 数据治理带给企业的6个惊喜

    数据治理带给企业的6个惊喜

    数据治理是GDPR的强制要求实际是一把双刃剑。一方面,法律法规的强制规定能立即引起客户对数据治理的重视。另一方面,为了达到合规,很多企业……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:89次

  • 如何利用元数据管理数据资产

    如何利用元数据管理数据资产

    如今,各大企业都在关心数据该如何使用,但大数据应用的前提是有高质量的数据。而很多企业内部数据形态多样,标准不统一,大数据应用往往得从数据……查看详情

    发布时间:2020.11.05来源:知乎浏览量:99次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议