询问数据治理教练:数据湖上的数据治理?

发布时间:2019.03.22来源:亿信华辰浏览量:437次标签:数据治理


目前有很多关于数据湖泊及其提供的可能性的兴奋,特别是关于分析和数据可视化。因此,我越来越多地被问到您是否真的需要在数据湖上进行数据治理。毕竟,数据湖是一个集中式存储库,允许您以可扩展的方式存储所有结构化和非结构化数据。

与数据仓库不同,您可以按原样存储数据,而无需先构建数据。这导致许多组织以不受控制和轻率的方式将大量数据“倾倒”到数据湖中。结果是许多人称之为“数据沼泽”,并没有提供他们希望的惊人见解。

所以这个问题的简单答案是肯定的 - 你确实需要数据治理数据湖,以防止它们成为用户不使用的数据沼泽,因为他们不知道那里有什么数据,他们找不到它,或者他们只是不相信它。如果您的数据库上有数据治理,那么您和您的用户可以确信它包含可以找到并正确使用的干净数据。

但我不指望你只是接受我的话; 让我们看一下为什么要对数据库中的数据实施数据治理的一些原因:

数据所有者已达成一致

数据所有者应该批准他们拥有的数据是否适合加载到Data Lake,例如它是否是敏感数据,如果在加载之前是匿名的?

此外,数据湖的用户如果对数据有任何疑问及其可以或不可以使用的内容,则需要知道联系人。

数据定义

虽然数据定义在所有情况下都是可取的,但对数据湖来说它们更为必要。在没有定义的情况下,更多结构化数据库中的数据用户可以使用该数据的上下文来收集数据可能是什么的一些想法。由于数据湖本质上是非结构化的,因此没有这样的背景。

缺少数据定义意味着用户可能无法找到或理解数据,或者使用错误的数据进行分析。因此,数据湖可以提供现成的数据来源,但缺乏对它的理解将意味着它无法快速,轻松地用于响应机会,并且数据湖的使用将局限于一个小的专家用户数量。

数据质量标准

数据质量标准使您能够监控和报告数据湖中保存的数据的质量。虽然在分析大量数据时并不总是需要完美的数据,但用户确实需要了解数据的质量。如果没有标准(以及监控它们的能力),用户将无法知道数据是否足以进行分析。

数据清理

在数据湖内以自动方式完成的任何数据清理需要与数据所有者和数据使用者达成一致,以确保所有此类行为符合定义和标准,并且不会导致数据无法用于某些分析目的 - 例如,将缺席的出生日期默认到约定的日期可能会影响分析,这些分析涉及查看客户的年龄。

数据质量问题解决

虽然在某些情况下数据湖内的自动数据清理可能是适当的,但数据湖中所有已识别的数据质量问题都应通过现有流程进行管理,以确保数据所有者和数据同意最合适的解决方案。消费者。

数据沿袭

记录数据流总是有价值的,但为了满足某些监管要求,(包括EU GDPR)组织需要证明他们知道数据的位置以及数据在整个公司中的流动方式。

关键数据治理可交付成果之一是数据沿袭图。应将数据流中的关键或敏感数据记录在数据流图中。这将通过突出显示数据的来源来增加对数据使用者的理解。此类文档还有助于防止将来将重复数据加载到数据湖中。

我希望我已经说服你,如果你想要一个数据湖来支持你的业务决策,那么就需要数据治理。虽然它可能不需要像您为数据仓库安装的定义和文档那样精细,但需要确保您创建和维护数据湖而不是数据沼泽!

在没有首先理解数据的情况下将数据提取到数据湖中,这只是经常发生的许多数据治理错误之一。您可以在此处下载我的免费报告,找出最常见的错误,更重要的是如何避免错误。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 数据治理计划阶段

    数据治理计划阶段

    所有程序都有生命周期。……查看详情

    发布时间:2019.03.29来源:亿信华辰浏览量:416次

  • 数据治理和数据管理、数据管控是什么关系

    数据治理和数据管理、数据管控是什么关系

    如果要用一个模型来描述数据治理、数据管理、数据管控这三个名词,那应该是一个“金字塔”模型。……查看详情

    发布时间:2021.04.12来源:亿信数据治理研究院浏览量:485次

  • 数据治理研究述评

    数据治理研究述评

    数据治理是数据科学时代关注的研究课题,对数据治理的概念、体系、内容和应用的相关研究进行述评,以期将数据治理研究引向深入。……查看详情

    发布时间:2019.08.27来源:南京大学信息管理学院浏览量:993次

  • 数据标准在数据资产管理中的意义

    数据标准在数据资产管理中的意义

    尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得如何实操数据资产管理、在企业中真正落地的更寥寥无几。笔者有幸参与了国内几个典……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:532次

  • 数据治理中元数据的作用

    数据治理中元数据的作用

    数据治理中元数据的作用主要体现在以下几方面:便捷的业务导航,提高数据质量,工作更高效,降低培训成本,消除知识不对称,高效精准沟通,降低数……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:441次

  • 大数据治理需要解决哪些问题?

    大数据治理需要解决哪些问题?

    随着云时代的来临,大数据也吸引了越来越多的关注。大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大……查看详情

    发布时间:2018.10.15来源:数邦客浏览量:488次

  • 亿信华辰成为DAMA数据管理知识体系授权培训基地

    亿信华辰成为DAMA数据管理知识体系授权培训基地

    2021年4月,亿信华辰被正式授权为DAMA中国(国际数据管理协会-中国分会)数据管理知识体系培训基地,成为DAMA在数据管理领域专业人……查看详情

    发布时间:2021.06.22来源:亿信华辰浏览量:401次

  • 数据治理领军企业在中国

    数据治理领军企业在中国

    中国在大数据领域做得不错。中国人口多,数据就多,数据多就会呼唤更先进的数据处理技术,呼唤更多的数据应用场景,这是中国在数据方面得天独厚的……查看详情

    发布时间:2020.07.31来源:知乎浏览量:420次

  • 数据管理的演进:从响应业务到创造业务

    数据管理的演进:从响应业务到创造业务

    企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题,第三阶段“创造业务”,则需要AI中台。……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:485次

  • 数据治理对医疗保健组织来说往往是个谜

    数据治理对医疗保健组织来说往往是个谜

    数据治理对医疗保健组织来说往往是个谜。“它是什么?我该怎么做?我在哪里可以买到它?“它引起了一些想法。 数据治理是一组流程,可确保在整……查看详情

    发布时间:2018.11.23来源:数据治理浏览量:485次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议