询问数据治理教练:数据湖上的数据治理?

发布时间:2019.03.22来源:亿信华辰浏览量:434次标签:数据治理


目前有很多关于数据湖泊及其提供的可能性的兴奋,特别是关于分析和数据可视化。因此,我越来越多地被问到您是否真的需要在数据湖上进行数据治理。毕竟,数据湖是一个集中式存储库,允许您以可扩展的方式存储所有结构化和非结构化数据。

与数据仓库不同,您可以按原样存储数据,而无需先构建数据。这导致许多组织以不受控制和轻率的方式将大量数据“倾倒”到数据湖中。结果是许多人称之为“数据沼泽”,并没有提供他们希望的惊人见解。

所以这个问题的简单答案是肯定的 - 你确实需要数据治理数据湖,以防止它们成为用户不使用的数据沼泽,因为他们不知道那里有什么数据,他们找不到它,或者他们只是不相信它。如果您的数据库上有数据治理,那么您和您的用户可以确信它包含可以找到并正确使用的干净数据。

但我不指望你只是接受我的话; 让我们看一下为什么要对数据库中的数据实施数据治理的一些原因:

数据所有者已达成一致

数据所有者应该批准他们拥有的数据是否适合加载到Data Lake,例如它是否是敏感数据,如果在加载之前是匿名的?

此外,数据湖的用户如果对数据有任何疑问及其可以或不可以使用的内容,则需要知道联系人。

数据定义

虽然数据定义在所有情况下都是可取的,但对数据湖来说它们更为必要。在没有定义的情况下,更多结构化数据库中的数据用户可以使用该数据的上下文来收集数据可能是什么的一些想法。由于数据湖本质上是非结构化的,因此没有这样的背景。

缺少数据定义意味着用户可能无法找到或理解数据,或者使用错误的数据进行分析。因此,数据湖可以提供现成的数据来源,但缺乏对它的理解将意味着它无法快速,轻松地用于响应机会,并且数据湖的使用将局限于一个小的专家用户数量。

数据质量标准

数据质量标准使您能够监控和报告数据湖中保存的数据的质量。虽然在分析大量数据时并不总是需要完美的数据,但用户确实需要了解数据的质量。如果没有标准(以及监控它们的能力),用户将无法知道数据是否足以进行分析。

数据清理

在数据湖内以自动方式完成的任何数据清理需要与数据所有者和数据使用者达成一致,以确保所有此类行为符合定义和标准,并且不会导致数据无法用于某些分析目的 - 例如,将缺席的出生日期默认到约定的日期可能会影响分析,这些分析涉及查看客户的年龄。

数据质量问题解决

虽然在某些情况下数据湖内的自动数据清理可能是适当的,但数据湖中所有已识别的数据质量问题都应通过现有流程进行管理,以确保数据所有者和数据同意最合适的解决方案。消费者。

数据沿袭

记录数据流总是有价值的,但为了满足某些监管要求,(包括EU GDPR)组织需要证明他们知道数据的位置以及数据在整个公司中的流动方式。

关键数据治理可交付成果之一是数据沿袭图。应将数据流中的关键或敏感数据记录在数据流图中。这将通过突出显示数据的来源来增加对数据使用者的理解。此类文档还有助于防止将来将重复数据加载到数据湖中。

我希望我已经说服你,如果你想要一个数据湖来支持你的业务决策,那么就需要数据治理。虽然它可能不需要像您为数据仓库安装的定义和文档那样精细,但需要确保您创建和维护数据湖而不是数据沼泽!

在没有首先理解数据的情况下将数据提取到数据湖中,这只是经常发生的许多数据治理错误之一。您可以在此处下载我的免费报告,找出最常见的错误,更重要的是如何避免错误。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 如何建立有效的数据交换管理平台?

    如何建立有效的数据交换管理平台?

    随着企业综合管理水平的提高和信息化建设的开展和深入,企业数值转型也越发迫切,企业在转型过程中必然会有业务系统之间数据交换,但是数据交换又……查看详情

    发布时间:2020.04.22来源:知乎浏览量:480次

  • 企业架构框架和元模型,指南

    企业架构框架和元模型,指南

    与任何建筑或基础设施项目需要不同的利益相关者和不同的计划视图的方式大致相同,企业架构(EA)也需要相同。……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:540次

  • 数据治理中元数据的作用

    数据治理中元数据的作用

    数据治理中元数据的作用主要体现在以下几方面:便捷的业务导航,提高数据质量,工作更高效,降低培训成本,消除知识不对称,高效精准沟通,降低数……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:438次

  • 数据治理在有效合规计划中的作用

    数据治理在有效合规计划中的作用

    有效的合规计划由许多活动部分组成。关键数据来自运行操作所需的各种工具,文档,系统和技术。因此,企业在试图获得任何特定时间的风险状况的完整……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:486次

  • 2021金融数据治理的趋势

    2021金融数据治理的趋势

    金融数据治理逐渐体现出了目标双核化、结果资产化、手段科技化的特点,并且具有了生态治理、标准治理、中台治理的数据治理趋势。……查看详情

    发布时间:2021.05.18来源:亿信数据治理知识库浏览量:511次

  • 数据治理:将数据从源头进行清洗

    数据治理:将数据从源头进行清洗

    数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与……查看详情

    发布时间:2019.06.20来源:简书浏览量:624次

  • 什么是敏捷数据管理?敏捷数据管理的技术原则

    什么是敏捷数据管理?敏捷数据管理的技术原则

    在大数据的时代,大家都在重视数据存储和大数据相关技术的同时,都开始注重建设数据管理能力。在海量复杂数据的场景下,如果没有有效的管理,那么……查看详情

    发布时间:2022.03.03来源:小亿浏览量:569次

  • 从数据治理看医疗大数据的发展

    从数据治理看医疗大数据的发展

    《从数据治理看医疗大数据的发展》主要分享医疗大数据中数据治理的重要性,并结合具体案例来讲述大数据治理的框架和应用心得。……查看详情

    发布时间:2019.02.25来源:网络大数据浏览量:547次

  • 数据滥采滥用已到非治理不可的地步

    数据滥采滥用已到非治理不可的地步

    目前个人数据滥采、滥用、非法采集和使用现象十分严重,严重侵害了个人权益,个人信息保护制度亟待建立!……查看详情

    发布时间:2019.10.17来源:知乎浏览量:519次

  • 如何有效的进行数据治理?

    如何有效的进行数据治理?

    如果你处理或使用过大量数据,一定有听到过“数据治理”这个词。你会思考数据治理是什么?数据治理是否适合你?如何实施……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:493次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议