为什么集成和治理对数据湖成功至关重要

发布时间:2019.02.28来源:亿信华辰浏览量:18次标签:数据治理


这是一个由三部分组成的系列文章的最后一篇文章,探讨如何构建一个能够满足真正企业级数据管理平台所有要求的数据湖。虽然早期的专题文章侧重于Hadoop中的企业级数据管理,数据入库中的数据以及安全性,但本文将重点关注两件事:在更广泛的企业IT环境中整合数据湖,以及数据治理

随着更多湖泊的部署,我们看到了数据湖相对于大型组织中现有数据库,数据仓库,分析设备和企业应用程序的定位模式。

数据湖:留在这里

一些数据湖从一开始就被部署为集中的记录数据平台系统,为企业规模的其他系统服务,即数据即服务模型。随着集中数据湖建立势头,收集更多数据并吸引更多用例和用户,随着用户协作改进和重用数据,其价值也在不断增长。

其他项目始于组织的边缘,以提供数据并满足特定业务组的分析需求。本地化数据湖通常会扩展为支持多个团队或生成其他单独的数据湖实例,以支持希望获得与第一组相同的改进数据访问权限的其他组。

无论数据湖在组织中落地和扩展采用何种模式,数据湖在组织中日益重要的角色都会带来对企业准备的新要求。

整合挑战

为了做好企业准备,数据湖需要支持一系列功能,使其能够集成到公司的整体数据管理战略和IT应用程序以及数据流方面。

以下是一些要记住的要求:


  • 必须能够自动化和嵌入与数据湖交互的过程,以便可以在熄灯生产模式下自动调用和执行用新数据更新湖或从湖中提供数据的作业。这意味着数据湖需要提供RESTFul API,该API可以由环境中的其他脚本或计划调用,并公开在生产环境中与数据湖交互所需的所有功能。
  • 数据湖需要能够以多种格式导出数据和相关元数据,以便湖中的数据可以轻松地与其他应用程序或下游报告/分析系统集成。
  • 数据湖需要支持开发,测试和生产环境,并允许在数据湖环境中从一个环境到下一个环境轻松推广数据摄取,数据准备和类似资产。
  • 数据湖需要使湖泊的各个部分更容易在不同的Hadoop集群中共享,以便在具有多个数据湖的大型组织中,可以轻松且一致地共享数据,元数据和相关资产。
  • 必须可以将在数据湖中收集和生成的元数据与其他企业标准元数据存储库进行交换。


治湖

除了流式传输数据湖的集成之外,您还必须准备好湖泊,以支持广泛且不断扩展的业务用户社区。

随着越来越多的用户开始直接或通过下游应用程序或报告/分析系统处理数据湖,强大数据治理的重要性也在增长。本主题 - 数据治理 - 是企业准备的最后一个维度。

通过将大量存储库中的数百种不同数据集汇集在一起,并为用户提供前所未有的直接访问数据,数据湖创造了新的治理挑战和机遇。

挑战与确保数据治理政策和程序在湖中存在并得到执行有关。数据湖中的企业级数据治理首先明确定义了每个数据资产进入湖泊时谁拥有或拥有监管责任,并通过数据湖流程进行维护和增强。此外,数据湖需要包含有关所需准确性,可访问性,一致性,完整性和每个数据源更新的详细记录策略。

为了监视和实施这些策略的应用,数据湖环境必须根据数据质量,特性和完整性自动分析每个数据源的摄取。此外,数据湖应自动跟踪和记录数据资产的任何操作(清理,转换,准备),以提供湖中所有用户和活动的清晰审计跟踪。

最后,当涉及数据湖中的企业级数据治理时,必须制定限制措施以确保人们只能看到应该允许他们看到的数据。(有关身份验证,授权和数据访问控制的重要性的更多信息,请参阅本系列的第2部分。)

企业规模的良性循环

但数据治理在真正的企业级数据湖中的作用不仅是降低风险和实施控制。它还可以创建附加值,并围绕用户和组的数据实现更丰富的更广泛协作。

如果设计得当,数据湖的独特之处在于允许大量非技术业务用户在从原始源系统数据到业务用户就绪信息的进化路径上移动数据时访问,探索和增强数据。

良好的数据治理通过帮助业务用户使用众包业务元数据增强数据以及为数据添加上下文,业务定义和含义的标记来实现此过程。结合数据治理策略,有选择地剔除并促进组织中对“黄金标准”数据的最佳群众资源洞察力,越来越多的企业用户参与企业规模数据湖可以创建用户的良性循环参与可以增强数据,带来更多用户,更多增强,并最终为湖泊带来更多价值。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据情报,数据治理和第四次工业革命

    数据情报,数据治理和第四次工业革命

    世界经济论坛创始人,“第四次工业革命 ”一书的作者克劳斯·施瓦布表示,目前技术突破的速度没有历史先例,第四次革命是以指数而非线性的速度发……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:19次

  • 大数据时代的企业都有那些数据质量问题

    大数据时代的企业都有那些数据质量问题

    企业要想充发挥大数据的作用,就要保证数据的可靠、及时、准确,只有从高质量的数中提取出来的有用信息,企业才可以做出更精准的决策,才能更了解……查看详情

    发布时间:2019.09.27来源:数据分析网浏览量:9次

  • 那些关于数据治理的不过时观点

    那些关于数据治理的不过时观点

    数据是有成本,数据是有成本的。存储数据是需要成本的,数据的成本绝非只有物理存储空间成本那么简单,实际上它包括了下述五种成本要素:……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:22次

  • 正确的数据文化是数据治理成功的预测指标

    正确的数据文化是数据治理成功的预测指标

    获得数据治理计划的业务和领导支持 - 以及在该支持下建立数据文化 - 仍然是许多组织面临的重大挑战。然而,根据一项新的调查,获得这种支持……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:20次

  • 大数据平台安全防护——亿信华辰

    大数据平台安全防护——亿信华辰

    企业大数据数据源接入越来越多、数据量越来越大、平台越来越复杂,保存了很多企业敏感数据,甚至客户隐私信息。随着数据商业价值的增加,针对数据……查看详情

    发布时间:2019.01.10来源:亿信华辰浏览量:22次

  • 大数据时代不能没有数据治理

    大数据时代不能没有数据治理

    第一个提出大数据时代到来的是全球知名咨询公司麦肯锡,现如今大数据存在于各个行业,受到了人们的重视。现在社会科技告诉发展,信息流通快,使得……查看详情

    发布时间:2019.08.13来源:知乎浏览量:10次

  • 基础数据标准 – 从制定到落实

    基础数据标准 – 从制定到落实

    标准,是旨在一定范围内维护最佳秩序,经协商一致制定并公开颁布认定、共同遵循的一种规范性要求。……查看详情

    发布时间:2019.12.20来源:知乎浏览量:21次

  • 大数据时代企业为什么需要数据治理吗?

    大数据时代企业为什么需要数据治理吗?

    如今数字化转型正在各行各业中迅速发展,以数据、流量、知识为主大数据时代已经到来,对于一个企业来说,要实施数字花和大数据战略,数据治理更为……查看详情

    发布时间:2019.07.18来源:知乎浏览量:14次

  • 对于制药公司而言,数据治理不应成为吞下难以接受的药物

    对于制药公司而言,数据治理不应成为吞下难以接受的药物

    制药和生命科学公司面临着许多与其他行业相同的数字转型压力,例如我们之前探讨过的金融服务和医疗保健。作为回应,他们正在转向高级分析平台和基……查看详情

    发布时间:2018.12.06来源:迈克尔帕斯托雷浏览量:9次

  • 超越法规遵从:从数据治理创造业务价值

    超越法规遵从:从数据治理创造业务价值

    基于模型的,基于标准的数据治理语义方法正迅速成为整个金融领域的行业规范。这方面的一些最普遍和开拓性的努力是由企业数据管理委员会(EDMC……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:12次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议