数据湖中的数据管理与治理

数据湖是存储所有数据的中心位置，无论源或格式如何。它通常使用Hadoop构建。数据可以是结构化的或非结构化的。您可以使用各种存储，分析和处理工具快速提取价值，以便为关键的组织决策提供信息。

由于欢迎所有数据，因此数据湖是传统企业数据仓库的有力替代或补充。此外，随着组织转向基于云的应用程序和物联网，数据湖是一个主要选择。

在早期用例中，组织经常将数据加载到数据湖中而不尝试对其进行管理。随着数据湖泊的成熟并对组织变得更具战略性，将数据转储到数据湖中并希望获得最佳效果已经不够了。

数据湖具有灵活性，可扩展性和成本效益。但是，如果您添加数据管理和治理功能（如数据质量，元数据管理，安全性，转换以及分组或组合数据的能力），它还可以拥有传统EDW的大部分内容。如果管理得当，数据湖可以改进现有的数据计划并实现新的计划。您的组织可以在构建数据湖时选择以下四种路径之一：

选项1：稍后解决治理问题

第一种选择是忽略治理并将数据自由加载到湖中。之后，当您需要从数据中发现见解时，您将不得不找到清理数据的工具，例如机器学习技术。这种方法存在实际风险。即便是最智能的推理引擎也需要在湖中的大量数据中启动。不可避免地，数据湖的某些部分将被忽略，变得停滞，孤立，并包含结构如此之少的数据，即使是最聪明的自动化工具 - 或人类分析师 - 也不知道从哪里开始。

选项2：调整现有的传统工具

您可以利用最初为EDW设计的应用程序和流程。可以使用软件工具执行在EDW中导入干净数据时使用的ETL过程。您可以使用这些工具将数据导入湖中，但这样做成本很高，并且只能解决您需要的部分管理和治理功能。另一个缺点是ETL发生在Hadoop集群之外，减慢了操作并增加了成本，因为每个查询都必须将数据移出集群。

选项3：编写自定义脚本

使用第三个选项，您可以使用自定义脚本构建工作流，该脚本连接流程，应用程序，质量检查和数据转换以满足治理需求。这是一个受欢迎的选择，但是最不可靠和最耗费资源。您需要熟练掌握Hadoop及其生态系统的高技能分析师来利用开源工具，他们需要编写脚本来连接各个部分。随着您在湖中成长，这个过程变得更加耗时且成本更高，因为您必须不断修改复杂的代码和工作流程。

选项4：部署集成数据湖管理平台

第四种选择是整合数据湖泊管理平台，该平台专门用于摄取和管理数据湖中的大量不同数据集。Zaloni的Bedrock提供此功能。它允许您对数据进行编目，利用元数据，并支持确保数据质量，数据沿袭和自动化工作流程的持续过程。这种方法正在成为数据湖管理和治理的最佳解决方案。

当您转换到数据湖时，选择完全集成的数据湖泊管理平台将使您对数据充满信心，并对其进行扩展以包含越来越多的用户和有利于业务的用例。毕竟，这就是数据的用途，通知和改善整个组织的决策流程，并以新的和令人兴奋的方式帮助您的业务增长。