重新思考数据治理

随着数据和分析技术的变化，它们带来了新的数据治理挑战。当然，数据治理有各种定义，具体取决于您询问的对象。出于本文的目的，我们将其定义为确保数据生命周期中所有点的数据正确使用，完整性和安全性的实践。换句话说，它是如何管理公司数据的计划或“转向”。这是一个不断发展的生态系统。

涵盖企业数据仓库（EDW）系统的传统治理措施仍然适用，但角色，最佳实践和功能正在发生变化。治理实践必须考虑现代数据技术和用例。例如，我们看到许多公司现在将原始数据源存储在数据湖中，并为未预料到的用例“即时”集成它们。在其他情况下，角色随着技术而变化。数据管理员现在是倡导者 - 而不是看门人 - 因为不同业务部门之间的数据共享受到鼓励。

随着数据的期望和用例的增长和发展，您的思考方式和管理数据的要求也会发生变化。您需要开发一个更新的治理策略，以解决分布式数据平台带来的变化，不断变化的治理角色，数据用例的爆炸性以及业务发展的不断变化。

在这篇文章中，我们将详细描述数据治理领域的变化，这些变化如何帮助您从数据中获得更多价值，以及您和您的组织可以采取哪些措施来适应这些变化。

旧的方式正在发生变化

在传统的数据平台中，数据来自少量策展源，被加载到RDB或EDW系统中，并通过BI报告工具进行分析（图1）。

在这样的环境中，数据管理员能够提前策划数据，因为数据分析用例的数量是已知且有限的。由于策划数据所涉及的工作，向模式添加字段或修改模式是一个漫长的过程。只有在仔细审查和广泛审查后才会添加新的数据来源。

然而，今天，公司需要访问许多新类型的数据以进行探索和分析。由于公司已将这些新的非结构化数据源放在分布式数据平台中，因此数据不再仅存储在EDW中用于报告。某些数据文件甚至是“读取架构”，其中在确定用例并进行数据访问之前未定义架构。

为了增加一些挑战，随着这些动态集成案例的复杂性增加，数据质量和数据沿袭跟踪变得更加重要，特别是在涉及监管和合规性时。今天的数据管道要复杂得多（图2）。数据来自更多来源，存储在许多地方，不断完善，并可用于许多新类型的服务和应用程序。

一种常见的下意识反应是公司采用其现有的数据治理实践，即在唯一的数据存储是EDW时设计的实践，并将其应用于这些新技术和需求。这可能感觉很舒服，但最终旨在与灵活性较低的系统一起使用的政策和用例最终会扼杀创新而不是启用它。这是推动数据治理现代化的动力所在。

需要改变什么？

为了研究数据治理需要改变什么，让我们从三个高级领域开始：

1. 数据治理运营模型
2. 关于数据管理的观点，功能和流程（我们将管理权定义为负责管理和数据的可用性）
3. 信息生命周期管理的视图，功能和流程

注意：这三个组件本身并未发生变化，但相关活动，实践或技术如何应用于数据。

数据治理运营模式的变化

以前，IT中的单个人或团队通常会针对业务线进行治理。现在，随着更多数据共享，数据治理专业人员必须跨业务线进行协作。因此，数据治理更加协作，实际上集中和混合运营模式，并且可能由首席数据官（CDO）负责。

数据管理变更

数据管理的角色和目标现在专注于识别和实现您从数据中获取价值的方式。数据管理员现在充当数据倡导者，鼓励在以前只在孤岛中工作的不同业务线之间共享数据。管理员现在不会负责精心清理和管理数据，而是像数据管理员那样负责数据，确保数据可用，并且可以针对意外的用例进行集成。而不是通过书本数据监控，管理员现在充当数据管理员，在考虑数据质量时对潜在用例采取更全面的观点。

数据生命周期管理的变化

现在数据架构包括EDW和分布式数据平台（DDP）系统，信息生命周期管理的治理流程也相应发生了变化。EDW数据的政策仍然存在，但是新的数据已经出现在进入DDP的数据中。正如我们前面提到的，该技术更加灵活，因此不再需要数周或数月的时间来摄取新的数据源。由于它不必遵守严格的模式，因此可以在几天内或甚至更快地添加新数据。一旦摄取了新数据，它就以原始格式存储，而不是预定义的模式。如果没有这些预定义的模式，元数据捕获和管理也变得更加重要，从而实现数据分类和探索。

图3总结了这三个维度的变化。

虽然它们最初可能看起来势不可挡，但这些变化实际上可以为您的公司带来显着的竞争优势。适当的数据治理有助于降低成本，实现更好的决策，并通过数据共享增强协作。

你接下来的步骤是什么？

要真正利用现代数据治理提供的功能，您必须对您从何处开始进行诚实的评估。跟着这些步骤：

• 确保您的组织具有数据治理的计划和目标，包括确定您的治理优先级。所有这些都应符合您更大的业务目标。
• 仔细查看您的数据治理角色，策略和实践。他们中的任何一个都过时了吗？
• 专注于您想要创建的结果和行为。确保您正确地平衡风险与从数据中获取额外价值的能力。