大数据治理的新范例

数十年来，数据科学家已经拥有沙箱来探索数据并找到有价值的见解。在看似愉快的折衷方案中，分析师可以快速加载，操纵和组合企业和行业数据，以寻找新的见解和预测，而无需担心它们会危及敏感数据或生产工作流程。虽然这加速了创造新的见解，但将它们投入生产是一场噩梦。在未部署的环境中创建的一组自定义代码和数据需要在部署之前进行转换，质量控制和优化。企业通常需要一年的大部分时间才能从几周内收集的洞察中获得价值。 

大数据的幽灵有可能使情况变得更糟- 在很大程度上。现在，分析师们正在使用IT外部的数据结构和编程语言。外部数据源的数量和复杂性正在爆炸式增长。如果没有新的方法，在大数据沙箱中发现的洞察力可能永远不会投入生产。 

所出现的是一种新的范例，它将数据治理- 大多数分析师的诅咒这一术语 - 带入了大数据。但是，大数据治理不是严格限制数据使用和文档，而是灵活，协作和高效。它使分析师参与而非分离，以获取他们的学习以加速生产准备。最重要的是，它取代了沙箱数据的大规模转换，并采用“促销”流程，确保分析数据在大数据平台上生产就绪。 

大数据治理要求我们从头开始重新思考治理。大数据治理不是物理地分离沙箱和生产数据，而是逻辑地控制访问和使用，因为数据从“原始”到“准备”成熟。您如何判断数据是否已准备好生产？元数据。任何支持生产使用的大数据平台都必须具有跟踪数据摄取，验证，准备和使用生命周期的元数据。元数据需要管理数据访问权限，捕获数据分析结果以及数据开发人员和最终用户的评论。元数据存储定义生产准备的策略，并能够实施它们。没有元数据，数据湖就变成了数据沼泽。 

但为了实现这一点，元数据捕获必须是自动化和相关的。大数据治理的第二个原则与当前的教条相矛盾：从一开始就使用模式来丰富元数据。大多数业务数据都是结构化的，无论是关系数据库，日志文件，XML还是大型机副本。该结构可用于自动评估原始数据的质量，完整性和内容。这不仅为分析师提供了对数据的洞察力，还建立了一个可以构建的元数据基础。

大数据治理的第三个原则是记分卡驱动的优先级。并非所有数据都需要严格的质量和访问管理。实际上，假设大多数原始数据都不会被使用- 因此丰富其元数据是浪费时间。相反，记分卡是为数据的各种用途而创建的 - 合规报告，营销分析，供应链分析等。某些策略适用于所有记分卡 - 需要屏蔽PII数据 - 其他则非常具体 - 需要数据沿袭所有合规报告。使用元数据基础，可以轻松地为任何数据集创建记分卡。然后，这些记分卡用于识别治理工作并确定其优先级，以使最重要的数据生产就绪。 

从哪儿开始？如果您的数据库元数据较差，那么就建议您先评估现有资产的质量和内容。自动化工具可以填充元数据存储库，作为创建记分卡的基础。使湖泊的内容和质量透明是迈向大数据治理的第一步。