大数据治理的新范例

发布时间:2018.12.26来源:亿信华辰浏览量:457次标签:数据治理


数十年来,数据科学家已经拥有沙箱来探索数据并找到有价值的见解。在看似愉快的折衷方案中,分析师可以快速加载,操纵和组合企业和行业数据,以寻找新的见解和预测,而无需担心它们会危及敏感数据或生产工作流程。虽然这加速了创造新的见解,但将它们投入生产是一场噩梦。在未部署的环境中创建的一组自定义代码和数据需要在部署之前进行转换,质量控制和优化。企业通常需要一年的大部分时间才能从几周内收集的洞察中获得价值。 

大数据的幽灵有可能使情况变得更糟- 在很大程度上。现在,分析师们正在使用IT外部的数据结构和编程语言。外部数据源的数量和复杂性正在爆炸式增长。如果没有新的方法,在大数据沙箱中发现的洞察力可能永远不会投入生产。 

所出现的是一种新的范例,它将数据治理- 大多数分析师的诅咒这一术语 - 带入了大数据。但是,大数据治理不是严格限制数据使用和文档,而是灵活,协作和高效。它使分析师参与而非分离,以获取他们的学习以加速生产准备。最重要的是,它取代了沙箱数据的大规模转换,并采用“促销”流程,确保分析数据在大数据平台上生产就绪。 

大数据治理要求我们从头开始重新思考治理。大数据治理不是物理地分离沙箱和生产数据,而是逻辑地控制访问和使用,因为数据从“原始”到“准备”成熟。您如何判断数据是否已准备好生产?元数据。任何支持生产使用的大数据平台都必须具有跟踪数据摄取,验证,准备和使用生命周期的元数据。元数据需要管理数据访问权限,捕获数据分析结果以及数据开发人员和最终用户的评论。元数据存储定义生产准备的策略,并能够实施它们。没有元数据,数据湖就变成了数据沼泽。 

但为了实现这一点,元数据捕获必须是自动化和相关的。大数据治理的第二个原则与当前的教条相矛盾:从一开始就使用模式来丰富元数据。大多数业务数据都是结构化的,无论是关系数据库,日志文件,XML还是大型机副本。该结构可用于自动评估原始数据的质量,完整性和内容。这不仅为分析师提供了对数据的洞察力,还建立了一个可以构建的元数据基础。

大数据治理的第三个原则是记分卡驱动的优先级。并非所有数据都需要严格的质量和访问管理。实际上,假设大多数原始数据都不会被使用- 因此丰富其元数据是浪费时间。相反,记分卡是为数据的各种用途而创建的 - 合规报告,营销分析,供应链分析等。某些策略适用于所有记分卡 - 需要屏蔽PII数据 - 其他则非常具体 - 需要数据沿袭所有合规报告。使用元数据基础,可以轻松地为任何数据集创建记分卡。然后,这些记分卡用于识别治理工作并确定其优先级,以使最重要的数据生产就绪。 

从哪儿开始?如果您的数据库元数据较差,那么就建议您先评估现有资产的质量和内容。自动化工具可以填充元数据存储库,作为创建记分卡的基础。使湖泊的内容和质量透明是迈向大数据治理的第一步。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 未来我国大数据发展还有哪些机遇和挑战?

    未来我国大数据发展还有哪些机遇和挑战?

    随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:416次

  • 业务词汇表和元数据:数据治理和词汇表准备

    业务词汇表和元数据:数据治理和词汇表准备

    如果您能说出数据治理计划的目标并拥有赞助组织,那么您可能已经准备好了 在回答How,When和Where问题之前,您需要回答Why,Wh……查看详情

    发布时间:2019.01.22来源:亿信华辰浏览量:475次

  • 什么阻碍了数据治理更好的发展?

    什么阻碍了数据治理更好的发展?

    数据治理正迅速成为全球政策优先事项,这是正确的。已建立的利益和强大的公司正在以令人眼花缭乱的速度构建和重新构建关于数据治理的公众辩论,并……查看详情

    发布时间:2019.07.11来源:知乎浏览量:406次

  • 大数据治理需要具备哪些能力和关键技术?

    大数据治理需要具备哪些能力和关键技术?

    在企业数据建设过程中,大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:864次

  • 6个实施数据治理的最佳实践方法

    6个实施数据治理的最佳实践方法

    在寻找数据治理最佳实施方法时,您可以从已有的各种流程和模板工作的人那里学到很多东西。尽管每个企业都不同,您将需要根据流程调整数据治理实践……查看详情

    发布时间:2021.07.28来源:亿信数据治理知识库浏览量:609次

  • 数据质量问题分析

    数据质量问题分析

    数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。1、技术问题由于具体数据处理的各技术环节异常所造成的数据质量问题……查看详情

    发布时间:2019.01.07来源:亿信华辰浏览量:459次

  • 人人都说大数据,那你知道它的核心价值吗?

    人人都说大数据,那你知道它的核心价值吗?

    近些年来,大数据已成为了大家茶余饭后讨论的热门话题,像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么,在这样……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:425次

  • 数据资产管理方案之如何让数据化为价值

    数据资产管理方案之如何让数据化为价值

    数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。主要分为以下三点:1、……查看详情

    发布时间:2020.08.14来源:知乎浏览量:638次

  • 企业数据治理的重点和难点在那里?

    企业数据治理的重点和难点在那里?

    企业数据治理的重点和难点主要体现在以下4点:.需要企业高层支持,将数据治理工作放在企业重点工作中,保证对数据治理项目人力物力的投入,提高……查看详情

    发布时间:2019.09.18来源:知乎浏览量:660次

  • 为什么数据成为新的生产要素,怎么理解

    为什么数据成为新的生产要素,怎么理解

    在经济学中,生产要素又称为生产输入,是人们用来生产商品和劳务所必备的基本资源,主要包括土地、劳动、资本、企业家才能和数据。生产要素促进生……查看详情

    发布时间:2020.11.25来源:知乎浏览量:724次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议