大数据治理的新范例

发布时间:2018.12.26来源:亿信华辰浏览量:67次标签:数据治理


数十年来,数据科学家已经拥有沙箱来探索数据并找到有价值的见解。在看似愉快的折衷方案中,分析师可以快速加载,操纵和组合企业和行业数据,以寻找新的见解和预测,而无需担心它们会危及敏感数据或生产工作流程。虽然这加速了创造新的见解,但将它们投入生产是一场噩梦。在未部署的环境中创建的一组自定义代码和数据需要在部署之前进行转换,质量控制和优化。企业通常需要一年的大部分时间才能从几周内收集的洞察中获得价值。 

大数据的幽灵有可能使情况变得更糟- 在很大程度上。现在,分析师们正在使用IT外部的数据结构和编程语言。外部数据源的数量和复杂性正在爆炸式增长。如果没有新的方法,在大数据沙箱中发现的洞察力可能永远不会投入生产。 

所出现的是一种新的范例,它将数据治理- 大多数分析师的诅咒这一术语 - 带入了大数据。但是,大数据治理不是严格限制数据使用和文档,而是灵活,协作和高效。它使分析师参与而非分离,以获取他们的学习以加速生产准备。最重要的是,它取代了沙箱数据的大规模转换,并采用“促销”流程,确保分析数据在大数据平台上生产就绪。 

大数据治理要求我们从头开始重新思考治理。大数据治理不是物理地分离沙箱和生产数据,而是逻辑地控制访问和使用,因为数据从“原始”到“准备”成熟。您如何判断数据是否已准备好生产?元数据。任何支持生产使用的大数据平台都必须具有跟踪数据摄取,验证,准备和使用生命周期的元数据。元数据需要管理数据访问权限,捕获数据分析结果以及数据开发人员和最终用户的评论。元数据存储定义生产准备的策略,并能够实施它们。没有元数据,数据湖就变成了数据沼泽。 

但为了实现这一点,元数据捕获必须是自动化和相关的。大数据治理的第二个原则与当前的教条相矛盾:从一开始就使用模式来丰富元数据。大多数业务数据都是结构化的,无论是关系数据库,日志文件,XML还是大型机副本。该结构可用于自动评估原始数据的质量,完整性和内容。这不仅为分析师提供了对数据的洞察力,还建立了一个可以构建的元数据基础。

大数据治理的第三个原则是记分卡驱动的优先级。并非所有数据都需要严格的质量和访问管理。实际上,假设大多数原始数据都不会被使用- 因此丰富其元数据是浪费时间。相反,记分卡是为数据的各种用途而创建的 - 合规报告,营销分析,供应链分析等。某些策略适用于所有记分卡 - 需要屏蔽PII数据 - 其他则非常具体 - 需要数据沿袭所有合规报告。使用元数据基础,可以轻松地为任何数据集创建记分卡。然后,这些记分卡用于识别治理工作并确定其优先级,以使最重要的数据生产就绪。 

从哪儿开始?如果您的数据库元数据较差,那么就建议您先评估现有资产的质量和内容。自动化工具可以填充元数据存储库,作为创建记分卡的基础。使湖泊的内容和质量透明是迈向大数据治理的第一步。



(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 如何制定数据标准

    如何制定数据标准

    一般来说,对于政府,会有国家或地方政府发文的数据标准管理办法,其中会详细规定相关的数据标准。所以在此主要讲企业如何制定数据标准。……查看详情

    发布时间:2019.12.20来源:知乎浏览量:86次

  • 治理:如何做对

    治理:如何做对

    如果您在任何规模的组织中工作,您可能不得不与某种治理委员会打交道。这些都是出了名的狡猾。继续阅读,看看如何避免常见的陷阱。……查看详情

    发布时间:2019.03.11来源:亿信华辰浏览量:67次

  • 数据交换标准是什么

    数据交换标准是什么

    目前,国内采用软件管理的企业众多,有的企业自己开发管理软件、有的购买软件厂商的产品。但是它们采用的数据库平台和数据库结构各不相同。不同企……查看详情

    发布时间:2020.08.12来源:小亿浏览量:57次

  • 数据安全—“无悔”的正确步骤

    数据安全—“无悔”的正确步骤

    谈到数据安全性,你必定不希望有遗憾。我们从马克扎克伯格那里知道了数据安全正在成为互联网公司的头等大事。正如我们知道的,这位首席执行官正处……查看详情

    发布时间:2019.06.19来源:知乎浏览量:67次

  • 十大治理清单

    十大治理清单

    每年公司治理都会随着时代和投资者的需求而变化。今年,您的董事会应该关注几个趋势,以便始终领先于变革。……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:63次

  • 客户数据中台CDP是什么?真的能构建用户全景画像,消除数据孤岛吗?

    客户数据中台CDP是什么?真的能构建用户全景画像,消除数据孤岛吗?

    现代营销依赖于数据。所有人都想从最基本的开始做起,了解客户是谁。这似乎很简单,但客户与业务互动渠道的激增,使这个简单的目标变得极其复杂。……查看详情

    发布时间:2021.07.16来源:亿信数据治理知识库浏览量:192次

  • 数据治理:让数据质量更好

    数据治理:让数据质量更好

    大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个重点领域。……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:104次

  • 零售商的数据治理势在必行

    零售商的数据治理势在必行

    最好的零售商擅长推销商品。在顶级的实体和电子商务商店,产品组织巧妙,布置精美,色彩鲜明,使客户可以轻松找到他们想要的东西。做得好,商品推……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:85次

  • 治理与管理的区别

    治理与管理的区别

    简而言之,董事会负责监督,规划和管理负责日常运营。每个部分的职责和责任细分更为广泛。无论您采用广泛还是狭隘的方法来处理治理和管理之间的差……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:83次

  • 企业数据标准管理的内容

    企业数据标准管理的内容

    笔者理解:数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换……查看详情

    发布时间:2020.11.13来源:知乎浏览量:66次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议