避免这五大数据治​​理错误

发布时间:2019.02.27来源:亿信华辰浏览量:1次标签:数据治理


如果您正在开始一个大数据项目,那么您可能会遇到一个或多个数据管理挑战。您就如何实施数据治理以及如何控制数据流所做出的决策可能会影响您的项目。

以下是您应该避免的五个数据治理错误:

1.您没有数据治理策略

如果你对自己说,“嗯,什么是数据治理?”那么你很可能

犯这个错误。数据治理是指一种总体战略,它定义了组织如何确保他们使用的数据清晰,准确,可用和安全。

当您的组织开始执行大数据项目时,您通常会以临时方式解决这些挑战中的一个或多个。这种方法可能会持续一段时间,但随着您获得大数据成功并承担更复杂的项目,缺乏治理可能会再次困扰您。

数据治理策略有几个组成部分,包括:设置指示数据存储和保护方式的流程; 制定一套标准和程序,以确保授权人员如何访问和使用数据; 并设置控制和程序以确保遵守规则。

与生活和IT中的大多数事物一样,数据治理无法实现“设置并忘记”的心态。从数据治理计划开始,然后随着时间的推移逐步扩展,以满足组织的特定需求。

2.对Unicorns的依赖太多了

许多商店都会向他们的数据科学家(即独角兽)求助于与大数据相关的所有事务。像可怜的磨坊主一样

谁发现他可以将稻草变成黄金,企业老板希望他们的独角兽能够将原始数据神奇地转化为可操作的洞察力。

这种方法可能不会长期有效。事实上,如果你足够幸运地获得了一只独角兽,那么你付出太多代价就不会让他们成为“数据管理员”,更不用说负责整个数据治理策略了。

数据治理最好由来自IT部门,业务线和合规性的数据利益相关者集合领导。数据治理研究所还建议雇用数据治理官(DGO)。

3.让架构运行狂野

这个错误通常与数据湖的实施同时发生。HDFS的宽恕使您可以将任何类型的数据与任何类型的数据放入Hadoop数据湖中,并担心以后将其排序。

这种“读取模式”方法可能适用于某些类型的数据,尤其是那些经常更改并且无法归入预先设定的模式的数据。但是读取模式只能带你到目前为止,并且在某些时候,必须强制执行模式。

Hadoop带来了大量的数据处理引擎,如Spark,Pig和良好的旧MapReduce,可帮助您为数据提供形状和形式 - 即使其可用。读取模式与核心数据治理主体相反,后者要求您知道要存储和处理的数据类型。

4.永远存储一切

良好的数据治理策略的一个重要方面是数据

退休。在某些时候,每一块数据都必须进入天空中那个伟大的回收箱。但很多时候,组织决定再也不会丢弃另一条数据。

如果你的组织遵循这个“保持一切”的命令,祝你好运。你可能需要很多额外的周期来保持腐烂的垃圾堆顺序。请考虑最新Veritas的2016年数据基因组学指数调查中的统计数据,该调查发现,目前普通组织存储的数据中有40%到60%是冗余,过时或无关紧要(ROT)。

组织每年花费数百万美元存储他们永远不会使用的数据。这不仅仅是良好的商业意识的失败 - 它是数据治理的失败。

5.不使用电动工具

因此,有一个有效的数据治理策略。您需要合适的人员来实施它,您需要一个良好的策略来规划优先级和一般策略,并且您需要良好的流程来帮助您在日常的基础上实施数据治理。

但是也有一个案例可以让合适的产品发挥作用。没有一个工具可以解决您的每个数据治理挑战。但是,大数据生态系统正在提供越来越引人注目的工具集,这些工具可以帮助自动化大块数据。

例如,Apache Atlas(孵化)等工具是Hortonworks数据治理计划的开源数据治理框架,它有助于在Hadoop环境中实施数据控制。数据质量工具也有助于解决数据治理挑战的特定方面。

在最近的杠杆大数据'16活动中,汤普森路透社技术部门全球业务总监Asif Alam承认,数据治理是一个巨大而且不断增长的挑战,但他补充说,工具正在使事情变得更好。“我们现在解决的问题在三年前无法解决,”阿拉姆说。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业何时考虑启动数据治理项目

    企业何时考虑启动数据治理项目

    数据治理应用方面原因有什么,企业信息化建设到了一定程度,开始对数据进行相关的展示、分析、应用等,进一步提高数据对企业统计分析和决策支持的……查看详情

    发布时间:2020.04.08来源:知乎浏览量:1次

  • 什么是数据交换管理平台?

    什么是数据交换管理平台?

    首先来个比较官方的定义,数据交换管理平台是指将分散建设的若干业务系统进行整合,以实现若干个业务子系统之间数据或者文件的传输和共享,提高信……查看详情

    发布时间:2020.04.22来源:知乎浏览量:1次

  • 未来我国大数据发展还有哪些机遇和挑战?

    未来我国大数据发展还有哪些机遇和挑战?

    随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:4次

  • 数据安全—“无悔”的正确步骤

    数据安全—“无悔”的正确步骤

    谈到数据安全性,你必定不希望有遗憾。我们从马克扎克伯格那里知道了数据安全正在成为互联网公司的头等大事。正如我们知道的,这位首席执行官正处……查看详情

    发布时间:2019.06.19来源:知乎浏览量:5次

  • 如今的大数据究竟发展到了什么阶段

    如今的大数据究竟发展到了什么阶段

    大数据时代,大数据分析与应用大肆盛行。越来越多的大公司大企业大集团,都越来越重视大数据的影响和作用。……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:2次

  • 数据治理的定义:什么是数据治理?

    数据治理的定义:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理方面,许多组织都在努力。 Dataversity称DG是“有助于确保组织内数据资……查看详情

    发布时间:2018.11.15来源:Zak Cole浏览量:2次

  • 十大治理清单

    十大治理清单

    每年公司治理都会随着时代和投资者的需求而变化。今年,您的董事会应该关注几个趋势,以便始终领先于变革。……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:2次

  • 大数据在应急管理中的应用——亿信华辰

    大数据在应急管理中的应用——亿信华辰

    随着互联网、社交媒体和人工智能的技术发展和应用普及,大数据在应急管理中发挥的作用将越来越重要,是应急管理未来发展的重要方向之一。……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:1次

  • Informatica把AI带到了数据治理、数据治理和数据治理的合规性。

    Informatica把AI带到了数据治理、数据治理和数据治理的合规性。

    随着欧盟制定新隐私规定的最后期限越来越近,企业需要掌握数据的来源。……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:3次

  • 探索数据生命周期管理的五个阶段

    探索数据生命周期管理的五个阶段

    企业并不总是需要所有数据 - 特别是当数据被认为过时时。但是,诉讼,审计或其他突发事件可以使其快速检索变得至关重要。考虑到这种可能性,许……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:1次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议