避免这五大数据治​​理错误

发布时间:2019.02.27来源:亿信华辰浏览量:26次标签:数据治理


如果您正在开始一个大数据项目,那么您可能会遇到一个或多个数据管理挑战。您就如何实施数据治理以及如何控制数据流所做出的决策可能会影响您的项目。

以下是您应该避免的五个数据治理错误:

1.您没有数据治理策略

如果你对自己说,“嗯,什么是数据治理?”那么你很可能

犯这个错误。数据治理是指一种总体战略,它定义了组织如何确保他们使用的数据清晰,准确,可用和安全。

当您的组织开始执行大数据项目时,您通常会以临时方式解决这些挑战中的一个或多个。这种方法可能会持续一段时间,但随着您获得大数据成功并承担更复杂的项目,缺乏治理可能会再次困扰您。

数据治理策略有几个组成部分,包括:设置指示数据存储和保护方式的流程; 制定一套标准和程序,以确保授权人员如何访问和使用数据; 并设置控制和程序以确保遵守规则。

与生活和IT中的大多数事物一样,数据治理无法实现“设置并忘记”的心态。从数据治理计划开始,然后随着时间的推移逐步扩展,以满足组织的特定需求。

2.对Unicorns的依赖太多了

许多商店都会向他们的数据科学家(即独角兽)求助于与大数据相关的所有事务。像可怜的磨坊主一样

谁发现他可以将稻草变成黄金,企业老板希望他们的独角兽能够将原始数据神奇地转化为可操作的洞察力。

这种方法可能不会长期有效。事实上,如果你足够幸运地获得了一只独角兽,那么你付出太多代价就不会让他们成为“数据管理员”,更不用说负责整个数据治理策略了。

数据治理最好由来自IT部门,业务线和合规性的数据利益相关者集合领导。数据治理研究所还建议雇用数据治理官(DGO)。

3.让架构运行狂野

这个错误通常与数据湖的实施同时发生。HDFS的宽恕使您可以将任何类型的数据与任何类型的数据放入Hadoop数据湖中,并担心以后将其排序。

这种“读取模式”方法可能适用于某些类型的数据,尤其是那些经常更改并且无法归入预先设定的模式的数据。但是读取模式只能带你到目前为止,并且在某些时候,必须强制执行模式。

Hadoop带来了大量的数据处理引擎,如Spark,Pig和良好的旧MapReduce,可帮助您为数据提供形状和形式 - 即使其可用。读取模式与核心数据治理主体相反,后者要求您知道要存储和处理的数据类型。

4.永远存储一切

良好的数据治理策略的一个重要方面是数据

退休。在某些时候,每一块数据都必须进入天空中那个伟大的回收箱。但很多时候,组织决定再也不会丢弃另一条数据。

如果你的组织遵循这个“保持一切”的命令,祝你好运。你可能需要很多额外的周期来保持腐烂的垃圾堆顺序。请考虑最新Veritas的2016年数据基因组学指数调查中的统计数据,该调查发现,目前普通组织存储的数据中有40%到60%是冗余,过时或无关紧要(ROT)。

组织每年花费数百万美元存储他们永远不会使用的数据。这不仅仅是良好的商业意识的失败 - 它是数据治理的失败。

5.不使用电动工具

因此,有一个有效的数据治理策略。您需要合适的人员来实施它,您需要一个良好的策略来规划优先级和一般策略,并且您需要良好的流程来帮助您在日常的基础上实施数据治理。

但是也有一个案例可以让合适的产品发挥作用。没有一个工具可以解决您的每个数据治理挑战。但是,大数据生态系统正在提供越来越引人注目的工具集,这些工具可以帮助自动化大块数据。

例如,Apache Atlas(孵化)等工具是Hortonworks数据治理计划的开源数据治理框架,它有助于在Hadoop环境中实施数据控制。数据质量工具也有助于解决数据治理挑战的特定方面。

在最近的杠杆大数据'16活动中,汤普森路透社技术部门全球业务总监Asif Alam承认,数据治理是一个巨大而且不断增长的挑战,但他补充说,工具正在使事情变得更好。“我们现在解决的问题在三年前无法解决,”阿拉姆说。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据中台如何进行数据治理

    数据中台如何进行数据治理

    数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理。……查看详情

    发布时间:2020.04.01来源:知乎浏览量:25次

  • 数字化转型的缺失部分:公民开发者

    数字化转型的缺失部分:公民开发者

    随着第四次工业革命席卷全球,新技术渗透到从高层城市到小村庄的各个方面。消费者的需求和期望随着技术的发展而增加,迫使企业以更快的速度提供优……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:25次

  • 数据治理的全球难题:法治化治理如何跟上技术更新步伐?

    数据治理的全球难题:法治化治理如何跟上技术更新步伐?

    随着技术的发展,需要治理的已不只是数据,人工智能算法等领域也成为治理课题。数据、互联网平台、人工智能算法应该如何治理?这在全球范围内都是……查看详情

    发布时间:2019.10.25来源:知乎浏览量:16次

  • 数据中台和业务中台的区别

    数据中台和业务中台的区别

    数据中台是什么?数据中使前台更智慧。当然它也可以加快前台的开发速度,但它更重要的是使前台更智慧。业务系统,原来是跨类的,是分领域的财务系……查看详情

    发布时间:2021.01.23来源:头条浏览量:22次

  • 数据治理流程

    数据治理流程

    数据治理流程必须通过TSDS数据治理流程审查TEA收集的所有数据。此过程允许用户监督 TEA如何从LEA收集立法规定的数据以及为stud……查看详情

    发布时间:2018.11.27来源:数据治理浏览量:20次

  • 指数技术时代的数据治理

    指数技术时代的数据治理

    新兴的数据需求和数据生成技术需要两种类型的数据治理:安全性,以及整体企业级治理的需求,而不是逐个孤岛的治理。企业中出现了一个重要的新价值……查看详情

    发布时间:2019.01.02来源:亿信华辰浏览量:24次

  • 中国科大:大数据实现本科生学业“全过程”管理

    中国科大:大数据实现本科生学业“全过程”管理

    近年来,中国科学技术大学(以下简称“中国科大”)践行“管理即服务”理念,实现“教、学、管”联动育人,完善“学业追踪”和“困难资助追踪”网……查看详情

    发布时间:2019.03.11来源:亿信华辰浏览量:12次

  • 数据治理困难,即数据治理之“困”。

    数据治理困难,即数据治理之“困”。

    当前,以人工智能、区块链等为代表的数字技术不断涌现,快速向经济社会各领域融合渗透。以数据为核心的数字化转型已是大势所趋。金融业是数据密集……查看详情

    发布时间:2020.01.03来源:知乎浏览量:7次

  • “数据法治化治理”应平衡安全与发展

    “数据法治化治理”应平衡安全与发展

    数据治理的法治化问题,即对数据治理主体的权利义务的设定及其关系模式之制度安排,应符合法治主义要求。“数据法治化治理”要特别关注合法性。……查看详情

    发布时间:2019.08.02来源:中国人民大学未来法治研究院浏览量:12次

  • 基于大数据的质量管理系统怎么选?

    基于大数据的质量管理系统怎么选?

    对于一个制造企业来说,生产是企业最大的动力,而生产质量也需要进行优化管理,一个好的质量管理会带给企业巨大的发展空间和利润价值。正因如此,……查看详情

    发布时间:2019.11.07来源:知乎浏览量:7次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议