避免这五大数据治​​理错误

发布时间:2019.02.27来源:亿信华辰浏览量:86次标签:数据治理


如果您正在开始一个大数据项目,那么您可能会遇到一个或多个数据管理挑战。您就如何实施数据治理以及如何控制数据流所做出的决策可能会影响您的项目。

以下是您应该避免的五个数据治理错误:

1.您没有数据治理策略

如果你对自己说,“嗯,什么是数据治理?”那么你很可能

犯这个错误。数据治理是指一种总体战略,它定义了组织如何确保他们使用的数据清晰,准确,可用和安全。

当您的组织开始执行大数据项目时,您通常会以临时方式解决这些挑战中的一个或多个。这种方法可能会持续一段时间,但随着您获得大数据成功并承担更复杂的项目,缺乏治理可能会再次困扰您。

数据治理策略有几个组成部分,包括:设置指示数据存储和保护方式的流程; 制定一套标准和程序,以确保授权人员如何访问和使用数据; 并设置控制和程序以确保遵守规则。

与生活和IT中的大多数事物一样,数据治理无法实现“设置并忘记”的心态。从数据治理计划开始,然后随着时间的推移逐步扩展,以满足组织的特定需求。

2.对Unicorns的依赖太多了

许多商店都会向他们的数据科学家(即独角兽)求助于与大数据相关的所有事务。像可怜的磨坊主一样

谁发现他可以将稻草变成黄金,企业老板希望他们的独角兽能够将原始数据神奇地转化为可操作的洞察力。

这种方法可能不会长期有效。事实上,如果你足够幸运地获得了一只独角兽,那么你付出太多代价就不会让他们成为“数据管理员”,更不用说负责整个数据治理策略了。

数据治理最好由来自IT部门,业务线和合规性的数据利益相关者集合领导。数据治理研究所还建议雇用数据治理官(DGO)。

3.让架构运行狂野

这个错误通常与数据湖的实施同时发生。HDFS的宽恕使您可以将任何类型的数据与任何类型的数据放入Hadoop数据湖中,并担心以后将其排序。

这种“读取模式”方法可能适用于某些类型的数据,尤其是那些经常更改并且无法归入预先设定的模式的数据。但是读取模式只能带你到目前为止,并且在某些时候,必须强制执行模式。

Hadoop带来了大量的数据处理引擎,如Spark,Pig和良好的旧MapReduce,可帮助您为数据提供形状和形式 - 即使其可用。读取模式与核心数据治理主体相反,后者要求您知道要存储和处理的数据类型。

4.永远存储一切

良好的数据治理策略的一个重要方面是数据

退休。在某些时候,每一块数据都必须进入天空中那个伟大的回收箱。但很多时候,组织决定再也不会丢弃另一条数据。

如果你的组织遵循这个“保持一切”的命令,祝你好运。你可能需要很多额外的周期来保持腐烂的垃圾堆顺序。请考虑最新Veritas的2016年数据基因组学指数调查中的统计数据,该调查发现,目前普通组织存储的数据中有40%到60%是冗余,过时或无关紧要(ROT)。

组织每年花费数百万美元存储他们永远不会使用的数据。这不仅仅是良好的商业意识的失败 - 它是数据治理的失败。

5.不使用电动工具

因此,有一个有效的数据治理策略。您需要合适的人员来实施它,您需要一个良好的策略来规划优先级和一般策略,并且您需要良好的流程来帮助您在日常的基础上实施数据治理。

但是也有一个案例可以让合适的产品发挥作用。没有一个工具可以解决您的每个数据治理挑战。但是,大数据生态系统正在提供越来越引人注目的工具集,这些工具可以帮助自动化大块数据。

例如,Apache Atlas(孵化)等工具是Hortonworks数据治理计划的开源数据治理框架,它有助于在Hadoop环境中实施数据控制。数据质量工具也有助于解决数据治理挑战的特定方面。

在最近的杠杆大数据'16活动中,汤普森路透社技术部门全球业务总监Asif Alam承认,数据治理是一个巨大而且不断增长的挑战,但他补充说,工具正在使事情变得更好。“我们现在解决的问题在三年前无法解决,”阿拉姆说。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业怎样保护业务数据的质量

    企业怎样保护业务数据的质量

    企业内容的质量主要从以下三个方面体现:技术人员设计系统时逻辑严谨,符合规范;业务人员通过统一的培训,录入数据时有统一的规范;管理人员发现……查看详情

    发布时间:2019.09.10来源:知乎浏览量:96次

  • 企业数据治理项目中影响数据质量的5个因素

    企业数据治理项目中影响数据质量的5个因素

    数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。……查看详情

    发布时间:2020.04.08来源:知乎浏览量:86次

  • 数据治理的方法论是什么?

    数据治理的方法论是什么?

    一套科学、完整的实施方法论,可以为用户建立一套适应用户业务需求,并且操作性强的主数据管理体系。遵循该方法路线进行数据治理工作可以大大缩减……查看详情

    发布时间:2019.06.14来源:欣思博述数字化浏览量:87次

  • 启动数据治理框架以取得成功

    启动数据治理框架以取得成功

    许多企业坚持不懈地尝试用数据治理框架来证明自己已经取得了很大的成就。然而,定义那些“伟大的东西”绝非易事 - 因为它们中的大多数只构建了……查看详情

    发布时间:2019.02.13来源:数据治理浏览量:80次

  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    有效的数据治理也是一个持续的过程。政策定义,审查,调整和审计以及合规审查和质量控制都会作为数据治理生命周期经常受到影响或重复。因此,数据……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:97次

  • 元数据管理流程和方法是怎样的

    元数据管理流程和方法是怎样的

    大数据环境中,如果企业不通过元数据管理把多种复杂的信息管理起来,很难做到信息的有效利用。Gartner在研究报告里明确指出,“元数据管理……查看详情

    发布时间:2022.03.21来源:小亿浏览量:440次

  • 大数据助力经济社会发展的实践与探索

    大数据助力经济社会发展的实践与探索

    近年来,贵州省深入贯彻习近平新时代中国特色社会主义思想,抢抓获批建设国家大数据(贵州)综合试验区重要机遇,深入实施大数据战略行动,持续推……查看详情

    发布时间:2019.03.20来源:大数据浏览量:75次

  • 统一数据平台 - 连接所有重要事项

    统一数据平台 - 连接所有重要事项

    企业可以从统一的数据平台中获益良多。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:73次

  • 数据不是石油,占得多未必有用

    数据不是石油,占得多未必有用

    如果您从事数据科学或相关领域的工作,您可能之前听过这个说法:数据是新的石油资源。……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:73次

  • 大数据会取代传统BI吗

    大数据会取代传统BI吗

    BI一词早在20年前就被提出,加特纳集团将商业智能定义为描述一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:73次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议