避免这五大数据治​​理错误

发布时间:2019.02.27来源:亿信华辰浏览量:5次标签:数据治理


如果您正在开始一个大数据项目,那么您可能会遇到一个或多个数据管理挑战。您就如何实施数据治理以及如何控制数据流所做出的决策可能会影响您的项目。

以下是您应该避免的五个数据治理错误:

1.您没有数据治理策略

如果你对自己说,“嗯,什么是数据治理?”那么你很可能

犯这个错误。数据治理是指一种总体战略,它定义了组织如何确保他们使用的数据清晰,准确,可用和安全。

当您的组织开始执行大数据项目时,您通常会以临时方式解决这些挑战中的一个或多个。这种方法可能会持续一段时间,但随着您获得大数据成功并承担更复杂的项目,缺乏治理可能会再次困扰您。

数据治理策略有几个组成部分,包括:设置指示数据存储和保护方式的流程; 制定一套标准和程序,以确保授权人员如何访问和使用数据; 并设置控制和程序以确保遵守规则。

与生活和IT中的大多数事物一样,数据治理无法实现“设置并忘记”的心态。从数据治理计划开始,然后随着时间的推移逐步扩展,以满足组织的特定需求。

2.对Unicorns的依赖太多了

许多商店都会向他们的数据科学家(即独角兽)求助于与大数据相关的所有事务。像可怜的磨坊主一样

谁发现他可以将稻草变成黄金,企业老板希望他们的独角兽能够将原始数据神奇地转化为可操作的洞察力。

这种方法可能不会长期有效。事实上,如果你足够幸运地获得了一只独角兽,那么你付出太多代价就不会让他们成为“数据管理员”,更不用说负责整个数据治理策略了。

数据治理最好由来自IT部门,业务线和合规性的数据利益相关者集合领导。数据治理研究所还建议雇用数据治理官(DGO)。

3.让架构运行狂野

这个错误通常与数据湖的实施同时发生。HDFS的宽恕使您可以将任何类型的数据与任何类型的数据放入Hadoop数据湖中,并担心以后将其排序。

这种“读取模式”方法可能适用于某些类型的数据,尤其是那些经常更改并且无法归入预先设定的模式的数据。但是读取模式只能带你到目前为止,并且在某些时候,必须强制执行模式。

Hadoop带来了大量的数据处理引擎,如Spark,Pig和良好的旧MapReduce,可帮助您为数据提供形状和形式 - 即使其可用。读取模式与核心数据治理主体相反,后者要求您知道要存储和处理的数据类型。

4.永远存储一切

良好的数据治理策略的一个重要方面是数据

退休。在某些时候,每一块数据都必须进入天空中那个伟大的回收箱。但很多时候,组织决定再也不会丢弃另一条数据。

如果你的组织遵循这个“保持一切”的命令,祝你好运。你可能需要很多额外的周期来保持腐烂的垃圾堆顺序。请考虑最新Veritas的2016年数据基因组学指数调查中的统计数据,该调查发现,目前普通组织存储的数据中有40%到60%是冗余,过时或无关紧要(ROT)。

组织每年花费数百万美元存储他们永远不会使用的数据。这不仅仅是良好的商业意识的失败 - 它是数据治理的失败。

5.不使用电动工具

因此,有一个有效的数据治理策略。您需要合适的人员来实施它,您需要一个良好的策略来规划优先级和一般策略,并且您需要良好的流程来帮助您在日常的基础上实施数据治理。

但是也有一个案例可以让合适的产品发挥作用。没有一个工具可以解决您的每个数据治理挑战。但是,大数据生态系统正在提供越来越引人注目的工具集,这些工具可以帮助自动化大块数据。

例如,Apache Atlas(孵化)等工具是Hortonworks数据治理计划的开源数据治理框架,它有助于在Hadoop环境中实施数据控制。数据质量工具也有助于解决数据治理挑战的特定方面。

在最近的杠杆大数据'16活动中,汤普森路透社技术部门全球业务总监Asif Alam承认,数据治理是一个巨大而且不断增长的挑战,但他补充说,工具正在使事情变得更好。“我们现在解决的问题在三年前无法解决,”阿拉姆说。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据对社会有多大用处?

    大数据对社会有多大用处?

    规范性分析是商业智能(BI)中使用的四种大数据类型之一。大数据是一个描述大量数据的术语-结构化和非结构化-这些大量数据淹没了企业或任何数……查看详情

    发布时间:2018.12.29来源:数据治理浏览量:5次

  • GDPR,合规性问题推动数据治理策略

    GDPR,合规性问题推动数据治理策略

    几乎每个组织都认为数据治理很重要,那么为什么他们都没有将数据治理纳入其中呢?……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:7次

  • 什么是主数据管理系统?

    什么是主数据管理系统?

    采集与集成、共享、数据质量、数据治理是主数据管理的四大要素,主数据管理要做的就是从企业外部和企业的多个业务系统中采集和整合最核心的、最需……查看详情

    发布时间:2020.04.29来源:知乎浏览量:7次

  •  赣州银行:数据治理+管控平台,解决数据质量“老大难”

    赣州银行:数据治理+管控平台,解决数据质量“老大难”

    未来在金融科技落地的过程中,在数字化转型的征途上,亿信华辰愿助力银行数据治理每一步都走得踏实,都能见到实效。……查看详情

    发布时间:2021.04.15来源:亿信数据治理研究院浏览量:12次

  • 构建有效的数据科学团队

    构建有效的数据科学团队

    随着数据科学和人工智能几乎进入阳光下的每个行业,建立一个能够建立成功的AI项目的团队的挑战也是如此。对统计学家,程序员和沟通者完美融合的……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:3次

  • 数据治理与分析相结合

    数据治理与分析相结合

    不到十年前,由于规模,资源和组织能力的原因,大型企业比同行业的小企业具有显着的优势。现在已不再是这样,因为数字创新和全球化的推动,加上移……查看详情

    发布时间:2018.11.23来源:数据治理浏览量:2次

  • 5可以通过数据治理解决的挑战-使用数据治理克服常见的业务障碍

    5可以通过数据治理解决的挑战-使用数据治理克服常见的业务障碍

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2018.11.13来源:CHRIS REED浏览量:1次

  • 数据生命周期管理工作包括哪些方面

    数据生命周期管理工作包括哪些方面

    睿治数据治理工具--数据生命周期管理平台支持数据资产全生命周期管理,根据存储周期自动计算每行数据的存储时限,并根据存储时限进行数据自动归……查看详情

    发布时间:2021.09.02来源:亿信华辰数据治理知识库浏览量:15次

  • 数据治理的全过程

    数据治理的全过程

    数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:2次

  • 定义数据治理:什么是数据治理?

    定义数据治理:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理时,许多组织都在努力。……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:8次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议