大数据治理——元数据是关键

发布时间:2018.12.03来源:数据管理浏览量:25次标签:数据治理

在大数据时代,当数据以多种格式分散在整个企业中并且来自许多来源时,需要一种新的数据治理方法。
随着可用数据的数量、种类和速度都在以惊人的速度持续增长,企业面临着两个紧迫的挑战:如何发现这些数据中的可操作的洞察力,以及如何保护它。这两个挑战直接取决于数据治理的高水平。 
Hadoop生态系统可以使用元数据方法提供这种级别的治理,理想情况下是在单个数据平台上。

需要一种新的治理方法有以下几个原因。在大数据时代,数据分散在整个企业中。它是结构化的、非结构化的、半结构化的和各种其他格式。此外,数据源不在需要管理的团队的控制之下。

在这种环境下,数据治理包括三个重要目标:
保持数据质量
实现访问控制和其他数据安全措施
捕获数据集的元数据以支持安全性工作并促进最终用户数据的消耗 


Hadoop生态系统中的解决方案 

在Hadoop环境中实现大数据治理的一种方法是通过数据标记。在这种方法中,当数据通过各种企业系统时,将控制数据使用的元数据嵌入到该数据中。此外,此元数据被增强以包括超出常见属性的信息,如文件大小、权限、修改日期等。例如,它可能包括业务元数据,这些元数据将帮助数据科学家评估其在特定预测模型中的有用性。 
最后,与企业数据本身不同,元数据可以集中在单个平台上。 
标准的Hadoop分布式文件系统HDFS具有扩展的属性能力,允许丰富的元数据,但是对于大数据并不总是足够的。幸运的是,存在另一种解决方案。Apache Atlas元数据管理系统支持数据标记,还可以充当集中式元数据存储,可以为正在搜索相关数据集的数据分析师提供“一站式购物”。此外,流行的Hadoop友好的Hive和Spark SQL数据检索系统的用户可以自己进行标记。 
为了安全,Atlas可以与Apache Ranger集成,Apache Ranger是一个提供对Hadoop平台的基于角色的访问的系统。 


平台加载挑战 

将元数据初始加载到Atlas平台以及随后的增量加载都面临重大挑战。对于大型企业来说,在初始阶段,数据量的庞大将是主要问题,为了有效地执行这个阶段,可能需要优化一些代码。

增量加载是一个更复杂的问题,因为表、索引和授权用户一直在变化。如果这些变化没有快速反映在可用的元数据中,那么最终的结果就是最终用户可用的数据质量下降。为了避免这个问题,事件侦听器应该包括在系统的构建块中,以便可以近乎实时地捕获和处理更改。实时解决方案不仅意味着更好的数据质量。它还提高了开发人员的生产率,因为开发人员不必等待批处理过程。 


数字化改造的基础

随着企业追求数字转换并寻求更多的数据驱动,高级管理层需要意识到,没有高质量的数据就不可能实现这个方向的任何结果,这需要强有力的数据治理。当涉及大数据时,基于驻留在中央存储库中的增强元数据的治理是一种可行的解决方案。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 询问数据治理教练:我的数据治理计划需要多长时间?

    询问数据治理教练:我的数据治理计划需要多长时间?

    有多种不同的成熟度评估可用。如同所有的事物数据治理,我更喜欢一个简单的方法,你可以下载一个非常快速和容易的数据治理健康检查调查问卷免费在……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:22次

  • 有效数据治理的6大原则

    有效数据治理的6大原则

    如果你常常对数据准确性而烦恼,大部分时间都用于处理数据而不是对业务进行思考分析的话,那么你需要好好对数据进行治理了。……查看详情

    发布时间:2019.10.17来源:知乎浏览量:31次

  • 实施数据治理策略

    实施数据治理策略

    数据治理是确保数据在输入系统时满足精确标准和业务规则的过程。数据治理使企业能够控制数据资产的管理。此过程包括确保数据符合其预期目的所需的……查看详情

    发布时间:2018.11.16来源:互联网浏览量:36次

  • 数据治理标准:数据质量六大评价标准

    数据治理标准:数据质量六大评价标准

    万事万物都有其标准,铁轨有规定的标准宽度,一千克有规定的标准重量。那么在大数据时代,企业中各种各样的数据是否也有统一的数据标准呢?数据标……查看详情

    发布时间:2022.01.20来源:小亿浏览量:573次

  • 走向人工智能治理的趋势

    走向人工智能治理的趋势

    这是人工智能(AI)驱动的自动化和自动机器的时代。自我改进,自我复制,自主智能机器日益普及和迅速扩大的潜力刺激了网络空间,地球空间和空间……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:21次

  • 数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来……查看详情

    发布时间:2020.08.14来源:知乎浏览量:37次

  • 数据治理加速企业数字化转型

    数据治理加速企业数字化转型

    现在大家都在说一个概念,银行有3.0时代,数据也有3.0时代,3.0时代在不同地域里都有不同的诉求,数字3.0时代是什么?概念并不新,从……查看详情

    发布时间:2019.08.02来源:企业网浏览量:35次

  • 如何有效的进行数据治理?

    如何有效的进行数据治理?

    如果你处理或使用过大量数据,一定有听到过“数据治理”这个词。你会思考数据治理是什么?数据治理是否适合你?如何实施……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:36次

  • 2025年大数据分析发展的预测

    2025年大数据分析发展的预测

    全球每天的互联网搜索、点击、分享、喜欢和刷卡都会产生大约2 5艾字节的数据。这仅仅是由于物联网推动的。IDC公司预测,到2025年数据量……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:35次

  • 一文透露银行业的数据治理该不该做,又怎么做?

    一文透露银行业的数据治理该不该做,又怎么做?

    小宋最近同学会,一个大学同学就职银行信息科技部门,听说小宋也在一家大数据公司便拉起小宋的手要和她好好掰扯掰扯一下银行业的数据治理了。银行……查看详情

    发布时间:2020.07.29来源:今日头条浏览量:22次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议