数据湖与数据仓库之间的桥梁

发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:455次标签:数据治理

自Pentaho首席技术官James Dixon提出“数据湖”一词以来已经有十年了。这个术语及其底层技术比以往任何时候都热门。

数据湖.jpg

尽管数据仓库(DWH)系统已经存在并得到认可,但数据行业已经接受了更新的存储库,即数据湖,特别是在大数据增长,向云存储的转变以及实施数据仓库之后。 


可以争论的是,数据湖的优势包括:

1、更快的访问:用户可以轻松访问数据湖,从而实现实时分析。

2、适应性:数据湖可以存储小规模或巨大的数据量(甚至PB)。

3、灵活性:数据湖能够处理各种数据类型和数据源。

4、成本效益:与本地数据湖相比,云数据湖更加经济实惠。


数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相关的高昂成本,而DWH在设计和构建复杂数据存储方面可能会非常耗时。


尽管如此,数据湖解决方案通过提供具有成本效益的云存储选项并使界面和功能更易于识别和简化而在竞争中获得了改观。此外,对DWH的需求仍然很高,其好处包括:

1、效率: 数据湖数据是结构化的,可以在几毫秒内检索到。

2、趋势分析:由于数据湖专为查询和分析而设计,因此它包含历史数据,使用户可以随时间回答一系列预定义的问题。

3、治理:由于许多数据湖系统遵循基于内部数据标准和策略的方法(例如Kimball或Inmon),因此可以帮助数据用户就规则,标准和解释达成一致。


面对大数据问题,数据湖的新范例确实可以完美满足AI的需求,但是结构化数据可以更好地为许多分析或业务用户提供服务。因此,结合了结构化和半结构化数据系统的混合解决方案越来越受欢迎。


如今,数据湖和数据湖已成为数据行业公认的存储库。根据业务用途,数据湖和数据湖可以用于不同的目的并提供各种优势。


但是,两个存储系统仍然存在一个共同的未解决问题: 资料品质。著名的80/20数据科学难题,无论您选择何种数据存储方式,都需要80%的时间用于清理而20%的时间用于分析。


关于数据质量的主要区别在于,数据清理是在将数据加载到数据湖之后进行的,而数据质量过程则是在将数据加载到数据湖中之前实施的;在这两种情况下,这将使花费在改进数据质量上的时间相似。


已经创建了平台来解决这个常见的数据质量问题,该问题在整个数据团队中消耗大量的工程时间。


数据质量对于两种类型的数据存储系统都非常重要:

1、数据湖中的数据质量:这可以通过应用有关GDPR或其他数据相关法律的质量规则来防止“脏”数据值馈入AI模型或强制执行数据提供者的数据传递SLA来实现。

2、数据湖中的数据质量:为了使DWH的集成速度更快,至关重要的是能够在几分钟内增加质量层次,加快集成过程和数据质量洞察力。


许多组织正在采用混合存储系统解决方案,这使得在所有存储系统中拥有一致的数据质量视图比以往任何时候都更加重要。因此,实施可在混合方案中使用的数据质量工具对于优化数据系统,授权数据团队和业务部门以及希望将80/20规则反转为80%的分析和20%(或更少)的清理至关重要。


了解更多数据湖或数据治理相关知识:https://www.esenruizhi.com/ 

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 企业何时进行数据治理才是最佳时机

    企业何时进行数据治理才是最佳时机

    找准数据治理的切入点,是关乎数据治理成败的关键。如果将数仓建设分为数仓雏形阶段、数仓迭代阶段和能力沉淀阶段,数据治理应该在哪个阶段切入为……查看详情

    发布时间:2020.06.30来源:知乎浏览量:472次

  • 大数据时代更要重视用户隐私

    大数据时代更要重视用户隐私

    刚买了房,就有装修公司打电话上门;在网店中搜一下笔记本,推送到手机上的阅读页面就出现各种穿插笔记本的广告……日常生活中,你是否也遇到过这……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:385次

  • 当下数据治理是多么的重要

    当下数据治理是多么的重要

    公司有大量数据来自外部,更多数据在内部创建或更新,因此数据可能应该“受到管理”,因此您可以拥有良好的数据。数据治理是一组流程,可确保在整……查看详情

    发布时间:2019.09.04来源:知乎浏览量:456次

  • 数据治理,人工智能和医疗保健:令人兴奋的健康新世界

    数据治理,人工智能和医疗保健:令人兴奋的健康新世界

    随着AI变得越来越普遍,对数据治理的需求也在增加。这是一个由政府确定的问题,因为它最近宣布了一个监督大量数据集的道德小组。2017年1月……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:546次

  • 云管理与云治理

    云管理与云治理

    混合云或多云已成为当今组织IT战略的重要组成部分。作为多云战略的一部分,组织需要定义如何在多个云中管理,控制,操作,优化和保护云基础架构……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:489次

  • 说说银行业信息部数据治理的体验

    说说银行业信息部数据治理的体验

    数据治理本身分狭义和广义两个区别,狭义的治理主要是组织、制度、流程这些,datagovernance的一个定义就是themanageme……查看详情

    发布时间:2020.02.21来源:知乎浏览量:489次

  • 应用程序组合管理:有效管理您的投资组合

    应用程序组合管理:有效管理您的投资组合

    现在是时候关注您的投资组合阶段的实际管理了。在这里,您需要考虑应用程序的成本效益和风险可接受性。您应该采用主观业务决策,识别问题和/或机……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:400次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:883次

  • 未来,数据治理或将成为企业新的业务增长点

    未来,数据治理或将成为企业新的业务增长点

    大数据在我们中国发展的十年时间里面,从稚嫩逐渐走向成熟,现在已经比较普遍的应用于市场中,并且全球的IT企业很重视这方面。那么这些企业都普……查看详情

    发布时间:2019.09.20来源:知乎浏览量:395次

  • 2019年采用大数据发生重大变化的6个行业

    2019年采用大数据发生重大变化的6个行业

    如今,大数据的应用对几乎任何行业的发展都会产生积极的影响,而采用这项技术,一些行业比其他行业更有可能发生重大的变化。以下是采用大数据发生……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:378次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议