数据湖与数据仓库之间的桥梁

发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:65次标签:数据治理

自Pentaho首席技术官James Dixon提出“数据湖”一词以来已经有十年了。这个术语及其底层技术比以往任何时候都热门。

数据湖.jpg

尽管数据仓库(DWH)系统已经存在并得到认可,但数据行业已经接受了更新的存储库,即数据湖,特别是在大数据增长,向云存储的转变以及实施数据仓库之后。 


可以争论的是,数据湖的优势包括:

1、更快的访问:用户可以轻松访问数据湖,从而实现实时分析。

2、适应性:数据湖可以存储小规模或巨大的数据量(甚至PB)。

3、灵活性:数据湖能够处理各种数据类型和数据源。

4、成本效益:与本地数据湖相比,云数据湖更加经济实惠。


数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相关的高昂成本,而DWH在设计和构建复杂数据存储方面可能会非常耗时。


尽管如此,数据湖解决方案通过提供具有成本效益的云存储选项并使界面和功能更易于识别和简化而在竞争中获得了改观。此外,对DWH的需求仍然很高,其好处包括:

1、效率: 数据湖数据是结构化的,可以在几毫秒内检索到。

2、趋势分析:由于数据湖专为查询和分析而设计,因此它包含历史数据,使用户可以随时间回答一系列预定义的问题。

3、治理:由于许多数据湖系统遵循基于内部数据标准和策略的方法(例如Kimball或Inmon),因此可以帮助数据用户就规则,标准和解释达成一致。


面对大数据问题,数据湖的新范例确实可以完美满足AI的需求,但是结构化数据可以更好地为许多分析或业务用户提供服务。因此,结合了结构化和半结构化数据系统的混合解决方案越来越受欢迎。


如今,数据湖和数据湖已成为数据行业公认的存储库。根据业务用途,数据湖和数据湖可以用于不同的目的并提供各种优势。


但是,两个存储系统仍然存在一个共同的未解决问题: 资料品质。著名的80/20数据科学难题,无论您选择何种数据存储方式,都需要80%的时间用于清理而20%的时间用于分析。


关于数据质量的主要区别在于,数据清理是在将数据加载到数据湖之后进行的,而数据质量过程则是在将数据加载到数据湖中之前实施的;在这两种情况下,这将使花费在改进数据质量上的时间相似。


已经创建了平台来解决这个常见的数据质量问题,该问题在整个数据团队中消耗大量的工程时间。


数据质量对于两种类型的数据存储系统都非常重要:

1、数据湖中的数据质量:这可以通过应用有关GDPR或其他数据相关法律的质量规则来防止“脏”数据值馈入AI模型或强制执行数据提供者的数据传递SLA来实现。

2、数据湖中的数据质量:为了使DWH的集成速度更快,至关重要的是能够在几分钟内增加质量层次,加快集成过程和数据质量洞察力。


许多组织正在采用混合存储系统解决方案,这使得在所有存储系统中拥有一致的数据质量视图比以往任何时候都更加重要。因此,实施可在混合方案中使用的数据质量工具对于优化数据系统,授权数据团队和业务部门以及希望将80/20规则反转为80%的分析和20%(或更少)的清理至关重要。


了解更多数据湖或数据治理相关知识:https://www.esenruizhi.com/ 

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 2025年大数据分析发展的预测

    2025年大数据分析发展的预测

    全球每天的互联网搜索、点击、分享、喜欢和刷卡都会产生大约2 5艾字节的数据。这仅仅是由于物联网推动的。IDC公司预测,到2025年数据量……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:50次

  • 数据治理:将数据从源头进行清洗

    数据治理:将数据从源头进行清洗

    数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与……查看详情

    发布时间:2019.06.20来源:简书浏览量:51次

  • 数据治理:让数据质量更好

    数据治理:让数据质量更好

    大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个重点领域。……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:69次

  • 询问数据治理教练:数据湖上的数据治理?

    询问数据治理教练:数据湖上的数据治理?

    在没有首先理解数据的情况下将数据提取到数据湖中,这只是经常发生的许多数据治理错误之一。您可以在此处下载我的免费报告,找出最常见的错误,更……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:55次

  • 元数据治理—从数据的源头开始

    元数据治理—从数据的源头开始

    将题目分为两部分——元数据和数据治理时,元数据治理最容易理解。询问任何擅长元数据管理的组织(或提供他们的数据,信息和记录的完整文档),无……查看详情

    发布时间:2019.06.20来源:简书浏览量:74次

  • 数据质量分析主要包括那些内容?

    数据质量分析主要包括那些内容?

    数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。……查看详情

    发布时间:2019.11.13来源:知乎浏览量:107次

  • 数据治理术语表

    数据治理术语表

    DGI提供了使用非技术语言解释的网络最佳数据相关术语集。在这里,您将找到不仅需要了解数据治理,还需要了解其他类型的程序和项目所需的信息,……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:92次

  • 什么是数据孤岛?为什么要消除数据孤岛?

    什么是数据孤岛?为什么要消除数据孤岛?

    数据孤岛通常具有负面含义。它描述了孤立的数据岛,数据孤岛通常存在以下问题:1.由于代码较旧或不兼容而无法以编程方式与其他系统一起工作2.……查看详情

    发布时间:2021.05.28来源:亿信数据治理知识库浏览量:212次

  • 大数据治理 [Big Data Governance an Emerging Imperative]

    大数据治理 [Big Data Governance an Emerging Imperative]

    《大数据治理》是一个信息治理专家奉献的鸿篇巨制,作者以极其实用和通俗易懂的风格,倾心向读者解读大数据治理这一复杂主题。作为一家大公司的资……查看详情

    发布时间:2018.11.29来源:数据治理浏览量:50次

  • 数据治理的六大优势

    数据治理的六大优势

    重要的是,我们认识到数据治理(DG)的优势超出了通用数据保护法规(GDPR)的要求。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:44次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议