数据湖与数据仓库之间的桥梁

发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:129次标签:数据治理

自Pentaho首席技术官James Dixon提出“数据湖”一词以来已经有十年了。这个术语及其底层技术比以往任何时候都热门。

数据湖.jpg

尽管数据仓库(DWH)系统已经存在并得到认可,但数据行业已经接受了更新的存储库,即数据湖,特别是在大数据增长,向云存储的转变以及实施数据仓库之后。 


可以争论的是,数据湖的优势包括:

1、更快的访问:用户可以轻松访问数据湖,从而实现实时分析。

2、适应性:数据湖可以存储小规模或巨大的数据量(甚至PB)。

3、灵活性:数据湖能够处理各种数据类型和数据源。

4、成本效益:与本地数据湖相比,云数据湖更加经济实惠。


数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相关的高昂成本,而DWH在设计和构建复杂数据存储方面可能会非常耗时。


尽管如此,数据湖解决方案通过提供具有成本效益的云存储选项并使界面和功能更易于识别和简化而在竞争中获得了改观。此外,对DWH的需求仍然很高,其好处包括:

1、效率: 数据湖数据是结构化的,可以在几毫秒内检索到。

2、趋势分析:由于数据湖专为查询和分析而设计,因此它包含历史数据,使用户可以随时间回答一系列预定义的问题。

3、治理:由于许多数据湖系统遵循基于内部数据标准和策略的方法(例如Kimball或Inmon),因此可以帮助数据用户就规则,标准和解释达成一致。


面对大数据问题,数据湖的新范例确实可以完美满足AI的需求,但是结构化数据可以更好地为许多分析或业务用户提供服务。因此,结合了结构化和半结构化数据系统的混合解决方案越来越受欢迎。


如今,数据湖和数据湖已成为数据行业公认的存储库。根据业务用途,数据湖和数据湖可以用于不同的目的并提供各种优势。


但是,两个存储系统仍然存在一个共同的未解决问题: 资料品质。著名的80/20数据科学难题,无论您选择何种数据存储方式,都需要80%的时间用于清理而20%的时间用于分析。


关于数据质量的主要区别在于,数据清理是在将数据加载到数据湖之后进行的,而数据质量过程则是在将数据加载到数据湖中之前实施的;在这两种情况下,这将使花费在改进数据质量上的时间相似。


已经创建了平台来解决这个常见的数据质量问题,该问题在整个数据团队中消耗大量的工程时间。


数据质量对于两种类型的数据存储系统都非常重要:

1、数据湖中的数据质量:这可以通过应用有关GDPR或其他数据相关法律的质量规则来防止“脏”数据值馈入AI模型或强制执行数据提供者的数据传递SLA来实现。

2、数据湖中的数据质量:为了使DWH的集成速度更快,至关重要的是能够在几分钟内增加质量层次,加快集成过程和数据质量洞察力。


许多组织正在采用混合存储系统解决方案,这使得在所有存储系统中拥有一致的数据质量视图比以往任何时候都更加重要。因此,实施可在混合方案中使用的数据质量工具对于优化数据系统,授权数据团队和业务部门以及希望将80/20规则反转为80%的分析和20%(或更少)的清理至关重要。


了解更多数据湖或数据治理相关知识:https://www.esenruizhi.com/ 

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 主数据管理第二步——体系构建

    主数据管理第二步——体系构建

    “纸上得来终觉浅,绝知此事要躬行。”然而主数据管理工作该怎么做?流程是怎样的?责任如何落实?……这些问题无不与主数据管理体系的构建有着密……查看详情

    发布时间:2019.10.24来源:亿信华辰浏览量:112次

  • 数据治理有助于为分析构建坚实的基础

    数据治理有助于为分析构建坚实的基础

    如果您的业务很多,那么它就会大量投资于分析。我们生活在一个数据驱动的世界里。数据推动了我们从零售商处获得的建议,我们从杂货店获得的优惠券……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:140次

  • 使用数据治理指导数据传输

    使用数据治理指导数据传输

    在过去几年中,我们一直迷恋于大量数据以及我们创建和收集新数据类型和来源的能力。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:111次

  • 启动数据治理框架以取得成功

    启动数据治理框架以取得成功

    许多企业坚持不懈地尝试用数据治理框架来证明自己已经取得了很大的成就。然而,定义那些“伟大的东西”绝非易事 - 因为它们中的大多数只构建了……查看详情

    发布时间:2019.02.13来源:数据治理浏览量:104次

  • 一文搞懂数据质量问题及对应的解决办法

    一文搞懂数据质量问题及对应的解决办法

    通过数据分析、数据评估、数据清洗、数据监控、错误预警等内容,解决数据质量问题,使数据的质量得以改善,使其满足数据需求方对数据质量的规则要……查看详情

    发布时间:2019.11.05来源:知乎浏览量:778次

  • 你认为你知道什么是数据治理吗?

    你认为你知道什么是数据治理吗?

    数据治理是当今一个相对较新且非常热门的话题。因此,毫不奇怪,对数据治理的定义有多种不同的定义。大多数这些定义都是自我服务……查看详情

    发布时间:2018.11.19来源:丹尼尔舒勒浏览量:91次

  • 金融行业数据治理与安全防护解决方案

    金融行业数据治理与安全防护解决方案

    在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法用途等数据泄漏的安全风险。一方面,数据处理过……查看详情

    发布时间:2019.09.30来源:CSDN浏览量:115次

  • 中小银行数据治理难点在哪儿?

    中小银行数据治理难点在哪儿?

    银行数字化转型是银行业伴随金融科技发展的必然趋势,而数据治理是实现银行数字化转型的基础。……查看详情

    发布时间:2019.12.13来源:CSDN浏览量:128次

  • 数据治理:让数据质量更好(data governance)

    数据治理:让数据质量更好(data governance)

    核心提示:大数据时代数据产生的价值越来越大,基于数据的相关技术、应用形式也在快速发展,开发基于数据的新型应用已经成为高校信息化建设的一个……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:486次

  • 大数据与人工智能有何区别以及哪个技术更好

    大数据与人工智能有何区别以及哪个技术更好

    要想了解大数据与人工智能的区别,首先要从认知大数据和人工智能的概念开始。……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:86次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议