数据湖与数据仓库之间的桥梁

发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:74次标签:数据治理

自Pentaho首席技术官James Dixon提出“数据湖”一词以来已经有十年了。这个术语及其底层技术比以往任何时候都热门。

数据湖.jpg

尽管数据仓库(DWH)系统已经存在并得到认可,但数据行业已经接受了更新的存储库,即数据湖,特别是在大数据增长,向云存储的转变以及实施数据仓库之后。 


可以争论的是,数据湖的优势包括:

1、更快的访问:用户可以轻松访问数据湖,从而实现实时分析。

2、适应性:数据湖可以存储小规模或巨大的数据量(甚至PB)。

3、灵活性:数据湖能够处理各种数据类型和数据源。

4、成本效益:与本地数据湖相比,云数据湖更加经济实惠。


数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相关的高昂成本,而DWH在设计和构建复杂数据存储方面可能会非常耗时。


尽管如此,数据湖解决方案通过提供具有成本效益的云存储选项并使界面和功能更易于识别和简化而在竞争中获得了改观。此外,对DWH的需求仍然很高,其好处包括:

1、效率: 数据湖数据是结构化的,可以在几毫秒内检索到。

2、趋势分析:由于数据湖专为查询和分析而设计,因此它包含历史数据,使用户可以随时间回答一系列预定义的问题。

3、治理:由于许多数据湖系统遵循基于内部数据标准和策略的方法(例如Kimball或Inmon),因此可以帮助数据用户就规则,标准和解释达成一致。


面对大数据问题,数据湖的新范例确实可以完美满足AI的需求,但是结构化数据可以更好地为许多分析或业务用户提供服务。因此,结合了结构化和半结构化数据系统的混合解决方案越来越受欢迎。


如今,数据湖和数据湖已成为数据行业公认的存储库。根据业务用途,数据湖和数据湖可以用于不同的目的并提供各种优势。


但是,两个存储系统仍然存在一个共同的未解决问题: 资料品质。著名的80/20数据科学难题,无论您选择何种数据存储方式,都需要80%的时间用于清理而20%的时间用于分析。


关于数据质量的主要区别在于,数据清理是在将数据加载到数据湖之后进行的,而数据质量过程则是在将数据加载到数据湖中之前实施的;在这两种情况下,这将使花费在改进数据质量上的时间相似。


已经创建了平台来解决这个常见的数据质量问题,该问题在整个数据团队中消耗大量的工程时间。


数据质量对于两种类型的数据存储系统都非常重要:

1、数据湖中的数据质量:这可以通过应用有关GDPR或其他数据相关法律的质量规则来防止“脏”数据值馈入AI模型或强制执行数据提供者的数据传递SLA来实现。

2、数据湖中的数据质量:为了使DWH的集成速度更快,至关重要的是能够在几分钟内增加质量层次,加快集成过程和数据质量洞察力。


许多组织正在采用混合存储系统解决方案,这使得在所有存储系统中拥有一致的数据质量视图比以往任何时候都更加重要。因此,实施可在混合方案中使用的数据质量工具对于优化数据系统,授权数据团队和业务部门以及希望将80/20规则反转为80%的分析和20%(或更少)的清理至关重要。


了解更多数据湖或数据治理相关知识:https://www.esenruizhi.com/ 

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理最佳实践利用大数据

    数据治理最佳实践利用大数据

    大数据时代的新兴技术,如人工智能和物联网,意味着有更多的数据可以从中受益,并且数据治理策略可以管理和保护。……查看详情

    发布时间:2019.06.28来源:知乎浏览量:63次

  • 2019年三种降低公司数据风险的方法

    2019年三种降低公司数据风险的方法

    企业家是自然风险承担者,风险是发展业务的必要条件。但是,一些风险不在商业领袖的控制范围之内,因此必须考虑这些外部因素,以确保企业的整体寿……查看详情

    发布时间:2019.01.03来源:数据治理浏览量:32次

  • 浅谈数据质量对企业管理的影响

    浅谈数据质量对企业管理的影响

    工欲善其事,必先利其器。亿信数据质量管理平台(EsDataClean)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及……查看详情

    发布时间:2020.10.21来源:知乎浏览量:60次

  • 数据滥采滥用已到非治理不可的地步

    数据滥采滥用已到非治理不可的地步

    目前个人数据滥采、滥用、非法采集和使用现象十分严重,严重侵害了个人权益,个人信息保护制度亟待建立!……查看详情

    发布时间:2019.10.17来源:知乎浏览量:176次

  • 数据治理准备的五大支柱:倡议赞助

    数据治理准备的五大支柱:倡议赞助

    “Facebook是全球数据治理的核心。”3月19日“华尔街日报”的一篇文章总结了我们所处的位置。在通用数据保护法规(GDPR)生效仅两……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:56次

  • 政务数据治理真落地!让数据多跑路,让群众少跑腿

    政务数据治理真落地!让数据多跑路,让群众少跑腿

    DT时代,人们对“大数据”一词已不再陌生,但“数据治理是什么?数据治理和我们有什么关系?”,恐怕普通大众还是很难说清楚。实际上,现在已经……查看详情

    发布时间:2019.11.20来源:亿信华辰浏览量:66次

  • 改善业务和IT协调的关键

    改善业务和IT协调的关键

    促进业务和IT协调变得比以往任何时候都更加重要。……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:54次

  • 云中的数据治理

    云中的数据治理

    IT中心,内部部署基础架构变得越来越复杂和昂贵,并且需要高技能的人力,因此企业现在将其IT和数据科学功能转移到云。云计算承诺提供低成本存……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:60次

  • 数据湖与数据仓库之间的桥梁

    数据湖与数据仓库之间的桥梁

    数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相……查看详情

    发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:74次

  • 数据治理成熟度评估

    数据治理成熟度评估

    数据治理成熟度反映了组织进行数据治理所具备的条件和水平,包括元数据管理、数据质量管理、业务流程整合、主数据管理和信息生命周期管理。……查看详情

    发布时间:2020.07.17来源:知乎浏览量:144次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议