数据湖与数据仓库之间的桥梁
发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:89次标签:数据治理
自Pentaho首席技术官James Dixon提出“数据湖”一词以来已经有十年了。这个术语及其底层技术比以往任何时候都热门。
尽管数据仓库(DWH)系统已经存在并得到认可,但数据行业已经接受了更新的存储库,即数据湖,特别是在大数据增长,向云存储的转变以及实施数据仓库之后。
可以争论的是,数据湖的优势包括:
1、更快的访问:用户可以轻松访问数据湖,从而实现实时分析。
2、适应性:数据湖可以存储小规模或巨大的数据量(甚至PB)。
3、灵活性:数据湖能够处理各种数据类型和数据源。
4、成本效益:与本地数据湖相比,云数据湖更加经济实惠。
数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相关的高昂成本,而DWH在设计和构建复杂数据存储方面可能会非常耗时。
尽管如此,数据湖解决方案通过提供具有成本效益的云存储选项并使界面和功能更易于识别和简化而在竞争中获得了改观。此外,对DWH的需求仍然很高,其好处包括:
1、效率: 数据湖数据是结构化的,可以在几毫秒内检索到。
2、趋势分析:由于数据湖专为查询和分析而设计,因此它包含历史数据,使用户可以随时间回答一系列预定义的问题。
3、治理:由于许多数据湖系统遵循基于内部数据标准和策略的方法(例如Kimball或Inmon),因此可以帮助数据用户就规则,标准和解释达成一致。
面对大数据问题,数据湖的新范例确实可以完美满足AI的需求,但是结构化数据可以更好地为许多分析或业务用户提供服务。因此,结合了结构化和半结构化数据系统的混合解决方案越来越受欢迎。
如今,数据湖和数据湖已成为数据行业公认的存储库。根据业务用途,数据湖和数据湖可以用于不同的目的并提供各种优势。
但是,两个存储系统仍然存在一个共同的未解决问题: 资料品质。著名的80/20数据科学难题,无论您选择何种数据存储方式,都需要80%的时间用于清理而20%的时间用于分析。
关于数据质量的主要区别在于,数据清理是在将数据加载到数据湖之后进行的,而数据质量过程则是在将数据加载到数据湖中之前实施的;在这两种情况下,这将使花费在改进数据质量上的时间相似。
已经创建了平台来解决这个常见的数据质量问题,该问题在整个数据团队中消耗大量的工程时间。
数据质量对于两种类型的数据存储系统都非常重要:
1、数据湖中的数据质量:这可以通过应用有关GDPR或其他数据相关法律的质量规则来防止“脏”数据值馈入AI模型或强制执行数据提供者的数据传递SLA来实现。
2、数据湖中的数据质量:为了使DWH的集成速度更快,至关重要的是能够在几分钟内增加质量层次,加快集成过程和数据质量洞察力。
许多组织正在采用混合存储系统解决方案,这使得在所有存储系统中拥有一致的数据质量视图比以往任何时候都更加重要。因此,实施可在混合方案中使用的数据质量工具对于优化数据系统,授权数据团队和业务部门以及希望将80/20规则反转为80%的分析和20%(或更少)的清理至关重要。
了解更多数据湖或数据治理相关知识:https://www.esenruizhi.com/
-
企业构建数据中台是否存在一个量化或判断的标准?
对这个问题有几种解读,第一种解读是说企业是否要构建自己的数据中台,这个问题有没有标准?以这个问题来讲的话,我们认为所有的企业它都需要数据……查看详情发布时间:2021.01.23来源:知乎浏览量:82次
-
为数据管理/数据质量/问题分析提供资金
大多数具有正式数据治理工作的组织都对正在进行的数据管理工作给予了高度关注,解决了利益相关者之间发生自然冲突和/或数据质量工作时出现的问题……查看详情发布时间:2019.03.19来源:亿信华辰浏览量:53次
-
数据治理在大数据领域的重要性
即使在过去,企业也要面对超出其基础设施和流程处理能力的大量数据,更不用说要从数据中挖掘出对制定有效决策有实际价值的情报了。如今,随着种类……查看详情发布时间:2019.12.06来源:CSDN浏览量:53次
-
数据资产管理“管”什么
目前,数据资产管理已经形成了一套科学的管理架构体系,其体系架构如下图所示,主要包含9个活动职能和2个保障措施,9个活动职能指的是数据标准……查看详情发布时间:2020.09.11来源:知乎浏览量:56次
-
国内数据治理平台厂商介绍
睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情发布时间:2019.09.19来源:知乎浏览量:101次
-
数据治理工具那么多,如何选择适合自己企业的呢?
随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情发布时间:2019.07.17来源:知乎浏览量:75次
-
敏捷方法如何帮助解决您的数据问题
无论哪种方式,您都必须像软件开发人员一样思考,并确保您拥有正确的思维方式,技能组合和工具集,以保持数据掌握的灵活性。……查看详情发布时间:2019.02.27来源:亿信华辰浏览量:66次
-
2019年的数据治理趋势
2018年十月,DATAVERSITY ®发布报告趋势数据治理和数据管理,这是基于对囊括主要来自信息和数据治理专家,数据和信息架构师,以……查看详情发布时间:2019.02.20来源:亿信华辰浏览量:74次
-
数据治理、共享交换、数据仓库、数据中心的关系
建数据中心离不开数据,以前设计数据库都是从事务性数据库考虑(做的都是业务系统,思维模式太固定了),没有从数据仓库的角度来统管分析。以下是……查看详情发布时间:2019.08.07来源:CSDN浏览量:96次