快速理解数据仓库、数据湖、数据工厂、数据中台

发布时间:2021.04.13来源:亿信数据治理知识库浏览量:65次标签:数据治理

数据仓库


数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策和信息的全局共享。


所谓面向主题,是指根据使用者实际需求,将不同数据源的数据在一个较高的抽象层次上做整合,所有数据都围绕某一主题来组织,例如:采购主题、生产主题、客户主题、销售主题等。


所谓集成性,是指数据仓库中存储的数据是来源于多个数据源的集成、汇总。由于原始数据来自不同的数据源,存储方式各不相同。要整合成为最终的数据集合,需要从数据源经过一系列抽取、清洗、转换的过程。


所谓相对稳定,是指数据仓库中存储的数据一般为“既成事实”的数据,也可理解为历史数据的一个快照,只做查询分析用,不允许修改。


所谓反映历史变化,是指数据仓库根据不断集成新的主题数据,反应出该主题的数据变化情况,例如:销售业绩完成情况。


数据湖


数据湖是将来自不同数据源、不同数据类型(结构化、半结构化、非结构化)的数据,以原始格式存储进行存储的系统,它按原样存储数据,而无需事先对数据进行结构化处理。有人认为数据湖是数据仓库的PLUS版,增强了数据存储的能力。而实际上,数据湖不简单是数据仓库一个技术上的升级,更重要的是数据管理思维的升级。数据仓库是需要事先定义好数据结构,然后是报表取数。而大数据的发展,数据形式越发多样化,传统数仓这种定义数据结构、取数、出表的模式,已经很难满足业务上的需求了。因此,数据湖以原始格式存储各种类型数据,以及按需进行数据结构化处理、数据清理、提供数据服务,以更加灵活的方式支持多种应用场景的能力越来越受到人们的欢迎。


数据工厂


前边提到的数据仓库和数据湖,重点侧重于数据的存储,本质上是“原材料”的存储系统,而要让数据发挥价值,就必须将这个“原材料”需要加工成用户需要的“产品”。数据工厂就是根据用户的需求,将原始数据进行加工、处理、清洗、转换、汇总等各种加工工序,生产出能够被用户直接使用的数据产品。数据工厂包含了多种数据处理的工具,以满足不同处理工序的作业需要,例如:数据源连接、数据同步、数据清洗、数据转换、数据工作流、数据目录、数据服务等等。


数据中台


数据中台就是数据湖+数据工厂的一个综合。但不同的是数据中台更注重数据应用,离业务更近,强调一个快速敏捷。


数据中台不仅关注原始数据的存储及处理加工,更侧重将数据处理过程中,常用的逻辑、算法、标签、模型进行沉淀,而形成一系列的“数据半成品”,然后根据前台业务的需要,快速生产出用户需要的“数据产品”。数据中台能力强弱,要看这个“数据半成品”积累的多少了。


在数据生产的整个链条中,对于如何筑湖、如何选址建厂、按什么工序加工、以及如何配送,这是技术部门的事情,而“数据半成品”的沉淀和积累,却不是技术能决定的了。因此,数据中台的建设更强调需求驱动、业务主导。


了解更多数据仓库、数据湖、数据工厂、数据中台、数据治理相关知识:https://www.esenruizhi.com/industry-news/data-governance.html

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 谈谈工业企业数据治理建设的趋势

    谈谈工业企业数据治理建设的趋势

    工业企业数据环境复杂,数据类型多、产生速度快、数据量大、数据质量不高、数据人才匮乏,因此如何发挥和挖掘数据要素的价值成为当代企业关注的话……查看详情

    发布时间:2022.06.28来源:互联网浏览量:49次

  • 数据治理如何释放信息的力量来解决实际的业务问题

    数据治理如何释放信息的力量来解决实际的业务问题

    数字商务永远改变了零售业的面貌。广泛的产品选择,快速交付和简单易用的搜索功能,也推荐相关产品,提高了标准。……查看详情

    发布时间:2019.08.02来源:知乎浏览量:39次

  • 数据分析加数据治理-让数据清澈如水

    数据分析加数据治理-让数据清澈如水

    在如今数据大浪潮下,如果您的业务很多,那么它就会大量堆积并且产生新的问题。我们生活在一个数据驱动的世界里。数据推动了我们从不同地方获得的……查看详情

    发布时间:2019.08.30来源:浏览量:36次

  • 银监会拟要求银行业金融机构加强数据治理

    银监会拟要求银行业金融机构加强数据治理

    银行业金融机构将数据治理纳入公司治理范畴,明确数据管理和数据质量控制的要求,鼓励银行业金融机构开展制度性探索,结合实际情况设置首席数据官……查看详情

    发布时间:2019.10.18来源:新华网浏览量:36次

  • 数据治理成功的预测指标

    数据治理成功的预测指标

    简而言之,数据治理项目在组织内经常遇到的挑战通常与高级管理层和业务中的数据文化状态密切相关。从这两个利益相关方团体获得支持可以显着提高数……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:33次

  • 大数据:产业链条将更为完备

    大数据:产业链条将更为完备

    2018年,我国大数据产业呈现健康快速发展态势,包括大数据硬件、大数据软件、大数据服务等在内的大数据核心产业环节产业规模有望达到5700……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:40次

  • 企业的数据标准管理包括什么?

    企业的数据标准管理包括什么?

    数据标准(Data Standards)是保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准管理是规范数据标准的制定和实施……查看详情

    发布时间:2020.05.08来源:知乎浏览量:35次

  • 大数据是如何被采集及应用的

    大数据是如何被采集及应用的

    尽管“大数据”一词近年来屡遭热捧,但很多人都还不知道什么是大数据,更不知道大数据有什么用。这两年,发现“大数据”这个词出现的越来越频繁了……查看详情

    发布时间:2019.01.11来源:亿信华辰浏览量:27次

  • 数据管理的演进:从响应业务到创造业务

    数据管理的演进:从响应业务到创造业务

    企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题,第三阶段“创造业务”,则需要AI中台。……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:41次

  • 数据治理之道帮助企业完成数字化转型

    数据治理之道帮助企业完成数字化转型

    数据治理不能再只是面向数据部门了,需要成为面向全企业用户的工作环境,需要以全企业用户为中心,从给用户提供服务的角度,管理好数据的同时为用……查看详情

    发布时间:2020.06.28来源:知乎浏览量:29次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议