一个通用的数据中台架构应该如何构建,本文告诉你答案

发布时间:2020.11.18来源:知乎浏览量:41次标签:数据治理

这两年,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但什么是中台,每个人的理解并不一致,小亿结合亿信华辰的实践经验,在本文中讲述了什么是数据中台,以及数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

企业也纷纷规划起自己的中台。那数据中台到底要经过哪些加工、如何将数据用起来,相信很多人都会有这个疑问,这次将讲解数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈论什么
当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。在“业务中台”模式下,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景。“数据中台”则打破了不同业务部门之间的烟囱式IT架构,从而打通数据孤岛,实现了“一切业务数据化”的目标。ET大脑是指其面向特定行业的智能化解决方案。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。以上定义,各有各有道理,但有一点大家都有一致的意见,就是建立中台的目的在于:减少冗余,增加复用,快速响应用户需求。

一般来说,数据中台是指企业利用大数据技术,对内外部海量数据统一进行采集、计算、存储,并使用统一的数据规范进行管理,数据规范包括数据口径、数据模型、元数据规范、参考数据标准、主数据标准、业务规则等。更进一步,广义的数据中台,还包括企业长期积累下来与业务有较强关联性的一些技术组件,如业务标签、算法模型、数据产品等。数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。

理想的数据中台架构,是什么样的
我们先来看下面网易严选数据体系的图,就更清楚数据中台的定位了。

数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。
数据中台的目标是通过中台提供的工具、方法和运行机制,把异构资源的数据进行加工处理,最后变为一种服务能力,让数据更方便地被业务使用。上图为中台架构图,底层是业务系统的各路数据源,中间是进行数据汇集、处理和数据治理,最后是形成数据服务进行应用。

数据中台架构主要分为以下5个部分:

数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所造成的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行展示,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,其实数据还没有产生价值,那数据服务其实是将数据资产变为一种服务能力,简单来说,我们可以对数据资产一览无余,那么如果看上了某个数据资产,需要如何进行使用呢?数据提供方将数据资产提供给别人使用,他又能获取到什么利益呢?这就是我们的数据服务功能,数据资产已经对外开放,如果我们需要这个数据资产,就需要这个数据资产开放对应的服务,服务支持多样式,例如API、数据交换、文件、在线查询等,申请的人可以进行加购获取到这个数据资产的信息,快速进行分析应用等。

运营体系
通过数据汇聚、数据治理、数据资产管理、数据服务,以及完成数据中台的建立,数据得到价值,但是数据中台如果需要持续运转,需要一套运营体系,让中台得以健康、持续运营,让数据不断发挥价值。

说到这里,必须介绍下我们亿信华辰,致力于数据领域十余年,产品覆盖数据的全生命周期,数据汇聚有我们的数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 什么是主数据?

    什么是主数据?

    企业主数据(Master Data)是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值……查看详情

    发布时间:2020.04.29来源:知乎浏览量:39次

  • 企业在什么情况下需要数据交换管理平台?

    企业在什么情况下需要数据交换管理平台?

    许多企业初期采用手工录入、脚本处理、传统工具做数据的交换,从目前的信息化现状来看存在着很大的弊端,首先是数据来源不一,库表、文件、接口无……查看详情

    发布时间:2020.04.22来源:知乎浏览量:44次

  • 两会各地人大代表对于大数据都关心什么?

    两会各地人大代表对于大数据都关心什么?

    两会的召开,各地人大代表针对各个领域、行业、产业纷纷提出了许多具有高价值的议题。针对不同地区的情况与发展势态,各地代表对于大数据的运用与……查看详情

    发布时间:2019.03.11来源:大数据浏览量:41次

  • 通过数据治理策略推动业务转型

    通过数据治理策略推动业务转型

    围绕数据制定战略是成功实现数字化转型的关键。除了流行语 - 组织需要了解他们试图通过数字化转型实现什么,以及它如何在行业和竞争优势中发挥……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:38次

  • 为什么数据治理会带来数据驱动的成功

    为什么数据治理会带来数据驱动的成功

    通过寻找创造价值和改进执行的新方法,各种形式和规模的组织都在积极地采用数据驱动的方法,这些方法可以通过分析的进步来实现。……查看详情

    发布时间:2019.01.26来源:亿信华辰浏览量:44次

  • 治理和管理

    治理和管理

    以问责制为重点的数据管理定义是“确保数据相关工作根据通过治理建立的政策和实践来执行的一系列活动。”……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:50次

  • 数据共享交换平台解决方案

    数据共享交换平台解决方案

    数据交换平台是业务系统间无缝共享数据、连通信息孤岛的高速公路,由数据交换管理模块、核心元数据审批模块、适配器模块、数据传输设计模块,权限……查看详情

    发布时间:2020.04.23来源:知乎浏览量:53次

  • 为正在进行的数据治理提供资金

    为正在进行的数据治理提供资金

    我们不会在这里更详细地讨论这些选项; 它们遵循与为数据治理计划的设计提供资金时所讨论的相同的一般模式。但是,值得注意的是,使数据治理依赖……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:51次

  • 如何应对数据标准化的难题

    如何应对数据标准化的难题

    数据标准好制定,但是数据标准落地相对就困难多了。国内的数据标准化工作发展了那么多年,各个行业,各个组织都在建设自己的数据标准,但是你很少……查看详情

    发布时间:2019.12.20来源:知乎浏览量:44次

  • 统一数据平台 - 连接所有重要事项

    统一数据平台 - 连接所有重要事项

    企业可以从统一的数据平台中获益良多。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:36次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议