一个通用的数据中台架构应该如何构建,本文告诉你答案

发布时间:2020.11.18来源:知乎浏览量:108次标签:数据治理

这两年,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但什么是中台,每个人的理解并不一致,小亿结合亿信华辰的实践经验,在本文中讲述了什么是数据中台,以及数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

企业也纷纷规划起自己的中台。那数据中台到底要经过哪些加工、如何将数据用起来,相信很多人都会有这个疑问,这次将讲解数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈论什么
当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。在“业务中台”模式下,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景。“数据中台”则打破了不同业务部门之间的烟囱式IT架构,从而打通数据孤岛,实现了“一切业务数据化”的目标。ET大脑是指其面向特定行业的智能化解决方案。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。以上定义,各有各有道理,但有一点大家都有一致的意见,就是建立中台的目的在于:减少冗余,增加复用,快速响应用户需求。

一般来说,数据中台是指企业利用大数据技术,对内外部海量数据统一进行采集、计算、存储,并使用统一的数据规范进行管理,数据规范包括数据口径、数据模型、元数据规范、参考数据标准、主数据标准、业务规则等。更进一步,广义的数据中台,还包括企业长期积累下来与业务有较强关联性的一些技术组件,如业务标签、算法模型、数据产品等。数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。

理想的数据中台架构,是什么样的
我们先来看下面网易严选数据体系的图,就更清楚数据中台的定位了。

数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。
数据中台的目标是通过中台提供的工具、方法和运行机制,把异构资源的数据进行加工处理,最后变为一种服务能力,让数据更方便地被业务使用。上图为中台架构图,底层是业务系统的各路数据源,中间是进行数据汇集、处理和数据治理,最后是形成数据服务进行应用。

数据中台架构主要分为以下5个部分:

数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所造成的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行展示,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,其实数据还没有产生价值,那数据服务其实是将数据资产变为一种服务能力,简单来说,我们可以对数据资产一览无余,那么如果看上了某个数据资产,需要如何进行使用呢?数据提供方将数据资产提供给别人使用,他又能获取到什么利益呢?这就是我们的数据服务功能,数据资产已经对外开放,如果我们需要这个数据资产,就需要这个数据资产开放对应的服务,服务支持多样式,例如API、数据交换、文件、在线查询等,申请的人可以进行加购获取到这个数据资产的信息,快速进行分析应用等。

运营体系
通过数据汇聚、数据治理、数据资产管理、数据服务,以及完成数据中台的建立,数据得到价值,但是数据中台如果需要持续运转,需要一套运营体系,让中台得以健康、持续运营,让数据不断发挥价值。

说到这里,必须介绍下我们亿信华辰,致力于数据领域十余年,产品覆盖数据的全生命周期,数据汇聚有我们的数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 什么是数据治理?

    什么是数据治理?

    数据治理是一个包含可用性,适用性,完整性和安全性的四向框架。它是由使用技术的利益相关者使用的一组流程,以确保管理和保护重要和关键数据。它……查看详情

    发布时间:2018.11.16来源:互联网浏览量:134次

  • 从主数据到数据资产,数据资产管理到底应该怎么做?

    从主数据到数据资产,数据资产管理到底应该怎么做?

    主数据和数据资产管理的定义我们已经说烂了,今天就从主数据出发,来说说怎么进行数据资产管理。主数据的问题80%是管理问题很多企业的信息部门……查看详情

    发布时间:2020.08.19来源:CDDN浏览量:107次

  • 数据治理:如何入门

    数据治理:如何入门

    无论是在零售业,银行业还是医疗保健业,如今最精明的商业领袖都将数据列入其顶级企业资产 - 与产品,设备,设施和员工一样有价值 - 并且他……查看详情

    发布时间:2018.11.23来源:Henry DeVries浏览量:130次

  • 为什么数据治理这么重要?

    为什么数据治理这么重要?

    一个科学合理的数据治理规范,是数据安全与价值的制度保障,是数据产业健康发展,甚至是国家人工智能战略实施不可或缺的前提条件。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:89次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.01.29来源:头条浏览量:127次

  • 数据治理概述

    数据治理概述

    每天,大学的数据都会被评估,创建,使用,存储,存档,报告或删除。数据治理为罗切斯特的这些信息的定义,交换,完整性和安全性设定了标准和协议……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:192次

  • 每家公司都需要数据治理,这就是为什么

    每家公司都需要数据治理,这就是为什么

    随着GDPR法规迫在眉睫,企业需要确保他们掌握数据治理。……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:118次

  • 我国银行业步入“数据治理”新时代

    我国银行业步入“数据治理”新时代

    近日,银保监会发布《银行业金融机构数据治理指引》(以下简称《指引》),以取代银监会2011年颁布的《银行监管统计数据质量管理良好标准(试……查看详情

    发布时间:2018.12.07来源:中国产经新闻浏览量:91次

  • 改善业务和IT协调的关键

    改善业务和IT协调的关键

    促进业务和IT协调变得比以往任何时候都更加重要。……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:113次

  • 数据治理对医疗保健未来的重要性

    数据治理对医疗保健未来的重要性

    在过去的一年里,我已经广泛报道了基因组数据在医疗保健领域日益增长的重要性。其中一个最好的例子是英国生物银行与欧洲基因组 - 表型库(EG……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:117次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议