一个通用的数据中台架构应该如何构建,本文告诉你答案

发布时间:2020.09.14来源:小亿浏览量:144次标签:数据治理

这两年,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但什么是中台,每个人的理解并不一致,小亿结合亿信华辰的实践经验,在本文中讲述了什么是数据中台,以及数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

企业也纷纷规划起自己的中台。那数据中台到底要经过哪些加工、如何将数据用起来,相信很多人都会有这个疑问,这次将讲解数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈论什么
当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。在“业务中台”模式下,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景。“数据中台”则打破了不同业务部门之间的烟囱式IT架构,从而打通数据孤岛,实现了“一切业务数据化”的目标。ET大脑是指其面向特定行业的智能化解决方案。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。以上定义,各有各有道理,但有一点大家都有一致的意见,就是建立中台的目的在于:减少冗余,增加复用,快速响应用户需求。

一般来说,数据中台是指企业利用大数据技术,对内外部海量数据统一进行采集、计算、存储,并使用统一的数据规范进行管理,数据规范包括数据口径、数据模型、元数据规范、参考数据标准、主数据标准、业务规则等。更进一步,广义的数据中台,还包括企业长期积累下来与业务有较强关联性的一些技术组件,如业务标签、算法模型、数据产品等。数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。

理想的数据中台架构,是什么样的

我们先来看下面网易严选数据体系的图,就更清楚数据中台的定位了。


数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。
数据中台的目标是通过中台提供的工具、方法和运行机制,把异构资源的数据进行加工处理,最后变为一种服务能力,让数据更方便地被业务使用。上图为中台架构图,底层是业务系统的各路数据源,中间是进行数据汇集、处理和数据治理,最后是形成数据服务进行应用。

数据中台架构主要分为以下5个部分:
数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所造成的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行展示,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,其实数据还没有产生价值,那数据服务其实是将数据资产变为一种服务能力,简单来说,我们可以对数据资产一览无余,那么如果看上了某个数据资产,需要如何进行使用呢?数据提供方将数据资产提供给别人使用,他又能获取到什么利益呢?这就是我们的数据服务功能,数据资产已经对外开放,如果我们需要这个数据资产,就需要这个数据资产开放对应的服务,服务支持多样式,例如API、数据交换、文件、在线查询等,申请的人可以进行加购获取到这个数据资产的信息,快速进行分析应用等。

运营体系
通过数据汇聚、数据治理、数据资产管理、数据服务,以及完成数据中台的建立,数据得到价值,但是数据中台如果需要持续运转,需要一套运营体系,让中台得以健康、持续运营,让数据不断发挥价值。

说到这里,必须介绍下我们亿信华辰,致力于数据领域十余年,产品覆盖数据的全生命周期,数据汇聚有我们的数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理&数据仓库

    数据治理&数据仓库

    亿信睿智数据治理管理平台提供数据治理&数据仓库一体化解决方案,协助企业:建立企业内一致的信息视图,建立操作型数据的集中存储与分发的基础平……查看详情

    发布时间:2018.12.05来源:数据治理浏览量:272次

  • 数据治理包括哪几个方面

    数据治理包括哪几个方面

    大数据时代的到来,让政府、企业看到了数据资产的价值,快速开始探索应用场景和商业模式、建设技术平台。这无可厚非。但是,如果在大数据拼图中遗……查看详情

    发布时间:2022.05.10来源:小亿浏览量:2095次

  • 大数据是大问题?组织需要为数据管理负责

    大数据是大问题?组织需要为数据管理负责

    如果数据收集在2018年让人们明白一件事的话,那就是使用数据的公司与商业模式依赖数据利用的公司之间存在一条明显而深刻的界线。……查看详情

    发布时间:2019.04.08来源:亿信华辰浏览量:148次

  • 大数据治理需要具备哪些能力和关键技术?

    大数据治理需要具备哪些能力和关键技术?

    在企业数据建设过程中,大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:226次

  • 中小银行数据治理难点在哪儿?

    中小银行数据治理难点在哪儿?

    银行数字化转型是银行业伴随金融科技发展的必然趋势,而数据治理是实现银行数字化转型的基础。……查看详情

    发布时间:2019.12.13来源:CSDN浏览量:175次

  • 在抗灾中积累治理“大数据”

    在抗灾中积累治理“大数据”

    每一次应对灾害,无论是经验还是教训,都会构成全国其他地方“诊治”灾害的“大数据”参考……查看详情

    发布时间:2018.09.25来源:人民日报浏览量:119次

  • 不再有肮脏的数据:关于数据治理的五个提示

    不再有肮脏的数据:关于数据治理的五个提示

    确保您的数据获得和保持干净需要正确的数据治理方法。……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:169次

  • 数据治理术语表

    数据治理术语表

    DGI提供了使用非技术语言解释的网络最佳数据相关术语集。在这里,您将找到不仅需要了解数据治理,还需要了解其他类型的程序和项目所需的信息,……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:428次

  • 医疗保健数据治理:预测是什么?

    医疗保健数据治理:预测是什么?

    医疗保健数据治理已经远超过应用程序只是满足合规性标准。医疗费用始终是讨论的主题,健康保险状况和“平价医疗法案”(ACA)等政策也是如此。……查看详情

    发布时间:2018.12.03来源:迈克尔帕斯托雷浏览量:184次

  • 干货 | 企业数据治理最重要的三步

    干货 | 企业数据治理最重要的三步

    对企业内部数据进行标准化治理,是有效利用的第一步。下面,就来说说企业数据治理要如何在项目开启时就赢在起跑线上。……查看详情

    发布时间:2021.05.12来源:亿信数据治理知识库浏览量:227次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议