一个通用的数据中台架构应该如何构建,本文告诉你答案

发布时间:2020.11.18来源:知乎浏览量:141次标签:数据治理

这两年,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但什么是中台,每个人的理解并不一致,小亿结合亿信华辰的实践经验,在本文中讲述了什么是数据中台,以及数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

企业也纷纷规划起自己的中台。那数据中台到底要经过哪些加工、如何将数据用起来,相信很多人都会有这个疑问,这次将讲解数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈论什么
当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。在“业务中台”模式下,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景。“数据中台”则打破了不同业务部门之间的烟囱式IT架构,从而打通数据孤岛,实现了“一切业务数据化”的目标。ET大脑是指其面向特定行业的智能化解决方案。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。以上定义,各有各有道理,但有一点大家都有一致的意见,就是建立中台的目的在于:减少冗余,增加复用,快速响应用户需求。

一般来说,数据中台是指企业利用大数据技术,对内外部海量数据统一进行采集、计算、存储,并使用统一的数据规范进行管理,数据规范包括数据口径、数据模型、元数据规范、参考数据标准、主数据标准、业务规则等。更进一步,广义的数据中台,还包括企业长期积累下来与业务有较强关联性的一些技术组件,如业务标签、算法模型、数据产品等。数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。

理想的数据中台架构,是什么样的
我们先来看下面网易严选数据体系的图,就更清楚数据中台的定位了。

数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。
数据中台的目标是通过中台提供的工具、方法和运行机制,把异构资源的数据进行加工处理,最后变为一种服务能力,让数据更方便地被业务使用。上图为中台架构图,底层是业务系统的各路数据源,中间是进行数据汇集、处理和数据治理,最后是形成数据服务进行应用。

数据中台架构主要分为以下5个部分:

数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所造成的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行展示,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,其实数据还没有产生价值,那数据服务其实是将数据资产变为一种服务能力,简单来说,我们可以对数据资产一览无余,那么如果看上了某个数据资产,需要如何进行使用呢?数据提供方将数据资产提供给别人使用,他又能获取到什么利益呢?这就是我们的数据服务功能,数据资产已经对外开放,如果我们需要这个数据资产,就需要这个数据资产开放对应的服务,服务支持多样式,例如API、数据交换、文件、在线查询等,申请的人可以进行加购获取到这个数据资产的信息,快速进行分析应用等。

运营体系
通过数据汇聚、数据治理、数据资产管理、数据服务,以及完成数据中台的建立,数据得到价值,但是数据中台如果需要持续运转,需要一套运营体系,让中台得以健康、持续运营,让数据不断发挥价值。

说到这里,必须介绍下我们亿信华辰,致力于数据领域十余年,产品覆盖数据的全生命周期,数据汇聚有我们的数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 2018年十大数据泄露安全事件盘点

    2018年十大数据泄露安全事件盘点

    数据安全任重道远,如何在互联网发展的大潮下同时确保信息安全,已经成为全世界各行业普遍关注的焦点问题。2018年以来,数据泄漏事故、勒索软……查看详情

    发布时间:2019.01.10来源:浏览量:140次

  • 言简意赅带你探究大数据治理的真面目

    言简意赅带你探究大数据治理的真面目

    在“十四五”规划和2035远景目标中,治理一词共出现了119次,这一数字是惊人的。数据治理已然成为整个社会转型的重要赛道,数字经济时代下……查看详情

    发布时间:2022.01.23来源:小亿浏览量:148次

  • 做好数据治理才能建设大数据平台

    做好数据治理才能建设大数据平台

    大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,而国内企业数据平台的建设大概从90年代末就开始了,从第一……查看详情

    发布时间:2018.11.28来源:数据治理浏览量:163次

  • 国内成熟的数据治理解决方案提供商

    国内成熟的数据治理解决方案提供商

    如今,数据已成为企业的货币,但管理数据不当可能会很快失去控制。麻省理工学院最近的一项研究发现,对于一些企业来说,大数据正在变成糟糕的数据……查看详情

    发布时间:2019.11.25来源:CSDN浏览量:200次

  •  赣州银行:数据治理+管控平台,解决数据质量“老大难”

    赣州银行:数据治理+管控平台,解决数据质量“老大难”

    未来在金融科技落地的过程中,在数字化转型的征途上,亿信华辰愿助力银行数据治理每一步都走得踏实,都能见到实效。……查看详情

    发布时间:2021.04.15来源:亿信数据治理研究院浏览量:365次

  • 数据治理的价值体系包括哪些方面?

    数据治理的价值体系包括哪些方面?

    数据治理的目标是通过对数据资产的有效管控持续创造价值,价值域通过对治理结果的有效整理,通过构建具体化的数据产品,实现上述的价值创造。那么……查看详情

    发布时间:2022.05.05来源:小亿浏览量:346次

  • 数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    近些年来,“数据治理”这个词总是高频出现,让人们对其“身世背景”格外好奇。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系……查看详情

    发布时间:2020.09.19来源:知乎浏览量:130次

  • 2019年IT关注的重点:大数据分析的存储架构

    2019年IT关注的重点:大数据分析的存储架构

    存储行业的技术专家和分析师预测,IT组织将专注于改进其存储架构,以便在2019年更好地利用数据分析、人工智能和物联网。并指出,改进大数据……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:97次

  • 什么阻碍了数据治理更好的发展?

    什么阻碍了数据治理更好的发展?

    数据治理正迅速成为全球政策优先事项,这是正确的。已建立的利益和强大的公司正在以令人眼花缭乱的速度构建和重新构建关于数据治理的公众辩论,并……查看详情

    发布时间:2019.07.11来源:知乎浏览量:125次

  • 重新思考数据治理

    重新思考数据治理

    随着数据和分析技术的变化,它们带来了新的数据治理挑战。当然,数据治理有各种定义,具体取决于您询问的对象。出于本文的目的,我们将其定义为确……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:176次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议