一张架构图告诉你数据中台如何搭建

发布时间:2020.10.15来源:数据中台浏览量:198次标签:数据治理

当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小亿结合亿信华辰的实践经验,用一张架构图来回答这些问题,并让大家看透数据中台架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈什么
“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。

当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。

理想的数据中台架构,是什么样的

我们先来看下网易严选的数据体系(上图),就更清楚数据中台的定位了。
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。

可以看到,数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。下面重点来看看亿信华辰根据多年大数据经验的累积及数据中台的项目实践总结出来的数据中台技术架构,主要分为以下5个部分:


数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所产生的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据存储计算
将采集补录、抽取整合的业务数据汇聚后,以数据形态存储,当下大数据发展的节奏让数据库技术也由传统关系型数仓架构,向Hadoop分布式架构演变,并随着业务实时性决策需要,推动融合MPP、SQL on Hadoop、流处理等大数据技术服务的实时流式计算存储应用,实现海量数据高效统一管理,为企业提供实时数据支撑。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。

数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行管理,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,数据还没有真正发挥它的价值,而数据服务则是将数据资产转化成一种服务能力,那么如果我们需要调用某个数据资产要怎么操作使用?数据提供方又如何将数据资产提供给别人使用?这就是我们说的数据服务功能,帮助用户实现数据规划咨询,数据资产服务开放及数据可视化展示应用等。

经验总结
每个企业都梦想要一个非常强大的数据中台,对企业内部提升运营效率、决策效率,对外支撑各种场景应用。希望实现如下功能:

在实施上,把数据来龙去脉梳理特别清楚,轻松解决数据加工、存储、分析、建模等与数据有有关的所有事情;
在管理上,想有一个可以管理一切的入口,把一切的数据、口径、项目、工程等都管理起来;
面对客户,想让客户可以一站式在这个平台上获取到任何想要的东西,并可以获取到足够的数据应用能力。
为了这个愿望,大部分的数据人朝着这个终极目标去努力。亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据汇聚我们有数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

在亿信华辰实施众多项目过程中,我们认为数据中台是一个运营迭代的过程,通过业务闭环不断完善,使业务的场景化应用效果越来越好,最终达到数据业务价值的最大化。

数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理到底在哪里治?

    数据治理到底在哪里治?

    关于数据中台到底应该在中台治理还是应该在后台治理,数据治理到底应该放在中台,还是后台,我个人的理解是:小数据标准化治理靠人工、大数据预测……查看详情

    发布时间:2020.07.07来源:知乎浏览量:187次

  • 数据平台,数据中台是什么数据?

    数据平台,数据中台是什么数据?

    数据中台最核心的就是data API,它提供一个一个的可以复用的标准,这种数据服务给到业务系统。构建数据中台和构建数据平台也有很大的区别……查看详情

    发布时间:2021.01.23来源:知乎浏览量:174次

  • 2021数据治理如何让数据产生价值

    2021数据治理如何让数据产生价值

    众所周知,2020年新冠疫情爆发以来,“健康码”已常态化的出现在大家的日常生活中,这个全民参与其中的数字化疫情防控手段背后正是“数据治理……查看详情

    发布时间:2021.04.14来源:亿信数据治理知识库浏览量:226次

  • 数据仓库的定义,它有什么作用?

    数据仓库的定义,它有什么作用?

    最简单的数据仓库是用于存储和报告数据的系统。数据通常源自多个系统,然后将其移入数据仓库以进行长期存储和分析。该存储的结构使得组织内的许多……查看详情

    发布时间:2018.12.20来源:数据治理浏览量:193次

  • 数据安全问题引担忧 如何给用户一颗“定心丸”?

    数据安全问题引担忧 如何给用户一颗“定心丸”?

    信息化发展已经由IT(Information Technology)时代进入DT(Data Technology)时代,“数据安全与个人……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:184次

  • 元数据管理是什么?元数据管理的意义

    元数据管理是什么?元数据管理的意义

    元数据管理是数据治理工作是重中之重,为什么企业内部的数据质量总是不高?其实只要有数据存在就有数据质量问题存在。但是也可以通过一个有效的管……查看详情

    发布时间:2021.08.11来源:亿信华辰数据治理知识库浏览量:1079次

  • 数据治理最佳实践利用大数据

    数据治理最佳实践利用大数据

    大数据时代的新兴技术,如人工智能和物联网,意味着有更多的数据可以从中受益,并且数据治理策略可以管理和保护。……查看详情

    发布时间:2019.06.28来源:知乎浏览量:240次

  • 元数据治理—从数据的源头开始

    元数据治理—从数据的源头开始

    将题目分为两部分——元数据和数据治理时,元数据治理最容易理解。询问任何擅长元数据管理的组织(或提供他们的数据,信息和记录的完整文档),无……查看详情

    发布时间:2019.06.20来源:简书浏览量:255次

  • 融”出生命力 “合”出新动能:贵阳推动大数据与实体经济深度融合发展

    融”出生命力 “合”出新动能:贵阳推动大数据与实体经济深度融合发展

    “它以当前中国经济罕见的两位数增长率,领跑全国城市。它以创新驱动传统产业转型升级的路径,成为后发优势地区仰望的标杆。”这是去年12月15……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:191次

  • 打破数据治理:数据质量

    打破数据治理:数据质量

    任何数据驱动的计划的成功取决于该数据是否相关且值得信赖。随着越来越多的大学将数据视为负责任的战略规划和计划的关键,许多人都意识到:有些数……查看详情

    发布时间:2019.07.11来源:知乎浏览量:215次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议