一张架构图告诉你数据中台如何搭建

发布时间:2020.10.15来源:数据中台浏览量:28次标签:数据治理

当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小亿结合亿信华辰的实践经验,用一张架构图来回答这些问题,并让大家看透数据中台架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈什么
“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。

当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。

理想的数据中台架构,是什么样的

我们先来看下网易严选的数据体系(上图),就更清楚数据中台的定位了。
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。

可以看到,数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。下面重点来看看亿信华辰根据多年大数据经验的累积及数据中台的项目实践总结出来的数据中台技术架构,主要分为以下5个部分:


数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所产生的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据存储计算
将采集补录、抽取整合的业务数据汇聚后,以数据形态存储,当下大数据发展的节奏让数据库技术也由传统关系型数仓架构,向Hadoop分布式架构演变,并随着业务实时性决策需要,推动融合MPP、SQL on Hadoop、流处理等大数据技术服务的实时流式计算存储应用,实现海量数据高效统一管理,为企业提供实时数据支撑。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。

数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行管理,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,数据还没有真正发挥它的价值,而数据服务则是将数据资产转化成一种服务能力,那么如果我们需要调用某个数据资产要怎么操作使用?数据提供方又如何将数据资产提供给别人使用?这就是我们说的数据服务功能,帮助用户实现数据规划咨询,数据资产服务开放及数据可视化展示应用等。

经验总结
每个企业都梦想要一个非常强大的数据中台,对企业内部提升运营效率、决策效率,对外支撑各种场景应用。希望实现如下功能:

在实施上,把数据来龙去脉梳理特别清楚,轻松解决数据加工、存储、分析、建模等与数据有有关的所有事情;
在管理上,想有一个可以管理一切的入口,把一切的数据、口径、项目、工程等都管理起来;
面对客户,想让客户可以一站式在这个平台上获取到任何想要的东西,并可以获取到足够的数据应用能力。
为了这个愿望,大部分的数据人朝着这个终极目标去努力。亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据汇聚我们有数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

在亿信华辰实施众多项目过程中,我们认为数据中台是一个运营迭代的过程,通过业务闭环不断完善,使业务的场景化应用效果越来越好,最终达到数据业务价值的最大化。

数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理领军企业在中国

    数据治理领军企业在中国

    中国在大数据领域做得不错。中国人口多,数据就多,数据多就会呼唤更先进的数据处理技术,呼唤更多的数据应用场景,这是中国在数据方面得天独厚的……查看详情

    发布时间:2020.07.31来源:知乎浏览量:11次

  • 一个平台搞定数据治理,助力全国统一大市场建设

    一个平台搞定数据治理,助力全国统一大市场建设

    建立健全全国性技术交易市场,完善知识产权评估与交易机制,推动各地技术交易市场互联互通。完善科技资源共享服务体系,鼓励不同区域之间科技信息……查看详情

    发布时间:2022.06.02来源:小亿浏览量:21次

  • 指标管理实践技能:如何让同一套指标体系展示为不同的树形结构

    指标管理实践技能:如何让同一套指标体系展示为不同的树形结构

    企业的指标体系的建设和维护工作非常繁杂,指标的数据来源、指标公式的维护、指标数据的更新、指标数据的应用,往往涉及到企业的多个部门,这些部……查看详情

    发布时间:2021.02.06来源:知乎浏览量:18次

  • 数据治理VS数据安全治理

    数据治理VS数据安全治理

    企业信息化建设是随着企业战略、业务形态、预算等多个方面不断迭代及变化的,所以在建设过程中难免出现阶段鸿沟,跨阶段整合难的现象,当企业以数……查看详情

    发布时间:2020.06.29来源:CSDN浏览量:21次

  • 什么是元数据?元数据管理的作用是什么?

    什么是元数据?元数据管理的作用是什么?

    为了更好地理解企业拥有的数据,必须访问关联的元数据。 元数据管理帮助您判断数据来自何处,其在不同系统中的位置以及如何使用。元数据用于管理……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:47次

  • 大数据治理的五个核心要素

    大数据治理的五个核心要素

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:28次

  • 常见的主数据管理问题

    常见的主数据管理问题

    主数据管理,包括不仅仅是硬件和软件,还是将数据作为重要资产管理的思想和办法,是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保……查看详情

    发布时间:2020.12.05来源:知乎浏览量:113次

  • 金融业如何解困破局、实现数据有序治理和高效利用

    金融业如何解困破局、实现数据有序治理和高效利用

    现如今金融业如何解困破局、实现数据有序治理和高效利用,是需要共同探讨的重点议题。数据治理应遵循四大基本原则。……查看详情

    发布时间:2019.12.12来源:知乎浏览量:18次

  • 企业为什么要进行数据资产管理?

    企业为什么要进行数据资产管理?

    ​随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将……查看详情

    发布时间:2022.05.27来源:小亿浏览量:100次

  • 面对如今的数据挑战企业如何有效地进行数据治理

    面对如今的数据挑战企业如何有效地进行数据治理

    数据治理是对数据资产管理行使权力和控制的活动集合,数据治理是识别、管理和解决几种不同类型数据相关问题的手段,包括数据质量问题、数据命名和……查看详情

    发布时间:2019.08.29来源:知乎浏览量:23次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议