一张架构图告诉你数据中台如何搭建

发布时间:2020.10.15来源:数据中台浏览量:2次标签:数据治理

当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小亿结合亿信华辰的实践经验,用一张架构图来回答这些问题,并让大家看透数据中台架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈什么
“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。

当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。

理想的数据中台架构,是什么样的

我们先来看下网易严选的数据体系(上图),就更清楚数据中台的定位了。
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。

可以看到,数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。下面重点来看看亿信华辰根据多年大数据经验的累积及数据中台的项目实践总结出来的数据中台技术架构,主要分为以下5个部分:


数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所产生的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据存储计算
将采集补录、抽取整合的业务数据汇聚后,以数据形态存储,当下大数据发展的节奏让数据库技术也由传统关系型数仓架构,向Hadoop分布式架构演变,并随着业务实时性决策需要,推动融合MPP、SQL on Hadoop、流处理等大数据技术服务的实时流式计算存储应用,实现海量数据高效统一管理,为企业提供实时数据支撑。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。

数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行管理,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,数据还没有真正发挥它的价值,而数据服务则是将数据资产转化成一种服务能力,那么如果我们需要调用某个数据资产要怎么操作使用?数据提供方又如何将数据资产提供给别人使用?这就是我们说的数据服务功能,帮助用户实现数据规划咨询,数据资产服务开放及数据可视化展示应用等。

经验总结
每个企业都梦想要一个非常强大的数据中台,对企业内部提升运营效率、决策效率,对外支撑各种场景应用。希望实现如下功能:

在实施上,把数据来龙去脉梳理特别清楚,轻松解决数据加工、存储、分析、建模等与数据有有关的所有事情;
在管理上,想有一个可以管理一切的入口,把一切的数据、口径、项目、工程等都管理起来;
面对客户,想让客户可以一站式在这个平台上获取到任何想要的东西,并可以获取到足够的数据应用能力。
为了这个愿望,大部分的数据人朝着这个终极目标去努力。亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据汇聚我们有数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

在亿信华辰实施众多项目过程中,我们认为数据中台是一个运营迭代的过程,通过业务闭环不断完善,使业务的场景化应用效果越来越好,最终达到数据业务价值的最大化。

数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业数字化转型需重视哪些问题

    企业数字化转型需重视哪些问题

    大数据可以帮助企业制定可行的战略规划,获取客户洞察力,支持客户购买行为,建立新的商业模式,从而赢得竞争优势。成功的企业数字案例显然有自己……查看详情

    发布时间:2019.11.07来源:知乎浏览量:1次

  • 数据治理与数据质量的关系

    数据治理与数据质量的关系

    单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论……查看详情

    发布时间:2018.11.29来源:知乎浏览量:2次

  • 埃尔温自动化框架:在数据编制、部署和治理方面实现更快的值时

    埃尔温自动化框架:在数据编制、部署和治理方面实现更快的值时

    数据治理对企业来说比以往任何时候都重要。它确保组织中的每个人都能发现和分析高质量的数据,从而快速提供业务价值。……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:3次

  • 数据标准管理组织职能划分与数据标准设计流程

    数据标准管理组织职能划分与数据标准设计流程

    数据标准的设计从需求发起到落地执行,一般需要经过标准编制、标准审查、标准发布、标准贯彻四个阶段:……查看详情

    发布时间:2020.09.18来源:知乎浏览量:1次

  • 数据质量管理方法

    数据质量管理方法

    数据质量闭环管理机制以制定规则、问题发现、质量剖析、数据清理、评估验证、持续监控为核心活动,又结合银行的数据实践进行了定制和优化。……查看详情

    发布时间:2019.11.15来源:知乎浏览量:4次

  • 数据质量对区块链的重要性

    数据质量对区块链的重要性

    区块链应该显着提高数据质量。所有这些都与所有权有关,他指出 - 无论是金钱,房地产还是其他任何东西 - 以及它的转移,以及如何记录这些数……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:2次

  • 数据治理加速企业数字化转型

    数据治理加速企业数字化转型

    现在大家都在说一个概念,银行有3.0时代,数据也有3.0时代,3.0时代在不同地域里都有不同的诉求,数字3.0时代是什么?概念并不新,从……查看详情

    发布时间:2019.08.02来源:企业网浏览量:1次

  • 怎样避免数据治理里面的坑?

    怎样避免数据治理里面的坑?

    数据治理是一项长期而繁杂的工作,很多时候大家都为如何做好数据治理而感到困惑,甚至很多时候对此失去了信心。怎么避免数据治理这些问题?……查看详情

    发布时间:2018.12.10来源:CSDN浏览量:3次

  • 不再有肮脏的数据:关于数据治理的五个提示

    不再有肮脏的数据:关于数据治理的五个提示

    确保您的数据获得和保持干净需要正确的数据治理方法。……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:1次

  • 大数据资产管理总体框架概述

    大数据资产管理总体框架概述

    随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将被……查看详情

    发布时间:2019.02.21来源:知乎浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议