一张架构图告诉你数据中台如何搭建

发布时间:2020.10.15来源:数据中台浏览量:11次标签:数据治理

当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小亿结合亿信华辰的实践经验,用一张架构图来回答这些问题,并让大家看透数据中台架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈什么
“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。

当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。

理想的数据中台架构,是什么样的

我们先来看下网易严选的数据体系(上图),就更清楚数据中台的定位了。
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。

可以看到,数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。下面重点来看看亿信华辰根据多年大数据经验的累积及数据中台的项目实践总结出来的数据中台技术架构,主要分为以下5个部分:


数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所产生的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据存储计算
将采集补录、抽取整合的业务数据汇聚后,以数据形态存储,当下大数据发展的节奏让数据库技术也由传统关系型数仓架构,向Hadoop分布式架构演变,并随着业务实时性决策需要,推动融合MPP、SQL on Hadoop、流处理等大数据技术服务的实时流式计算存储应用,实现海量数据高效统一管理,为企业提供实时数据支撑。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。

数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行管理,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,数据还没有真正发挥它的价值,而数据服务则是将数据资产转化成一种服务能力,那么如果我们需要调用某个数据资产要怎么操作使用?数据提供方又如何将数据资产提供给别人使用?这就是我们说的数据服务功能,帮助用户实现数据规划咨询,数据资产服务开放及数据可视化展示应用等。

经验总结
每个企业都梦想要一个非常强大的数据中台,对企业内部提升运营效率、决策效率,对外支撑各种场景应用。希望实现如下功能:

在实施上,把数据来龙去脉梳理特别清楚,轻松解决数据加工、存储、分析、建模等与数据有有关的所有事情;
在管理上,想有一个可以管理一切的入口,把一切的数据、口径、项目、工程等都管理起来;
面对客户,想让客户可以一站式在这个平台上获取到任何想要的东西,并可以获取到足够的数据应用能力。
为了这个愿望,大部分的数据人朝着这个终极目标去努力。亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据汇聚我们有数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

在亿信华辰实施众多项目过程中,我们认为数据中台是一个运营迭代的过程,通过业务闭环不断完善,使业务的场景化应用效果越来越好,最终达到数据业务价值的最大化。

数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理流程

    数据治理流程

    要真正把数据作为企业有价值的资产来管理,就必须像管理财务、人力资源等业务功能一样进行数据治理。财务功能由多个核心业务流程组成,如应付账款……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:9次

  • 数据治理困难,即数据治理之“困”。

    数据治理困难,即数据治理之“困”。

    当前,以人工智能、区块链等为代表的数字技术不断涌现,快速向经济社会各领域融合渗透。以数据为核心的数字化转型已是大势所趋。金融业是数据密集……查看详情

    发布时间:2020.01.03来源:知乎浏览量:6次

  • 数据资产管理经验干货心得分享

    数据资产管理经验干货心得分享

    数据资产的定义是是指由企业拥有或企业控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料,电子数据等。在企……查看详情

    发布时间:2020.08.19来源:微信浏览量:13次

  • 美国数据治理有何新动向?

    美国数据治理有何新动向?

    大数据时代,美国高度重视数据资源的战略价值,相继出台国家战略,落实配套措施,系统推动本国大数据发展。通过加强数据安全保护,完善个人信息和……查看详情

    发布时间:2018.10.10来源:中国信息通信浏览量:10次

  • 数据治理:将数据从源头进行清洗

    数据治理:将数据从源头进行清洗

    数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与……查看详情

    发布时间:2019.06.20来源:简书浏览量:15次

  • 揭开医疗保健数据治理的神秘面纱

    揭开医疗保健数据治理的神秘面纱

    医疗保健逐渐与数据治理产生紧密联系……查看详情

    发布时间:2018.12.26来源:亿信华辰浏览量:10次

  • 高质量的数据一般包括哪些特征?

    高质量的数据一般包括哪些特征?

    ​基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是企业所收集的数据可能不完全,或者更新不……查看详情

    发布时间:2022.06.09来源:小亿浏览量:16次

  • 有效数据治理的6大原则

    有效数据治理的6大原则

    如果你常常对数据准确性而烦恼,大部分时间都用于处理数据而不是对业务进行思考分析的话,那么你需要好好对数据进行治理了。……查看详情

    发布时间:2019.10.17来源:知乎浏览量:15次

  • 企业如何提升数据质量?

    企业如何提升数据质量?

    在这个大数据时代,数据资产逐渐成了构成成企业核心竞争力的关键要素,然后,大数据的应用必须建立在高质量的数据上才有意义,因此提供数据质量是……查看详情

    发布时间:2019.07.26来源:知乎浏览量:12次

  • 企业为什么要进行数据资产管理?

    企业为什么要进行数据资产管理?

    ​随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将……查看详情

    发布时间:2022.05.27来源:小亿浏览量:10次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议