一个通用的数据中台架构应该如何构建,本文告诉你答案

发布时间:2020.09.14来源:小亿浏览量:82次标签:数据治理

这两年,越来越多的大数据从业者提到“数据中台”的概念。在信息系统建设工作中,我们熟知系统可以分为前台和后台,但什么是中台,每个人的理解并不一致,小亿结合亿信华辰的实践经验,在本文中讲述了什么是数据中台,以及数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

企业也纷纷规划起自己的中台。那数据中台到底要经过哪些加工、如何将数据用起来,相信很多人都会有这个疑问,这次将讲解数据中台的架构,让大家了解一下架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈论什么
当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。在“业务中台”模式下,前端业务部门可以像搭积木一样调用平台上的产品技术模块,从而快速搭建新业务场景。“数据中台”则打破了不同业务部门之间的烟囱式IT架构,从而打通数据孤岛,实现了“一切业务数据化”的目标。ET大脑是指其面向特定行业的智能化解决方案。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。以上定义,各有各有道理,但有一点大家都有一致的意见,就是建立中台的目的在于:减少冗余,增加复用,快速响应用户需求。

一般来说,数据中台是指企业利用大数据技术,对内外部海量数据统一进行采集、计算、存储,并使用统一的数据规范进行管理,数据规范包括数据口径、数据模型、元数据规范、参考数据标准、主数据标准、业务规则等。更进一步,广义的数据中台,还包括企业长期积累下来与业务有较强关联性的一些技术组件,如业务标签、算法模型、数据产品等。数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。

理想的数据中台架构,是什么样的

我们先来看下面网易严选数据体系的图,就更清楚数据中台的定位了。


数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。
数据中台的目标是通过中台提供的工具、方法和运行机制,把异构资源的数据进行加工处理,最后变为一种服务能力,让数据更方便地被业务使用。上图为中台架构图,底层是业务系统的各路数据源,中间是进行数据汇集、处理和数据治理,最后是形成数据服务进行应用。

数据中台架构主要分为以下5个部分:
数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所造成的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行展示,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,其实数据还没有产生价值,那数据服务其实是将数据资产变为一种服务能力,简单来说,我们可以对数据资产一览无余,那么如果看上了某个数据资产,需要如何进行使用呢?数据提供方将数据资产提供给别人使用,他又能获取到什么利益呢?这就是我们的数据服务功能,数据资产已经对外开放,如果我们需要这个数据资产,就需要这个数据资产开放对应的服务,服务支持多样式,例如API、数据交换、文件、在线查询等,申请的人可以进行加购获取到这个数据资产的信息,快速进行分析应用等。

运营体系
通过数据汇聚、数据治理、数据资产管理、数据服务,以及完成数据中台的建立,数据得到价值,但是数据中台如果需要持续运转,需要一套运营体系,让中台得以健康、持续运营,让数据不断发挥价值。

说到这里,必须介绍下我们亿信华辰,致力于数据领域十余年,产品覆盖数据的全生命周期,数据汇聚有我们的数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?” Citizens Bank首席数据官(CDO)……查看详情

    发布时间:2018.11.14来源:Michelle Knight浏览量:90次

  • 数据治理有助于为分析构建坚实的基础

    数据治理有助于为分析构建坚实的基础

    如果您的业务很多,那么它就会大量投资于分析。我们生活在一个数据驱动的世界里。数据推动了我们从零售商处获得的建议,我们从杂货店获得的优惠券……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:98次

  • 数据治理和流分析的关系

    数据治理和流分析的关系

    借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:77次

  • 使用数据治理克服常见的业务障碍

    使用数据治理克服常见的业务障碍

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:81次

  • 10个顶级元数据管理工具

    10个顶级元数据管理工具

    元数据管理解决方案监控整个生命周期中的数据,包括数据分析,数据价值,数据治理以及风险和合规性。……查看详情

    发布时间:2019.07.11来源:头条浏览量:212次

  • 数据治理需要转变

    数据治理需要转变

    数据准备和编目工具使用机器学习来协助和建议采购,策划,挖掘和使用数据的方法。数据治理服务在后台智能运行,以自动更正和管理数据使用。……查看详情

    发布时间:2019.04.03来源:亿信华辰浏览量:85次

  • 如何制定数据标准

    如何制定数据标准

    一般来说,对于政府,会有国家或地方政府发文的数据标准管理办法,其中会详细规定相关的数据标准。所以在此主要讲企业如何制定数据标准。……查看详情

    发布时间:2019.12.20来源:知乎浏览量:90次

  • 如果您没有数据管理策略,您的数据将毫无用处

    如果您没有数据管理策略,您的数据将毫无用处

    在谈到数据革命时,我们会想到大胆的交互式仪表板,其中包含令人大开眼界的见解。这些丰富多彩的图表背后是一个可靠的数据治理系统。数据治理是看……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:83次

  • 企业数字化转型中数据中台建设面临的挑战

    企业数字化转型中数据中台建设面临的挑战

    当前全球经济进入数字化转型时期,数字化转型已成为传统企业必须付诸行动必选题。基于企业业务数字化要求,企业可利用数据中台提供的大数据能力,……查看详情

    发布时间:2020.04.01来源:知乎浏览量:75次

  • 主动方法在数据治理的数据架构

    主动方法在数据治理的数据架构

    “数据架构是业务战略的物理实现,” 全球数据战略有限公司 EMEA首席顾问NigelTurner在DATAVER……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:72次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议