一张架构图告诉你数据中台如何搭建

发布时间:2020.10.15来源:数据中台浏览量:131次标签:数据治理

当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小亿结合亿信华辰的实践经验,用一张架构图来回答这些问题,并让大家看透数据中台架构中每一个部分的功能以及作用。

谈论数据中台时,他们在谈什么
“中台”早期是由美军的作战体系演化而来的,使用“中台”这种作战体系,目的就在于给予前方高效、灵活和强大炮火支持。2015年,阿里巴巴率先提出了“中台战略”,以及其有名的“大中台、小前台”的机制。2018年8月,阿里发布“双中台+ET”数字化转型方法论,阿里的双中台包括了数据中台和业务中台。

在阿里中台概念的引领下,很多企业也提出了自己的“中台战略”。如把内部一些通用性技术平台、支撑系统打包在一起,称之为技术中台;把一些大的业务服务系统,逻辑上集中起来称之为业务中台;或干脆把现有的数据仓库、数据治理平台、数据运维平台整合称之为数据中台;还有一种更简单的方式,就是把以前内部IT支撑系统的后台直接改名,与数据相关的部分就叫数据中台,与业务耦合度较紧密的就叫业务中台。

当下,人人都在谈论数字化转型,但怎么转,做什么,中台有可能成为企业推进数字化转型的有效方法之一。

理想的数据中台架构,是什么样的

我们先来看下网易严选的数据体系(上图),就更清楚数据中台的定位了。
数据中台的下层是数据平台,数据平台主要解决跟业务无关的问题,主要是大数据的存储和计算问题。
数据中台的上层就是数据前台,主要包括 BI 报表、数据产品和业务系统。
数据中台首先赋能分析师通过 BI 报表的形式来驱动业务精细化运营。

可以看到,数据中台的主要作用在于将企业内部所有数据统一处理形成标准化数据,挖掘出对企业最有价值的数据,构建企业数据资产库,对内对外提供一致的、高可用大数据服务。下面重点来看看亿信华辰根据多年大数据经验的累积及数据中台的项目实践总结出来的数据中台技术架构,主要分为以下5个部分:


数据汇聚
数据中台不产生数据,数据其实来源于各个业务系统、数据库、网络环境等,是日常操作所产生的数据,多数存储在网络环境和存储平台中,且各个系统之间独立存在,很难直接使用,需要去进行数据抽取、采集、整合和处理,将异构数据采集到统一的平台进行存储,进而通过建模将数据进行加工处理,变为对业务有用的数据,只有这样才能有效汇聚数据,形成数据中台的统一数据资源。

数据存储计算
将采集补录、抽取整合的业务数据汇聚后,以数据形态存储,当下大数据发展的节奏让数据库技术也由传统关系型数仓架构,向Hadoop分布式架构演变,并随着业务实时性决策需要,推动融合MPP、SQL on Hadoop、流处理等大数据技术服务的实时流式计算存储应用,实现海量数据高效统一管理,为企业提供实时数据支撑。

数据治理
数据平台建好后,业务数据可能杂乱无章,数据质量低,需要经过一系列的治理提高数据质量,将数据统一起来进行管控,这个过程中就包括数据模型管理、数据标准管理元数据管理数据质量管理、生命周期管理、数据安全管理。

数据模型管理是根据业务对数据进行分层、整合处理,方便数据的分析应用;元数据管理方便技术人员进行分析数据来龙去脉以及对数据库底层数据质量进行把控;数据标准用来指定一系列标准,对元数据进行标准的检查;数据质量是根据一系列规则,对库表数据进行校验和整改;数据生命周期和安全贯穿整个流程,为数据保驾护航。

数据资产管理
经过数据汇聚、数据治理,已经形成的数据资源需要有统一的地方去进行管理,方便业务人员理解数据,这时就需要建立数据资产管理体系,需要先根据业务先形成资产目录,数据拥有者将自己的数据资产挂到对应的类目树,梳理成一套完整的资产目录,将数据资产开放出去,展示给业务人员或外部人员,提供企业的数据意识。

数据服务
经过前期一系列梳理工作,数据还没有真正发挥它的价值,而数据服务则是将数据资产转化成一种服务能力,那么如果我们需要调用某个数据资产要怎么操作使用?数据提供方又如何将数据资产提供给别人使用?这就是我们说的数据服务功能,帮助用户实现数据规划咨询,数据资产服务开放及数据可视化展示应用等。

经验总结
每个企业都梦想要一个非常强大的数据中台,对企业内部提升运营效率、决策效率,对外支撑各种场景应用。希望实现如下功能:

在实施上,把数据来龙去脉梳理特别清楚,轻松解决数据加工、存储、分析、建模等与数据有有关的所有事情;
在管理上,想有一个可以管理一切的入口,把一切的数据、口径、项目、工程等都管理起来;
面对客户,想让客户可以一站式在这个平台上获取到任何想要的东西,并可以获取到足够的数据应用能力。
为了这个愿望,大部分的数据人朝着这个终极目标去努力。亿信华辰作为专业的智能数据产品与服务提供商,基于成熟的采集、存储、计算、治理等大数据技术,推出了符合企业数字化转型的数据中台解决方案。数据汇聚我们有数据工厂工具,数据治理有我们一整套睿治数据治理工具,数据资产管理和数据服务有数据资产管理工具,数据中台需要这一系列的工具去进行辅助实现,帮助企业建设自己的数据中台。

在亿信华辰实施众多项目过程中,我们认为数据中台是一个运营迭代的过程,通过业务闭环不断完善,使业务的场景化应用效果越来越好,最终达到数据业务价值的最大化。

数据中台的幕布已经揭开,如对亿信华辰数据中台解决方案感兴趣,欢迎留言探讨哦。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 2句话告诉你什么是数据治理

    2句话告诉你什么是数据治理

    数据治理是实践和流程的集合,有助于确保组织内数据资产的正式管理。数据治理通常包括其他概念,例如数据管理,数据质量等,以帮助企业更好地控制……查看详情

    发布时间:2021.04.28来源:亿信数据治理知识库浏览量:125次

  • 避免这五大数据治​​理错误

    避免这五大数据治​​理错误

    如果您正在开始一个大数据项目,那么您可能会遇到一个或多个数据管理挑战。您就如何实施数据治理以及如何控制数据流所做出的决策可能会影响您的项……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:133次

  • 多措并举提升银行业数据治理能力

    多措并举提升银行业数据治理能力

    数据治理是银行业高质量发展的必由之路,当前银行业的数字化转型面临一些挑战和不足,要从建立数据治理架构、统一数据标准、加强数据分析应用等方……查看详情

    发布时间:2019.12.13来源:知乎浏览量:155次

  • 银行自身要提升数据治理能力

    银行自身要提升数据治理能力

    数字经济对金融服务的模式也提出了新的要求,银行必须依托科技支撑,加快和深化数字化转型,带动风控模式的改革创新。银行还需要着力于构建其自身……查看详情

    发布时间:2019.10.29来源:知乎浏览量:220次

  • 用数据治理来拯救当今的大数据应用

    用数据治理来拯救当今的大数据应用

    当今社会,大数据的应用越来越广泛,企业和大数据的结合也越来越紧密。数据,俨然已成企业的重要资产之一。但是,大数据却并不是那么好管理,数据……查看详情

    发布时间:2019.08.15来源:知乎浏览量:116次

  • 浅谈银行的数据治理有哪些问题

    浅谈银行的数据治理有哪些问题

    企业数据治理的实践来看,目前在数据标准化这块落地也存在很大的困难,虽然现在有些企业在数据标准整理上已经基本上有了一个完整的标准,也存在标……查看详情

    发布时间:2020.02.21来源:知乎浏览量:140次

  • 深度思考:从BERT看大规模数据的无监督利用

    深度思考:从BERT看大规模数据的无监督利用

    在击败 11 个 NLP 任务的 State-of-the-art 结果之后,BERT 成为了 NLP 界新的里程碑, 同时打开了新的思……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:273次

  • 大数据治理 [Big Data Governance an Emerging Imperative]

    大数据治理 [Big Data Governance an Emerging Imperative]

    《大数据治理》是一个信息治理专家奉献的鸿篇巨制,作者以极其实用和通俗易懂的风格,倾心向读者解读大数据治理这一复杂主题。作为一家大公司的资……查看详情

    发布时间:2018.11.29来源:数据治理浏览量:178次

  • 数据治理的未来:平衡数据治理和数据管理

    数据治理的未来:平衡数据治理和数据管理

    如何通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势?” Citizens Bank首席数据官(CDO)……查看详情

    发布时间:2018.11.14来源:Michelle Knight浏览量:118次

  • 方法论:如何从0到1搭建企业级主数据管理平台

    方法论:如何从0到1搭建企业级主数据管理平台

    一个完整的主数据管理方案应该包括:主数据管理体系建设、主数据管理系统建设,这两个层面。主数据体系建设是企业数据管理的核心,是标准化数据的……查看详情

    发布时间:2021.05.13来源:亿信数据治理知识库浏览量:200次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议