数据中台和传统的数据系统出发点不一样

发布时间:2021.01.23来源:知乎浏览量:106次标签:数据治理

这里举个例子,原来的数据平台也好,数据湖也好,数据仓库也好,它们的出发点很多时候有局限性,应该说更是一个支撑性的技术系统,即一定要去考虑我先有什么数据,然后我能干什么,这是传统的数据平台,数据湖,依赖于现有数据的质量,现有数据的状况来做的这样的一个支撑性的技术平台。但是数据中台在我们现在所讲的概念里面,它更多的是从业务出发,比如说我们现在所设计的一套精益数据的方法,它就是从业务出发,一开始都不用看你系统里面有什么数据,重点的是去解决你的业务需要什么样的数据服务?作为第一出发点,作为切入点。然后再来看这些业务,你需要这些数据服务,它有什么价值?至于说这些数据服务所依赖的数据有没有,那是我们的实现方式,只要这个服务有价值,那我们就去想办法去拿到数据,如果没有能力,我们去建技术能力,去完成数据服务的提供。所以数据中台最重要区别于传统数据平台,技术类平台的区别在于数据中台的思维是业务思维,他从业务问题出发,这也就是为什么业务部门对数据中台会这么欢迎。

在过去,业务部门跟技术部门同数据仓库的人提需求,数据仓库的人说不行,没有数据,数据质量不好,现在做不到,现在我们只有这些数据,然后看看在这些数据里面,你们能干点啥,这是原来的思路。但是我们所讲的数据中台指的是业务需要什么?我们就用数据中台提供什么?哪怕说现在可能你连数据库都没有,但是只要业务需要这样的数据服务,我们手工的去录入构建这样的一个API也要让它实现,也要为业务产生价值。然后慢慢的我们再来完善数据服务,把它自动化,所以这就是我们所讲的业务中台第一个最大的区别,一定是从业务价值出发,所以业务部门过去这么多年里,实际上对数据的需求和业务的需求从来没有发生过变化。从来没有说原来因为数据平台没有数据中台的概念,所以我提的需求少一点。业务对于数据的需求没有变化,但是它需要一种新的思维方式,一种新的技术平台,帮他去快速解决从数据到业务价值到业务服务的这个过程。所以这是第一点,数据中台是面向业务的,它不依赖于你现在数据中台的建设方法,不依赖于你现在有什么数据。

第二点,度量不同。
为什么在过去我们所讲的数据治理这么火,在现在,实际上我们越来越觉得数据治理可能是一种企业级的大而全的数据治理,但这可能是个伪命题,因为它数据质量是不可能同你的真实的业务百分之百一致。但是数据的系统数据平台,数据仓库,很多时候是以你的数据质量作为度量标准的,即现在这个数据平台存储了多少数据,数据报表开发了多少张报表,这个是你的价值。但是在数据中台层面上,我们所讲的数据中台的价值度量,是它为你的业务提供了多少有价值的数据服务。至于说这个数据服务后面的数据质量可能不是那么的好,但是只要它能够给业务带来价值,这个就是好的数据服务。

所以我们很快地拆解一下,从数据中台这四个字上来看,实际上它也能够快速的让我们大家理解什么是数据中台,首先是数据,数据让业务更智慧。数据中台提供数据分析,数据挖掘,将数据提供给前台,是以数据为核心,它介于前台与后台之间。在某种角度上来讲,大家会问是不是也会有数据后台?是的,在有的维度里面,我们把传统的数据湖作为数据后台,前台中也有数据,提供消费数据服务的就是数据前台。中台是为多个业务系统提供服务的,能够使一个系统变成一个数据服务的生态,它是不断演进的。
用一句话来概括数据中台,我们把数据中台理解为是企业的数据服务工厂。所谓的数据服务工厂在我看来,以后所有的企业中的本质就是加工处理数据,产生数字化世界里的产品,然后把它连接到物理世界,生产出来,销售出去。所以数据中台对企业来讲,它是数据服务的工厂。过去那么多年,建设的系统是把业务数据化,现在我们很多的企业在后台系统建设好以后,在做的业务系统实际上是把数据业务化,而且有一点也是我们现在行业里面重点强调的,原来我们讲先有业务,后有数据,先有应用系统,后有数据系统,这个观点从今年开始要发生改变了,在业务系统还没有建立起来的时候,我们就要有数据思维,就要把数据集成到业务系统的架构里面去。

原来我们所讲的业务系统叫ORTP,即在线交易系统,然后数据类的系统叫ORAP,即在线分析性系统。现在可以看到一个趋势,这个趋势就是ORTP和ORAP在融合,也就是很多企业所讲的P流一体,即为批处理和实时流数据处理一体化。原来我们的ORTP、ORAP是平行的关系,先要通过ORTP系统产生数据,然后ETL,然后抽取到ORAP里面,再把多个ORTP的系统抽在一起,之后在ORTP、ORAP的系统里面产生洞见,变成数据可视化报表给业务部门去看,再去改变你的ORTP的做法,这里的ORTP和ORAP是平行的关系。
我们现在提到得是OATP和ORAP的融合,每个业务系统都会需要都会趋于具有大数据处理能力,智慧能力的交易系统,之前把它叫做在线交易系统和在线分析系统,我们现在把它叫做在线分析型交易系统,它是有跨域的,有历史的集成数据分析交易系统。

这样的话,原来的数据百分之七八十在企业里的应用都是数据可视化,都是BA,都是data house报表,让人看,这叫人机接口。原来的数据和这个人的接口是人机接口,这个是人看完数据以后,然后再去提取,之后去做你的决策,改变你的行为,去看数据。
从今年开始,数据中台更多强调的是机器与机器的接口,就是我的数据分析出来的结果,不仅仅以报表可视化的形式让人看,而更多的是把这些API这样的一些数据服务直接地嵌入到交易系统里面产生影响,变成你的价格策略,变成你的推荐引擎,变成你的风险管控。那么我们所讲数据中台,它一定不是一个技术平台,它不仅仅是一个技术平台,它还是一个体系。数据中台会对应到一个企业里的一个部门一个组织,也会有数据战略的支撑,要有数据治理,数据中台上面生长一个数据服务,数据服务提供给我们业务系统,提供给我们业务中台,然后我们所接收到的数据消费者,就都生长在数据中台之上,数据中台是一个生态,是一个平台,是一个数据服务,是生产、加工、交易、度量、运营的平台,所以我们把数据中台实际上叫做一个体系。
这张图,就是我们认为未来所有的企业都是一个数据工厂,看上去现在华为在生产的是手机,生产的是电脑,生产的是电信设备,但是只要他掌握了用户的数据,B端的C端,它知道用户喜欢什么,行为模式,消费模式,它完全可以在现有的用户数据基础上开发出产品,然后至于说这个产品可能是农业的,可能是汽车的,然后它快速的把用户产品的画像连接到供应链上,让行业里帮它生产出这样的产品。所以未来的企业都会是数据工厂,都是加工生产数据的工厂。

这样的一个数据工厂需要什么东西,需要什么样的结构,我们可以看到它需要有数据员,就是原材料的加工,然后把原材料取过来过磅,原材料经过质检检验,进入到原材料仓库,这就是我们所讲的数据湖。然后不同的数据产品它会有不同的生产线,这就是我们所讲的data plan数据流水线,然后数据流水线生产出数据服务,这个数据模型就放到数据集市里面,它就是半成品的数据的服务。生产数据的厂房会有创新实验室,专门研发新产品,会有治理数据的管理办公室,去保证工厂整个运营的效率,也有控制中心,监控中心,保证整个data pipeline、数据处理的性能,安全性和稳定性,然后最顶上是你的数据服务商店,把这个数据产品,一个一个的数据服务,一个一个的智能模型,算法模型放到这个商店里面,供数据消费者去调用和使用,所以我们把这个理解为成广义的数据中台。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 银行数据治理-数据治理是银行业面对的一个崭新课题

    银行数据治理-数据治理是银行业面对的一个崭新课题

    本书是“银行业信息化丛书”之一,数据治理是银行业面对的一个崭新课题,本书从银行业数据基本概况、数据治理现状,以及银行业数据治理体系、数据……查看详情

    发布时间:2018.11.29来源:数据治理浏览量:144次

  • 什么是元数据?为何需要元数据?

    什么是元数据?为何需要元数据?

    元数据是对我们整个系统里面包含的各种结构的描述和说明,比如结构说明、属性说明、或者相关数据,它有点类似现实世界中我们使用的某个产品的说明……查看详情

    发布时间:2019.09.09来源:知乎浏览量:127次

  • 从数据管理开始 才能为人工智能的成功做好准备

    从数据管理开始 才能为人工智能的成功做好准备

    如果你已经决定在今年做更多的人工智能实验,请首先仔细研究您的数据管理实践。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:103次

  • 8 项提高数据完整性的预防性措施

    8 项提高数据完整性的预防性措施

    仅使用一种方法几乎不可能将数据完整性风险降至最低,因此使用多种策略的组合是更好的选择。降低数据完整性风险的一些最有效方法包括8点。……查看详情

    发布时间:2021.07.07来源:亿信华辰数据治理知识库浏览量:607次

  • 企业怎样建立完整的数据治理体系?

    企业怎样建立完整的数据治理体系?

    大数据智能时代,管理不再是传统的做法,一套完善的数据管理体系是企业长远要生存的必须择决。我们的生活已经离不开大数据,企业的数据管理不仅能……查看详情

    发布时间:2020.03.26来源:知乎浏览量:92次

  • 世界各地的组织如何处理数据治理

    世界各地的组织如何处理数据治理

    在2019年G20大阪峰会召开的同时,我很幸运能够在整个六月的整个月里在东京办公室工作。这是一个有趣的事件,引起我注意的主要议题之一是“……查看详情

    发布时间:2019.07.11来源:知乎浏览量:119次

  • 数据问题的全面解决之道——数据治理

    数据问题的全面解决之道——数据治理

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:115次

  • 正确的数据文化是数据治理成功的预测指标

    正确的数据文化是数据治理成功的预测指标

    获得数据治理计划的业务和领导支持 - 以及在该支持下建立数据文化 - 仍然是许多组织面临的重大挑战。然而,根据一项新的调查,获得这种支持……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:117次

  • 数据治理的7大误区

    数据治理的7大误区

    大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大……查看详情

    发布时间:2018.11.30来源:51cto浏览量:114次

  • 数据科学的下一个「超能力」:模型可解释性

    数据科学的下一个「超能力」:模型可解释性

    很多人重视重视模型的预测能力,却忽略了模型可解释性的重要性,只知其然而不知其所以然。为什么说模型的可解释性这么重要呢?作者就 5 个方面……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:114次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议