从数据中台的演进之路看未来发展,你需要是中台吗
发布时间:2020.08.26来源:小亿浏览量:59次标签:数据治理
本文分享的议题主要包括如下几大内容:
带大家回顾一下大数据在国内的发展,从数据库到当前数据中台的演进过程。
个人认为数据中台应该具备哪些能力,以及一些技术选型参考。
分享一些我们在数据中台方面的实践,主要是数据中台解决方案。
数据中台演进的四个阶段
首先给大家分享一下数据中台的演进之路,一起看一下数据中台的四个阶段,了解一下我们数据中台到底是如何一步一步走到今天的。
第一个阶段是数据库阶段,这个阶段主要是为了解决OLTP(联机事务处理)的需求,通俗来讲,就是前端加数据库,将用户行为存入数据库,用来进行事务处理,随着数据越来越多,新的需求出现了,就是第二个阶段,分析的需求
第二个阶段是数据仓库阶段,这个阶段主要需求是OLAP(联机分析处理),不仅仅是存数据,企业需要根据数据进行分析,例如淘宝,每天有大量的交易数据,那这些数据可以进行分析,分析出这些交易来自哪些人,哪群人,哪部分地方销量好等等,可以进行事后的差异分析和追溯分析。
第三个阶段是数据平台阶段,这个阶段主要解决海量数据的分析问题,跟第二个阶段不同的是,这个阶段主要解决技术问题,数据量太大,对数据库架构有很大的挑战。比如阿里就经过一段时间的试验,阿里巴巴最开始用的Oracle RAC建立数据仓库,但是因为数据量增长太快,很快就将节点用完,而且Oracle PAC是付费的,所以阿里研究出用Hadoop代替Oracle RAC的好处是要增加数据处理的能力和容量,只需要增加服务器就好,成本不高,在海量数据处理和大规模并行处理上有很大优势。
第四个阶段是数据中台阶段。这个阶段主要将我们的分析结果变成运营动作,传统IT建设,企业的各种信息系统大多是独立建设的,无法做到信息的互联互通,导致企业内部出现数据孤岛,分散在各个孤岛的数据无法很好地支撑企业的经营决策,也无法很好地应对快速变化的前端业务,因此,需要这样一套机制,整合分散的数据,快速形成数据服务,为企业经营决策提供支持,这套机制就是数据中台。
数据中台具备的四大能力
数据中台不是一套软件系统,也不是一个标准化产品,只能说,站在企业的角度上,数据中台更多地指向企业的业务目标,也即帮助企业沉淀业务能力,提升业务效率,最终完成数字化转型。那目前数据中台应该具备哪些能力呢?
1、数据整合
企业内部往往有多个信息系统和数据中心,大量系统、功能和应用重复建设,浪费很多资源,同时组织壁垒也导致数据孤岛。因此,需要对数据进行整合,将异构数据统一集中到数据中心来,数据中台需要具备集成的能力,能够接入、转换、写入或缓存企业内部多种来源的数据。
2、数据资产化
想要做数据中台,其中必不可少的一部分是数据资产化,数据就像石油,需要经过加工提纯才能进行使用,企业建设资产化,也需要围绕能给业务带来价值的数据资产进行建设,推动数据资产的形成。数据中台需要通过该统一的标准和质量体系,对数据进行加工,形成标准的资产体系,满足业务对数据的要求,也为后面的服务提供基础。
3、数据服务价值化
做好数据资产后,尽快要将数据用起来,需要将有价值的资产共享出去,需要提供数据服务,数据中台需要有数据服务能力,实现数据的最大价值变现。
4、数据分析应用
很多企业有可视化需求,数据中台需要有数据分析的能力,可以帮助企业快速实现数据资产的可视化分析,为企业数据化运营赋能。
数据中台未来趋势与展望
数据中台的建设,除了要有具备丰富行业经验的技术团队之外,还要有一套健全的、经受过大量项目的沉淀与检验的产品与工具,数据中台的最终效果和建设成本将取决于这套产品工具的自动化、智能化程度。所以通过人工智能技术来优化和改造数据中台也将成为重要的趋势。人工智能技术可以让数据中台更加敏捷和高效,未来在数据中台的底层工具和产品层面融入人工智能技术,可以自动分析源业务系统间的数据依赖关系、智能推荐主数据、数据标准、数据治理建议,还可以自动生成脚本等。
亿信华辰推出了符合企业数字化转型的数据中台解决方案,通过采集、存储、计算,治理技术形成统一标准和口径的数据资产服务,解决数据孤岛、数据资产流失、数据服务能力不足、数据价值低的问题,最终使数据能够赋能业务场景、产生业务价值。亿信数据中台有以下特性:
数据资产的规划和治理
从业务角度去思考企业的数据资产是什么。数据资产不等同于数据,数据资产是唯一的,能为业务产生价值的数据。对于同一堆数据,不同业务部门所关注的数据指标可能完全不同,怎么让各个跨域的业务变成统一的标准,就需要规划企业的数据全景图,将所有有可能用上的、所有对企业有可能有价值的数据都规划出来,最终梳理出企业的数据资产目录。
数据的共享和协作
企业的数据中台一定是跨领域的,需要让所有的人都知道数据资产目录在哪里。不能因为数据安全,就不让大家知道企业有什么数据。没有共享和开放,数据没有办法流动起来,没有流动的话数据的价值产生的速度就会非常慢。
业务价值的探索和分析
数据中台不仅要建立到源数据的通路,还需要提供分析数据的工具和能力,帮助业务人员去探索和发现数据的业务价值。一个好的数据中台解决方案中需要针对不同业务岗位的用户提供个性化的数据探索和分析的工具,并且在此基础上一键生成数据接口,以多样化的方式提供给前台系统。
数据服务的构建和治理
数据中台需要保证数据服务的性能和稳定性,以及数据质量和准确性,还需要具备强大的服务治理能力。数据中台是一个生态平台,在数据中台上面会不断生长各种数据服务,所以从一开始就构建好数据服务的治理结构是非常重要的,数据服务需要可以被记录、可被跟踪、可被审计、可被监控。
数据服务的度量和运营
如果数据中台最终只是做到把数据给到业务人员,那它就只是一个搬运工的角色。数据中台还需要具备度量和运营数据服务的能力,能够对中台上提供的数据服务及相关行为持续跟踪和记录,包括哪些数据服务被哪个部门使用、用了多少次等,通过这些去度量每一个数据服务的业务价值。
数据中台的一步步发展,最终是为了解决企业面临的问题,数据怎么用,如何产生更大的价值,需要不断进行资产化、服务化,帮助企业梳理业务场景,数据中台是对未来场景的能力支撑,也是为了增缓未来。数据中台的幕布已经揭开,相信未来各个企业会将中台演绎得更加精彩!
-
安全合作伙伴共同为云和多云合规性增强数据治理和隐私
企业可以限制这些风险 - 以及手动控制错误配置,云环境政策孤岛和云锁定的潜在风险……查看详情发布时间:2019.01.22来源:亿信华辰浏览量:74次
-
一套完事数据治理平台解决你数据太多、太乱、太杂的问题
智能是基于数据的,而数据又是基于大量人工与工程努力的,所以人工智能还有相当一部分「人工」。数据收集需要人工确定数据源,或者手动写爬虫;数……查看详情发布时间:2019.10.25来源:知乎浏览量:169次
-
数据质量包含的要素有哪几点
数据是企业最有价值的资产之一,越来越多的企业认识到了数据的重要性。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公……查看详情发布时间:2022.02.17来源:小亿浏览量:484次
-
数据治理对医疗保健组织来说往往是个谜
数据治理对医疗保健组织来说往往是个谜。“它是什么?我该怎么做?我在哪里可以买到它?“它引起了一些想法。 数据治理是一组流程,可确保在整……查看详情发布时间:2018.11.23来源:数据治理浏览量:51次
-
数据治理的数据架构:主动方法
“数据架构是业务战略的物理实现,” 全球数据战略有限公司 EMEA首席顾问Nigel Turner在DATAVERSITY® 企业数据治……查看详情发布时间:2019.01.17来源:数据治理浏览量:86次
-
未来,数据治理或将成为企业新的业务增长点
大数据在我们中国发展的十年时间里面,从稚嫩逐渐走向成熟,现在已经比较普遍的应用于市场中,并且全球的IT企业很重视这方面。那么这些企业都普……查看详情发布时间:2019.09.20来源:知乎浏览量:71次
-
产生影响:数据治理和企业架构的失落艺术
看起来我们忙着跑步,以至于我们没有时间思考。我们希望更快,更快速,但我们甚至不确定我们想要实现的目标。这就像你办公室的人总是太忙,正在工……查看详情发布时间:2019.03.22来源:亿信华辰浏览量:72次
-
浅谈数据质量对企业管理的影响
工欲善其事,必先利其器。亿信数据质量管理平台(EsDataClean)提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及……查看详情发布时间:2020.10.21来源:知乎浏览量:78次
-
大数据时代,我们将面临数据治理的新阶段
目前业界并没有对其概念的统一标准定义,我们可以这么认为,数据治理从本质上看就是对一个机构(企业或政府部门)的数据从收集融合到分析管理和利……查看详情发布时间:2020.03.26来源:知乎浏览量:64次
-
大数据治理平台建设过程
分为三个层次,分别为战略与治理保障、大数据管理和大数据应用与服务,其中战略与治理保障包括,数据战略规划与评估,数据治理组织与职责、数据制……查看详情发布时间:2019.08.19来源:CSDN浏览量:221次