企业数据中台建设过程中面临的三大挑战

1）业务挑战：如何以大数据赋能，反哺业务精耕？

越是成功的企业，业务发展的痛点越难以单点解决，需要整体思考、科学决策、集体行动，在业务的创新中解决这些痛点。
比如，如何做好会员精细化运营？如何为门店挑选合适的商品且控制好库存？如何动态打折以至不损伤毛利等等，是摆在企业前面的一个个难题，直接影响到企业的规模扩展或者利润提升，也是企业迫切需要解决的问题。
这就需要构建数据中台，通过大数据赋能业务。

相比传统数据业务，大数据业务的优势在于，通过整体规划智能化的数据应用，来推动业务创新。这就是企业数字化转型的业务内涵。这些数据智能应用需要将业务经验和解决方法论、全域的数据模型，与算法模型相结合，我们称之为“业务智能模型”，它的价值在于“降本增效”。
在奇点云过去三年的数据中台实践中，我们发现这些业务智能模型遍布在整个零售产业上下游。比如通过全方位的数据反馈并指导买手做好选品；又如通过商品的聚类，发现某类特征的商品，可以优化打折速度和幅度，以此提高整体的折扣率从而增加毛利等。再比如，通过门店和商品数据，通过最优算法，解决“什么样的店铺类型应该铺什么商品”，以提升门店的顾客进店转化率，从而提升效益。
业务智能模型需要数据和业务系统深度结合，在运营工作中直接产生效果，让业务能够自动化、高效地运转起来。

2）技术挑战：如何高效的数据治理，远离数据“黑洞“？
要做好有价值的业务智能模型，离不开高质量、高可用的、全域的数据中台，数据治理就显得非常重要。“数据治理”是企业数字化转型中典型的大数据技术问题。
数据治理，解决的是“业务越来越复杂而数据现状的脏乱差”带来的挑战。如何合理规划数据结构？如何规范定义数据？如何有效管理数据资产？如何安全分发使用数据？这都需要一套完善的数据治理体系，驱动企业数据化运营转型。
数据治理是基础，也制约了企业的数据智能化方向的发展，难以做到数据创新。从理念上来看，“治”不应只在事后，更应在事前，“理”考验的是业务与技术能力的结合。从实际内容上来看，数据治理是一套方法体系+工具集，旨在帮助企业合理的架构数据、规范的定义与加工数据、清晰的管理数据、安全的应用数据，促使数据从成本中心变成价值中心，驱动企业数字化转型。

3）组织挑战：如何深挖数据红利，成为业务创新“能手“？
从解决业务挑战和技术挑战出发，企业必须把数字化转型定义为战略问题，从而推动“数据中台”的落地，这也给企业带来了组织上的挑战。
一般来讲，传统的数仓解决方式有两大问题：一方面从业务系统直接计算数据，非解耦架构对业务系统影响极大。一方面基于DB构建的数据仓库，计算及查询效率难以满足业务数据膨胀的大趋势要求。解决这些问题，已经不是藏在“IT部门”的数据小分队这一组织形式所能够解决的。
2018年7月，阿里云总结了过去的成功经验，在业界大力推出“数据中台”解决方案，很好地解决了这些问题。奇点云提出的数据中台架构与设计，其出发点是支撑复杂的、多系统的、数量巨大的、多应用场景的业务形态。在组织层面理顺以下部门或团队关系，来解决企业在组织落地战略上的困惑：

①与传统IT业务之间的关系：业务和计算分离，业务和数据分离
大数据业务应与业务系统解耦，采用T+1离线计算方法产出结果数据，不直接在业务系统上进行数据计算，实现了业务和计算的分离、业务和数据的分离。

大数据部门的工作起点是满足多种计算场景的需求。支持大数据计算，结合了多种计算引擎，针对不同的场景使用不同的计算引擎，如离线计算引擎、实时计算引擎、多维分析引擎、即席查询引擎、实时搜索引擎。

②与业务部门的关系：站在企业视角打通数据，支撑业务部门用数据
支持各种异构数据源打通，提供了一套基于reader和writer的抽象化数据抽取插件，除了提供系统自带的插件外，还支持自定义实现reader和writer插件，通过公共的管道，实现结构化和非结构化数据的互相传输，统一技术框架。

支持业务部门的高并发多场景的实时查询，数据中台集成了基于分布式的KV查询框架，可以支持海量级别的查询请求，并且响应时间可以控制在毫秒级别。
支持多场景的数据服务，灵活快速支撑业务需求，向导和自定义双模式快速生成API，实时监控API调用情况。
面向业务部门，为业务部门的数据分析、开发提供培训和技术支持。

③与合作伙伴的关系：找到数据部门的核心能力
应该深入业务，影响业务效率。数据模型融合离散的业务数据，可借助数据中台快速构建数据模型，建立全方位的数据视角，消灭信息孤岛和数据差异，灵活支撑业务的变动。