数据治理——企业数字化转型的必经之路

    2020年是“十三五”规划的收官之年、也是“#十四五#”规划的谋划之年，各行业纷纷围绕“新基建”、“数字化转型”进行全方位、战略性布局。

    2020年8月，国务院国资委在《关于加快推进国有企业数字化转型工作的通知》中提出，要加速传统企业全方位、全角度、全链条的数字化转型，将数字化转型作为改造提升传统动能、培育发展新动能的重要手段。因此，传统企业如何有效利用新技术驱动业务创新，提升企业核心竞争力，是摆在企业面前的一道生存题，也是企业数字化转型的战略目标。

1）数字化转型内涵及发展路径

    数字化转型本质是一种企业战略，并非仅限于大数据、人工智能、物联网等新型基础设施建设，而是根据企业自身实际情况，以业务为导向、数据为基础与传统生产要素相结合，利用新一代数字技术反向赋能业务、驱动业务与服务创新。

    在数字化转型过程中，数据是基础。2020年4月《中共中央国务院关于构建更加完善的要素市场化配置体制机制的意见》中，首次将数据作为新型生产要素，与土地、资本、劳动力、技术等传统要素一起，被纳入到市场化配置的生产要素之中。

图1数据已成为市场化配置的新生产要素

    但数据要充当数字经济关键的基础性要素，需经过数据价值化的转换过程，在这一关键转化过程中，数据治理是基础，只有通过数据治理，打通企业内部不同层级、不同系统之间的数据壁垒，全面提升数据质量，实现对内支撑业务应用和管理决策、对外加强数据服务能力输出，从而提升数据潜在价值向实际业务价值的转化率。

    数字化转型分为信息化、数字化和智能化三个阶段逐步实现。

图2数字化转型发展路径

01.信息化

    信息化的核心是以业务流程的优化和重构为基础，通过数据反映和记录企业运营管理全过程，将企业的实际业务过程固化到信息系统，实现线下业务线上化，从而提高工作效率。在信息化实现过程中，现实世界发生的业务活动被抽象为各种对象、概念和事件的特征信息，主要以结构化数据的形式被创建、记录下来，实现了业务数据化。

02.数字化

    在数字化阶段，实现了人与人、人与机器、机器与机器之间的互联互通，从而形成一个全感知、全联接的数字世界，其实质是对信息化阶段构建的信息技术基础设施进行技术升级，将原来的系统跟系统之间的互联互通，升级为人、机器之间的互联互通，实现万物互联，并产生海量的半结构化、非结构化以及机器数据，呈现了典型的大数据“4V”特性。

03.智能化

    在“智能化”阶段，将决策的主体由人逐渐向机器转变，通过数据驱动、数据赋能实现由“人”决策，向战术级决策部分自动化、战术级决策自动化、战略级决策部分自动化逐渐演进，自动化决策能力向一线业务人员、一线小团队覆盖，形成“大平台、小前端、富生态”组织模式，真正实现“用数据决策、用数据创新”。

2）数据治理为数字化转型提供基础支撑

    在数字化转型过程中，数据治理提供基础性支撑，本文重点阐述数据治理对于数据湖、人工智能等数字化转型两个关键建设场景的支撑作用。

1、数据治理是数据湖避免成为“数据沼泽”的关键

    数据湖(DataLake)是数据集合而并非数据平台，在这一数据集合基础之上，采用Hadoop大数据技术生态体系以构建大数据平台，实现对多源异构数据的统一汇聚，并采用典型的数据驱动型设计模式—ELT架构模式，大规模捕获各种新旧类型的多源异构原始数据，并按需进行数据转换，形成多样化应用。

图3数据治理与数据湖

    但是，数据湖的完美理念却面临着诸多问题，当越来越多的多源异构数据接入数据湖中，如果缺少有效的方法跟踪这些多源异构数据并对低质量数据进行有效治理，则企业花费巨资构建的数据湖极有可能成为“数据沼泽”，数据无法访问、难以检索，成为只进不出的“数据黑洞”。

    为避免数据湖沦为“数据沼泽”，须实现数据目录、标准、质量、安全、共享的统一管理，开展相关的数据治理活动：

构建数据资源目录：

    基于元数据信息，为数据湖构建企业级数据资源目录，对入湖数据进行编目分类、建立索引，以便迅速查找、定位、获取所需数据资源；

数据全链分析：

    基于元数据信息，进行数据血缘分析和影响分析，构建数据全维关系图谱，对数据流向从源头到目的地之间追踪信息的可视化表示，实现对数据资源流转的清晰掌握和数据流通全流程的监控；

建立数据标准：

    建立数据分类标准及数据标准定义规范，明确数据标准的适用范围；面向湖内全量数据，建立企业统一业务术语库；

提升数据质量：

    根据业务规则设计数据质量规则，通过质量工具配置规则进行数据质量定期排查、清洗，以发现数据质量问题、提升数据质量；并建立面向企业内部单位、源系统项目组的数据质量闭环管理机制；

数据安全保障：

    基于数据资源目录，划分数据安全等级和共享类型，以此为基础进行用户角色的访问控制、身份验证、授权，数据脱敏规则设计以及静态和动态数据加密，以提高数据湖的安全与隐私性。

2、数据治理是人工智能的基石

    人工智能分为基础资源支撑、人工智能技术和人工智能应用三个层面：基础资源支撑层主要解决“算力”和数据“底座”问题；人工智能技术实现主要分为感知智能和认知智能两个阶段，在感知智能阶段，主要通过传感器、探测仪等获取视频、语音、图像等数据资源，基于感知器获取的数据资源、结合深度学习算法训练出感知模型，如人脸识别技术；在认知智能阶段，主要通过自然语言处理NPL、知识图谱等技术，挖掘出数据所隐含的关联关系、业务逻辑、规律等认知知识，为人工智能应用场景奠定知识基础。人工智能应用场景是以AI应用需求为驱动、选择适当的AI技术进行落地实现，通过满足应用需求直接产生业务价值。

图4数据治理与人工智能

    在AI时代，数据不再是程序代码的附属品，数据已本质上成为构建算法的源代码，以及产生算法结果的核心驱动，基于大量数据、通过“自适应、自学习”算法“训练”出算法，因此，数据质量“好坏”，决定了算法的优劣性和健壮性；此外，数据共享、数据安全等也是在开展人工智能工作时需要考虑的因素。数据治理在人工智能工作中能够发挥以下关键作用：

制度流程保证：

    在人工智能开展过程中，联合数据治理组织制定、发布，配合人工智能技术研发开展的制度、流程和规范，明确企业内部各部门、各项目组（AI项目组、数据治理项目、数据平台项目组及业务系统项目组等）的责任分工；

资源协调：

    通过数据治理团队协助协调数据资源，数据治理团队清晰地掌握数据资源的存储位置、归口管理部门，并能够推动企业内部数据资源共享，协助人工智能团队快速获取所需的基础数据资源；

高质量数据输入：

    数据治理团队按照AI团队的数据质量需要及业务规则，对输入的数据资源进行数据质量检测，按需出具数据质量评估报告，给出数据质量健康度得分，发现数据质量问题，并快速制定数据质量改进方案：

保障数据安全：

    人工智能工作开展过程中，需采取一系列的数据安全防护手段，如隐私数据的合规性确认与检查、敏感数据的脱敏处理、安全访问控制、防泄露等措施。为AI应用成果的数据安全性、合规性奠定基础。

3）企业级数据治理整体解决方案

    安永推出了企业级数据治理整体解决方案，开展“一站式”全局数据治理，从数据资源盘点、目录构建、标准制定、质量提升、安全管理到数据共享、应用，覆盖数据治理各个职能域，协助搭建数据治理体系，指导企业范围内各专项治理活动。

图5安永企业级数据治理解决方案框架

01.数据治理专业能力建设

    数据治理专业能力是企业级数据治理解决方案的核心要素，涵盖数据资源目录、数据架构管理、数据标准管理、数据质量管理、数据安全管理、数据共享与应用管理等多个能力维度。应用知识图谱、微服务、元数据采集、自然语言处理、大数据等技术，智能化梳理企业数据资产，规范系统数据模型，支撑数据标准构建，实现数据协同变更，控制细粒度敏感信息，为全企业提供深层数据价值。

图6数据资产看板

02.数据治理平台建设

    安永已形成一整套从数据治理咨询、需求转换、原型设计到平台实施的建设方法，将企业按需定制构建的数据治理专业能力快速转换为平台建设需求，并将数据治理过程中产生的治理成果通过平台进行统一承载和管理，实现数据资源的全景化、可视化展示，同时为用户提供数据质量评估、数据架构评估、数据能力评估、智能检索等多样化服务。

图7数据治理平台架构

03.数据治理工作机制建设

    数据治理工作需要企业各部门共同参与，统筹协调各方资源。首先，需要建立常态化的数据治理组织机构，共同推进数据治理工作。其次，需要建立数据认责机制，解决普遍存在的“横向不到边、纵向不到底”的突出问题。同时，高效率的管理流程也是企业治理强有力的推动因素。最后，需要建立数据运营机制，以保证数据治理各项工作有效开展。