企业级数据资产管理——亿信华辰

数据成为资产，已经是行业共识，甚至有人建议将数据计入资产负债表。但如果对比实物资产，对数据资产的管理，还处于非常原始的阶段。往往一个机构针对其数据资产类别和数量都缺乏全面了解，数据质量、数据安全、资产评估、资产交换交易等精细管理、价值挖掘和持续运营则更为薄弱。数据资产管理是现阶段推动大数据与实体经济深度融合、新旧动能转换、经济转向高质量发展阶段的重要工作内容。

数据资产（Data Asset）是指由企业拥有或者控制的，能够为企业带来未来经济利益的，以物理或电子的方式记录的数据资源，如文件资料、电子数据等。在企业中，并非所有的数据都构成数据资产，数据资产是能够为企业产生价值的数据资源。

       数据资产管理（DAM，Data Asset Management）是指规划、控制和提供数据及信息资产的一组业务职能，包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序，从而控制、保护、交付和提高数据资产的价值。数据资产管理是需要充分融合业务、技术和管理，来确保数据资产保值增值。

必要性

 数据作为越来越重要的生产要素，将成为比土地、石油、煤矿等更为核心的生产资源，如何加工利用数据，释放数据价值，实现企业的数字化转型，是各行业和企业面临的重要课题，然而数据的价值发挥面临重重困难。企业的数据资源散落在多个业务系统中，企业主和业务人员无法及时感知到数据的分布与更新情况，也无法进一步开展对数据加工工作。数据标准不统一，数据孤岛普遍存在导致业务系统之间的数据无法共享，资源利用率降低，降低了数据的可得性。标准缺失、数据录入不规范导致数据质量差，垃圾数据增多，数据不可用。数据安全意识不够、安全防护不足导致了数据泄露事件频发，危害了企业经营和用户利益。而且数据的价值难以评估，数据服务缺乏合规性的指导，阻碍了数据在企业内外的流动。数据资产管理主要解决数据面临的诸多问题，以体系化的方式实现数据的可用、好用，充分释放数据价值，具体来看有六个方面的作用。

1、全面盘点数据资产

   据IDC预测，全球数据总量预计2020年达到44个ZB，我国数据量将达到8060个EB，占全球数据总量的18%。2025年全球大数据规模将增长至163ZB，相当于2016年的10倍，数据的规模越来越庞大。随着自然语言处理、图像识别、传感器等技术的不断发展，数据的种类越来越丰富，一个机构对他掌握的数据类型，缺乏全局管理视图。因此，数据资产管理的切入点是对数据家当进行全面盘点，形成数据地图，为业务应用和数据获取夯实基础。

2、不断提升数据质量

 早在1957年的时候，计算机刚刚发明的时候，大家就意识到数据对于计算机决策的影响，提出Garbage In Garbage Out的警示。2001年，美国公布《数据质量法案（Data Quality Act）》，提出提升数据质量的指导意见。2016年，美国发布国家大数据战略，其中之一就是希望企业通过数据管理来提升数据质量，确保数据决策的可信性。糟糕的数据质量常常意味着糟糕的业务决策，将直接导致数据统计分析不准确、监管业务难、高层领导难以决策等问题。根据数据质量专家Larry English的统计，不良的数据质量使企业额外花费15%到25%的成本。数据能够被当作资产，并发挥越来越大的价值，其前提是数据质量的不断提升。

3、实现数据互联互通

  传统的信息系统建设都是烟囱式的，各个部门各自存储数据，也缺乏数据跨部门共享的管理机制。据统计，98%的企业都存在数据孤岛问题。造成数据孤岛的原因既包括技术上的，也包括标准和管理制度上的。在大数据时代，要实现数字化转型，打破数据孤岛、实现数据互联互通不仅对于一个单一机构具有重要意义，对整个社会也具有深远意义。

4、提高数据获取效率

  一般来说，数据分析人员80%的精力都花在了数据准备上。业务人员可能会有突发的数据使用需求，希望快速地获取真实、完整和规范的数据，但是由于数据孤岛、数据质量不高、缺乏平台和工具等原因，业务人员无法及时有效获取数据。让数据随时快速有效就绪，缩短数据分析人员和数据科学家的数据准备时间，就需要在技术平台、数据质量和数据共享等方面采取综合措施。

5、保障数据安全合规

  随着各个机构数据的快速累积，一旦发生数据安全事件，其危害性将越来越大。数据安全造成的风险主要包括数据泄露与数据滥用等。根据数据泄露水平指数(Breach Level Index)监测，自2013年以来全球数据泄露高达130亿条，其中很多都是由于管理制度不完善造成的。2018年3月，脸书（Facebook）被曝光，将超过五千万用户信息数据提供给剑桥分析（Cambirdge Analytica）咨询公司用于定向投放广告，这起数据滥用事件在全球引起轩然大波。所以，保障安全是数据资产管理和价值开发的底线。

6、数据价值持续释放

  目前，数据的价值还没有得到充分释放，是因为大部分企业还没有建立起一个有效管理和应用数据的模式。数据资产管理是一个持续和动态的过程，应随着技术、市场、产业的变化不断迭代，使数据资产能够为数字化转型提供源源不断的动力。从企业高管到业务人员及技术人员，全员都要以持续释放数据价值为理念来重视数据资源管理工作。管理方面，需要建立一套符合数据驱动的组织管理制度和流程。技术方面，需要建设现代化数据平台、引入智能化技术，确保数据资产管理系统平台持续、健康地为数据资产管理体系服务。国际上提出DataOps的理念可供借鉴。

四、变革

  随着大数据的迅猛发展，数据资产管理相对传统的数据管理是正在变革的，逐渐呈现一些新特点，可以从数据对象、处理架构、组织职能、管理手段和应用范围五个方面来认识。

1、数据对象纷繁复杂

  数据作为数据资产管理的对象，体现出数据规模海量庞大、数据格式种类繁杂以及数据来源各式各样等特征。在数据量方面，单一机构的数据规模由以前的GB级上升到TB级，甚至PB级、EB级，数据增速快。在数据格式种类方面，除传统的结构化数据之外，文本数据、图像数据、语音数据、视频数据等半结构化数据或非结构化数据占比越来越大，种类日益丰富。在数据来源方面，数据既包括内部数据，也包括来自第三方的外部数据，既包括传统业务处理采集的业务数据，也包括手机终端、传感器、机器设备、网站网络、日志等技术产生的数据。数据资产呈现数据对象海量、多样、多元化等特点。

2、处理架构更新换代

 处理架构的更新换代体现在两个方面。一方面是底层架构，数据处理的底层架构快速的向分布式系统迁移。以Hadoop、Spark等分布式技术和组件为核心的“计算&存储混搭”的数据处理架构，能够支持批量和实时的数据加载以及灵活的业务需求。另一方面是数据的预处理流程正在从传统的ETL结构向ELT转变。传统的数据集成处理架构是ETL结构，这是构建数据仓库的重要一环，即用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。而大数据背景下的架构体系是ELT结构，其根据上层的应用需求，随时从数据湖中抽取数据建模分析。

3、组织职能升级变迁

  传统的管理制度体系中，数据管理职能主要由IT部门来负责，是IT部门的一项工作，业务部门配合IT部门执行数据管理，提出需求。随着数据分析与业务融合越来越深入，业务部门逐步成为大数据应用的主角，因而数据资产管理在企业中扮演越来越重要的角色。出现了越来越多的企业设置专门的“数据管理”职能部门或首席数据官（CDO，Chief Data Officer）岗位。在这种变迁背景下，数据管理的组织架构也面临革新的需求。

4、管理手段自动智能

  依靠“手工人力”的电子表格数据治理模式即将被“自动智能”的“专业工具”取代，越来越多的数据管理员、业务分析师和数据领导者采用“平台工具”来梳理元数据、主数据，构建模型和管控质量。随着机器学习、深度学习技术的成熟，相关专项解决方案和平台工具系统的技术局限性如效率低、差错率高、扩展性差等将被一一攻破，能够有效地解放人力，提高效率和精度。

5、应用范围不断扩大

 数据的应用范围在不断扩大，由传统的支持管理需要的战略决策分析为主，发展为支撑业务一线业务场景的战术性决策。数据资产的意义价值也从对内强化能力扩展到了对外合作开放上，从而实现数据资产保值到增值的跨越。战略决策分析一般包括管理优化、研判决策、风险合规、业务拓展、管控成本等。由原来的只应用于领导决策场景扩展到部门级业务分析使用。战术性决策包括智能推荐、精准营销、分析报告以及风险防范等。在跨企业的业务合作中，数据不可避免的也会流通到上下游的合作伙伴。从使用对象来看，数据资产的使用者不仅包括企业决策人员，还包括运维用户、业务管理人员、数据分析人员、数据科学家等各种角色。数据应用范围越广，就越需要智能化的数据资产管理技术及完备的管理制度作为支撑，从而实现数据精细化管控和数据价值最大化。

五、主要内容

 数据资产管理框架如图所示，包含8个管理职能和5个保障措施。管理职能是指落实数据资产管理的一系列具体行为，保障措施是为了支持管理职能实现的一些辅助工作。本章主要描述具体的管理职能和保障措施的详细内容。

1、管理职能

 数据资产管理的管理职能包括数据标准管理、数据模型管理、元数据管理、主数据管理、数据质量管理、数据安全管理、数据价值管理以及数据共享管理等8个方面。

数据标准管理

 数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准一般包括三个要素：标准分类、标准信息项（标准内容）和相关公共代码（如国别代码、邮政编码）。数据标准通常可分为基础类数据标准和指标类数据标准。

 基础类数据标准一般包括数据维度标准、主数据标准、逻辑数据模型标准、物理数据模型标准、元数据标准、公共代码标准等。指标类数据标准一般分为基础指标标准和计算指标（又称组合指标）标准。基础指标一般不含维度信息，且具有特定业务和经济含义，计算指标通常由两个以上基础指标计算得出。

  数据标准管理是指数据标准的制定和实施的一系列活动，关键活动包括：

       · 理解数据标准化需求；

       · 构建数据标准体系和规范；

       · 规划制定数据标准化的实施路线和方案；

       · 制定数据标准管理办法和实施流程要求；

       · 建设数据标准管理工具，推动数据标准的执行落地。

 评估数据标准化工作的开展情况数据标准管理的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现企业大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为数据资产管理活动提供参考依据。

数据模型管理

 数据模型是现实世界数据特征的抽象，用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。数据模型所描述的内容有三部分：数据结构、数据操作（其中ER图数据模型中无数据操作）和数据约束，形成数据结构的基本蓝图，也是企业数据资产的战略地图。数据模型按不同的应用层次分成概念数据模型、逻辑数据模型、物理数据模型三种类型。

 · 概念模型：是一种面向用户、面向客观世界的模型，主要用来描述现实世界的概念化结构，与具体的数据库管理系统（DBMS，Database Management System）无关；

 · 逻辑模型：是一种以概念模型的框架为基础，根据业务条线、业务事项、业务流程、业务场景的需要，设计的面向业务实现的数据模型。逻辑模型可用于指导在不同的DBMS系统中实现。逻辑数据模型包括网状数据模型、层次数据模型等；

 · 物理模型：是一种面向计算机物理表示的模型，描述了数据在储存介质上的组织结构。物理模型的设计应基于逻辑模型的成果，以保证实现业务需求。它不但与具体的DBMS有关，而且还与操作系统和硬件有关，同时考虑系统性能的相关要求。

 数据模型管理是指在信息系统设计时，参考业务模型，使用标准化用语、单词等数据要素来设计企业数据模型，并在信息系统建设和运行维护过程中，严格按照数据模型管理制度，审核和管理新建数据模型，数据模型的标准化管理和统一管控，有利于指导企业数据整合，提高信息系统数据质量。数据模型管理包括对数据模型的设计、数据模型和数据标准词典的同步、数据模型审核发布、数据模型差异对比、版本管理等。数据模型管理的关键活动包括：

 · 定义和分析企业数据需求；

 · 定义标准化的业务用语、单词、域、编码等；

 · 设计标准化数据模型；

 · 制定数据模型管理办法和实施流程要求；

 · 建设数据模型管理工具，统一管控企业数据模型。

 数据模型是数据资产管理的基础，一个完整、可扩展、稳定的数据模型对于数据资产管理的成功起着重要的作用。通过数据模型管理可以清楚地表达企业内部各种业务主体之间的数据相关性，使不同部门的业务人员、应用开发人员和系统管理人员获得关于企业内部业务数据的统一完整视图。