数据标准在数据资产管理中的意义
发布时间:2019.03.12来源:亿信华辰浏览量:107次标签:数据治理
一、 数据资产管理是做什么的?
尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得如何实操数据资产管理、在企业中真正落地的更寥寥无几。笔者有幸参与了国内几个典型项目,想借本文从数据标准这个角度和业界同仁们分享一点自己的思考和心得。
我是从2001年开始踏入数据这个领域的,那时候中国移动还在准备出第一个经营分析系统建设规范,中国建行开始准备建立银行的第一个数据仓库平台,那时候当然没有什么大数据的概念,数据资产管理的概念还没有出现。从业16年,无论是企业数据架构的咨询还是数据平台的建设,数据标准一直成为常伴的主旋律。从不知道数据标准是何物到为运营商、银行、证券行业、保险行业实施了一个又一个企业或行业数据治理项目,我和我所在的团队对数据标准的理解愈来愈深刻;因此当近年来数据资产管理的概念甫一出现,我们能够清楚地看到数据标准在数据资产管理领域中的关键作用。
要搞清楚数据标准的建设意义和作用,首先就要清楚数据资产管理是做什么的。按照DAMA的定义,数据资产管理是企业或组织采取的各种管理活动,用于保证数据资产的安全、完整、合理配置、有效利用,从而提升经济效益。
业界经常将数据资产管理和数据管理、数据治理交换的使用,严格的说几个名词之间还是有一定的区别的,但简单的说,数据资产管理并非全新的概念,从实践落地的角度看,数据治理是基础和主干部分,再加上关于数据价值评估和管理的内容就是数据资产管理的全部范畴。本文先聚焦数据治理这一主干部分,但简明起见,通篇暂时统一使用“数据资产管理”的表达,关于详细的概念辨析再找机会单独探讨。
一个拥有大量数据的企业,要发挥其数据的价值必须整合和加工现有或新建的各种信息系统或者业务应用中的数据,并通过将经过处理的数据嵌入到业务流程中,实现智慧化生产,智慧化管理。数据资产管理就是在上述从数据产生到数据整合、加工、使用的端到端价值实现过程中,管理各个环节的数据定义、格式、值域范围、业务规则、加工逻辑,安全权限以及数据之间的加工依赖关系等一系列事项。数据资产管理的目的是让数据的使用者能够清楚地认识数据和数据关系,进而能够用好数据;让数据应用的管理者能够洞察数据、应用、系统之间的复杂依赖关系,进而能够管好数据。数据资产管理领域的基本范畴如下图所示:
上图中的各项内容其实也是我们在每一个企业或者行业实施数据管控类项目中必然会涉足的关键领域。
二、 数据标准在数据资产管理中的意义
在谈数据的价值之前,必须先说清楚所谈论的数据资产都有那些,都是什么,也就是要先梳理企业数据的定义。数据资产管理领域中有两样的事情都与数据定义相关:数据标准和数据模型。这两项工作一个负责给数据下定义,另一个负责描述描绘数据关系。这两件事情在一个企业中会被高度重视并完成,动力源于大数据时代“数据整合”的需求。
给大家一个简单的例子,就会明白为什么当数据被整合时需要数据标准。还是拿银行来说,大多数现代银行的IT系统产生并存储客户资料的是两个主要系统,银行核心系统和信贷管理系统。这两个系统在建设时一般都是各自独立进行的,也就是说,两个系统各自独立设计自己的“客户信息表”。下图中一个是TATA公司BANCS系统的客户信息表,另一个是国内某公司信贷系统的客户信息表。
BANCS客户信息表
国内某银行信贷系统客户信息表
试问,如果要建立一个数据整合平台,统一存储银行全部的客户资料时,“客户信息表”该如何创建?这就需要建设“客户数据标准”来整合银行内部不同业务系统产生的客户信息。
客户数据标准示例
数据标准化的过程其实就是在数据整合平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。一个企业内部的数据标准化方式如此,一个行业监管机构在采集全行业数据时的数据标准化过程也是如此,例如,银监会在向全国银行机构采集明细数据的EAST接口事实上就是银行业基础数据标准,保监会在向全国保险机构采集保单明细数据的接口事实上就是保险行业基础数据标准。
综上所述,数据资产管理的第一步要厘清企业拥有哪些数据,需要整合数据,而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。
三、 如何构建数据标准
接下来要回答的问题就是,建立数据标准该从哪里着手?
我们都知道,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用统一和系统化的过程,首先就要梳理数据产生和应用的全部范围。对于一个企业来讲,这往往意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始;那么对于扩大的场景,例如建设某个行业的数据标准或者是某项政府数据标准又该如何开展工作呢?通过一系列金融行业数据标准的项目,我们总结了一套构建数据标准的通用方法论,称之为BOR方法:
其中B – Behavior代表各种社会活动/行为;O – Object,是参与主体和活动产生的对象; R –Relationship意指主体/对象之间的关系。无论是企业、政府,还是社会,都是由大大小小的社会活动和行为构成的;而参与这些行为和活动的正是各种类型的社会主体,并且在活动过程中创造并产生了各种对象,包括生产出来的产品,签署的合同,记录行为的各种凭证,登录应用的账号等等;这些对象也因为活动和行为而产生了各种连接关系,在数据建模的领域里称之为对象间关系。假设今天我们有一个巨大的生产系统可以将人类的每个行为/活动全部IT化,系统化,那么这个系统中产生的数据就是要建设的数据标准的全部范围。
因此,简单的说,BOR方法就是指,依据所要构建的数据标准覆盖的行为/活动,梳理这些活动中涉及到的全部Objects(主体、对象),以及Objects之间的关系,构建数据标准的过程,就是定义Objects和Behavior的组成要素(也叫信息项),并通过数据模型刻画Objects之间的一对一、一对多和多对多关系的过程。
保单要素标准化梳理过程
证券行业数据标准梳理过程
因为数据标准涉及到的Objects往往很多,为了方便建设和记忆,往往采用的是自顶向下的梳理方法,首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系,再逐级分解,定义各个主题域下的重要实体和实体间关系,最后定义每个实体中的标准信息项,包括业务含义、加工规则、值域范围、业务代码等内容。
数据标准的建设方法并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制度章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中,对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。
四、 数据标准是数据资产管理的基石
简单的总结上面几部分:数据标准是数据资产管理的基础,是对数据资产进行准确定义的过程。对于一个拥有大量数据资产的企业,或者是要实现数据资产交易的企业而言,构建数据标准是一件必须要做的事情。数据标准通用的建设方法是BOR方法,从梳理业务活动开始,为活动的主体和对象建立数据标准,并使用数据模型刻画对象间的逻辑关系。
-
“安全”与“共享”同行,大数据正改变着世界
什么是大数据?早在2011年,世界著名咨询公司麦肯锡就曾在《大数据:下一个创新、竞争和生产力的前沿》报告中对其进行了基础定义:“大数据是……查看详情发布时间:2019.01.14来源:亿信华辰浏览量:104次
-
数据治理:医院要平衡的4个考虑因素
电子健康倡议基金会,一个专注于质量和安全改进的医疗保健合作,以及LexisNexis Risk Solutions的医疗保健部门,于8月……查看详情发布时间:2018.11.27来源:Jessica Kim Cohen浏览量:71次
-
中小银行数据治理工作所面临的问题
虽然各银行积极响应监管要求,开展数据治理工作,但《中小银行金融科技发展研究报告(2019)》显示中小银行的数据治理基本处于萌芽期,达91……查看详情发布时间:2020.07.09来源:小亿浏览量:121次
-
探索科学有效的数据治理之路
数据是数字经济的基础性战略资源,数据治理能力是国家竞争力的体现。随着移动互联网、物联网、云计算等信息技术的飞速发展,人们的生产和生活方式……查看详情发布时间:2020.07.31来源:CSDN浏览量:99次
-
什么是数据治理以及董事会应该如何应对?
数据是公司持续时间最长的资产。它超越了人,设备和设施。数据治理将分析与治理要求相结合。许多公司错误地将数据治理问题与其IT部门联系起来。……查看详情发布时间:2018.11.22来源:Nicholas J. Price浏览量:96次
-
如何成功实现一个数据治理项目,大神详细拆解实施要点
此文将主要围绕数据治理项目具体阐述实施步骤、工具平台的功能,并基于实践经验,提出数据治理成功的要素。全文有点长,非常实用的干货,建议收藏……查看详情发布时间:2021.05.26来源:亿信数据治理知识库浏览量:538次
-
两会各地人大代表对于大数据都关心什么?
两会的召开,各地人大代表针对各个领域、行业、产业纷纷提出了许多具有高价值的议题。针对不同地区的情况与发展势态,各地代表对于大数据的运用与……查看详情发布时间:2019.03.11来源:大数据浏览量:97次