数据标准在数据资产管理中的意义

发布时间:2019.03.12来源:亿信华辰浏览量:132次标签:数据治理

一、 数据资产管理是做什么的?

尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得如何实操数据资产管理、在企业中真正落地的更寥寥无几。笔者有幸参与了国内几个典型项目,想借本文从数据标准这个角度和业界同仁们分享一点自己的思考和心得。


我是从2001年开始踏入数据这个领域的,那时候中国移动还在准备出第一个经营分析系统建设规范,中国建行开始准备建立银行的第一个数据仓库平台,那时候当然没有什么大数据的概念,数据资产管理的概念还没有出现。从业16年,无论是企业数据架构的咨询还是数据平台的建设,数据标准一直成为常伴的主旋律。从不知道数据标准是何物到为运营商、银行、证券行业、保险行业实施了一个又一个企业或行业数据治理项目,我和我所在的团队对数据标准的理解愈来愈深刻;因此当近年来数据资产管理的概念甫一出现,我们能够清楚地看到数据标准在数据资产管理领域中的关键作用。


要搞清楚数据标准的建设意义和作用,首先就要清楚数据资产管理是做什么的。按照DAMA的定义,数据资产管理是企业或组织采取的各种管理活动,用于保证数据资产的安全、完整、合理配置、有效利用,从而提升经济效益。


业界经常将数据资产管理和数据管理、数据治理交换的使用,严格的说几个名词之间还是有一定的区别的,但简单的说,数据资产管理并非全新的概念,从实践落地的角度看,数据治理是基础和主干部分,再加上关于数据价值评估和管理的内容就是数据资产管理的全部范畴。本文先聚焦数据治理这一主干部分,但简明起见,通篇暂时统一使用“数据资产管理”的表达,关于详细的概念辨析再找机会单独探讨。


一个拥有大量数据的企业,要发挥其数据的价值必须整合和加工现有或新建的各种信息系统或者业务应用中的数据,并通过将经过处理的数据嵌入到业务流程中,实现智慧化生产,智慧化管理。数据资产管理就是在上述从数据产生到数据整合、加工、使用的端到端价值实现过程中,管理各个环节的数据定义、格式、值域范围、业务规则、加工逻辑,安全权限以及数据之间的加工依赖关系等一系列事项。数据资产管理的目的是让数据的使用者能够清楚地认识数据和数据关系,进而能够用好数据;让数据应用的管理者能够洞察数据、应用、系统之间的复杂依赖关系,进而能够管好数据。数据资产管理领域的基本范畴如下图所示:



上图中的各项内容其实也是我们在每一个企业或者行业实施数据管控类项目中必然会涉足的关键领域。


二、 数据标准在数据资产管理中的意义

在谈数据的价值之前,必须先说清楚所谈论的数据资产都有那些,都是什么,也就是要先梳理企业数据的定义。数据资产管理领域中有两样的事情都与数据定义相关:数据标准和数据模型。这两项工作一个负责给数据下定义,另一个负责描述描绘数据关系。这两件事情在一个企业中会被高度重视并完成,动力源于大数据时代“数据整合”的需求。


给大家一个简单的例子,就会明白为什么当数据被整合时需要数据标准。还是拿银行来说,大多数现代银行的IT系统产生并存储客户资料的是两个主要系统,银行核心系统和信贷管理系统。这两个系统在建设时一般都是各自独立进行的,也就是说,两个系统各自独立设计自己的“客户信息表”。下图中一个是TATA公司BANCS系统的客户信息表,另一个是国内某公司信贷系统的客户信息表。


BANCS客户信息表



国内某银行信贷系统客户信息表

试问,如果要建立一个数据整合平台,统一存储银行全部的客户资料时,“客户信息表”该如何创建?这就需要建设“客户数据标准”来整合银行内部不同业务系统产生的客户信息。


客户数据标准示例


数据标准化的过程其实就是在数据整合平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。一个企业内部的数据标准化方式如此,一个行业监管机构在采集全行业数据时的数据标准化过程也是如此,例如,银监会在向全国银行机构采集明细数据的EAST接口事实上就是银行业基础数据标准,保监会在向全国保险机构采集保单明细数据的接口事实上就是保险行业基础数据标准。


综上所述,数据资产管理的第一步要厘清企业拥有哪些数据,需要整合数据,而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。


三、 如何构建数据标准

接下来要回答的问题就是,建立数据标准该从哪里着手?


我们都知道,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用统一和系统化的过程,首先就要梳理数据产生和应用的全部范围。对于一个企业来讲,这往往意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始;那么对于扩大的场景,例如建设某个行业的数据标准或者是某项政府数据标准又该如何开展工作呢?通过一系列金融行业数据标准的项目,我们总结了一套构建数据标准的通用方法论,称之为BOR方法:

 


其中B – Behavior代表各种社会活动/行为;O – Object,是参与主体和活动产生的对象; R –Relationship意指主体/对象之间的关系。无论是企业、政府,还是社会,都是由大大小小的社会活动和行为构成的;而参与这些行为和活动的正是各种类型的社会主体,并且在活动过程中创造并产生了各种对象,包括生产出来的产品,签署的合同,记录行为的各种凭证,登录应用的账号等等;这些对象也因为活动和行为而产生了各种连接关系,在数据建模的领域里称之为对象间关系。假设今天我们有一个巨大的生产系统可以将人类的每个行为/活动全部IT化,系统化,那么这个系统中产生的数据就是要建设的数据标准的全部范围。


因此,简单的说,BOR方法就是指,依据所要构建的数据标准覆盖的行为/活动,梳理这些活动中涉及到的全部Objects(主体、对象),以及Objects之间的关系,构建数据标准的过程,就是定义Objects和Behavior的组成要素(也叫信息项),并通过数据模型刻画Objects之间的一对一、一对多和多对多关系的过程。


保单要素标准化梳理过程


证券行业数据标准梳理过程


因为数据标准涉及到的Objects往往很多,为了方便建设和记忆,往往采用的是自顶向下的梳理方法,首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系,再逐级分解,定义各个主题域下的重要实体和实体间关系,最后定义每个实体中的标准信息项,包括业务含义、加工规则、值域范围、业务代码等内容。


数据标准的建设方法并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制度章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中,对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。


四、 数据标准是数据资产管理的基石

简单的总结上面几部分:数据标准是数据资产管理的基础,是对数据资产进行准确定义的过程。对于一个拥有大量数据资产的企业,或者是要实现数据资产交易的企业而言,构建数据标准是一件必须要做的事情。数据标准通用的建设方法是BOR方法,从梳理业务活动开始,为活动的主体和对象建立数据标准,并使用数据模型刻画对象间的逻辑关系。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据:产业链条将更为完备

    大数据:产业链条将更为完备

    2018年,我国大数据产业呈现健康快速发展态势,包括大数据硬件、大数据软件、大数据服务等在内的大数据核心产业环节产业规模有望达到5700……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:100次

  • 数据标准落地成最大痛点!

    数据标准落地成最大痛点!

    目前中小银行数据治理存在数据质量低下、数据治理工具缺乏、重视程度低、专业人才队伍不足等方面难点。……查看详情

    发布时间:2019.12.13来源:CSDN浏览量:128次

  • 数据清洗与数据治理的3个不同点

    数据清洗与数据治理的3个不同点

    ​数据清洗,是指发现并纠正数据文件中可识别的错误的最后一道程序,是数据治理工作中必不可少的一项关键任务,是数据治理的子集.……查看详情

    发布时间:2021.04.09来源:亿信数据治理研究院浏览量:1101次

  • 数据治理和数据管理推动成功的词汇表和词典

    数据治理和数据管理推动成功的词汇表和词典

    任何数据管理员的噩梦都是运行会议,创建迂腐和无关的业务词汇表或数据词典,最终收集网络粉尘。但是,跳过构建和维护良好的业务术语表或数据字典……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:124次

  • 2020年数据治理研究报告

    2020年数据治理研究报告

    2020年5月发布的《中共中央 国务院关于新时代加快完善社会主义市场经济体制的意见》中提出,要加快培育发展数据要素市场,建立数据资源清单……查看详情

    发布时间:2021.02.27来源:知乎浏览量:99次

  • 大数据时代下金融数据治理的问题

    大数据时代下金融数据治理的问题

    数据治理是一套完整的制度、指引和规范,用于统筹人员、流程以及技术等要素,使得商业银行能将数据作为企业的重要资产而有效利用,其核心内容是统……查看详情

    发布时间:2019.10.17来源:知乎浏览量:115次

  • 红树林社会:从数字创新到数字治理

    红树林社会:从数字创新到数字治理

    这种情况就在我们身边,证明了数字化对日常生活的影响以及如何对其进行规范。……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:107次

  • 大数据环境下我国政府数据开放及应用研究

    大数据环境下我国政府数据开放及应用研究

    在当前政府各项工作开展过程中, 政府数据管理属于十分重要的一项任务及内容, 对于政府各项政务工作的开展均具有十分重要的作用及意义。……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:80次

  • 中国“大数据转型”引人关注:万亿市场可期 地方密集发力

    中国“大数据转型”引人关注:万亿市场可期 地方密集发力

    以人工智能、大数据、云计算为代表的信息产业,正在成为地方经济发展的新亮点。以大数据产业为例,过去一段时间以来,各地已陆续释放了推动该产业……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:104次

  • 数据治理技术措施

    数据治理技术措施

    企业构建的信息系统以满足功能应用为主,如果没有整体数据架构,应用系统就没有数据标准可参考,不可避免地会出现不同的应用系统使用不同的数据标……查看详情

    发布时间:2020.10.21来源:知乎浏览量:125次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议