数据标准在数据资产管理中的意义

发布时间:2019.03.12来源:亿信华辰浏览量:167次标签:数据治理

一、 数据资产管理是做什么的?

尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得如何实操数据资产管理、在企业中真正落地的更寥寥无几。笔者有幸参与了国内几个典型项目,想借本文从数据标准这个角度和业界同仁们分享一点自己的思考和心得。


我是从2001年开始踏入数据这个领域的,那时候中国移动还在准备出第一个经营分析系统建设规范,中国建行开始准备建立银行的第一个数据仓库平台,那时候当然没有什么大数据的概念,数据资产管理的概念还没有出现。从业16年,无论是企业数据架构的咨询还是数据平台的建设,数据标准一直成为常伴的主旋律。从不知道数据标准是何物到为运营商、银行、证券行业、保险行业实施了一个又一个企业或行业数据治理项目,我和我所在的团队对数据标准的理解愈来愈深刻;因此当近年来数据资产管理的概念甫一出现,我们能够清楚地看到数据标准在数据资产管理领域中的关键作用。


要搞清楚数据标准的建设意义和作用,首先就要清楚数据资产管理是做什么的。按照DAMA的定义,数据资产管理是企业或组织采取的各种管理活动,用于保证数据资产的安全、完整、合理配置、有效利用,从而提升经济效益。


业界经常将数据资产管理和数据管理、数据治理交换的使用,严格的说几个名词之间还是有一定的区别的,但简单的说,数据资产管理并非全新的概念,从实践落地的角度看,数据治理是基础和主干部分,再加上关于数据价值评估和管理的内容就是数据资产管理的全部范畴。本文先聚焦数据治理这一主干部分,但简明起见,通篇暂时统一使用“数据资产管理”的表达,关于详细的概念辨析再找机会单独探讨。


一个拥有大量数据的企业,要发挥其数据的价值必须整合和加工现有或新建的各种信息系统或者业务应用中的数据,并通过将经过处理的数据嵌入到业务流程中,实现智慧化生产,智慧化管理。数据资产管理就是在上述从数据产生到数据整合、加工、使用的端到端价值实现过程中,管理各个环节的数据定义、格式、值域范围、业务规则、加工逻辑,安全权限以及数据之间的加工依赖关系等一系列事项。数据资产管理的目的是让数据的使用者能够清楚地认识数据和数据关系,进而能够用好数据;让数据应用的管理者能够洞察数据、应用、系统之间的复杂依赖关系,进而能够管好数据。数据资产管理领域的基本范畴如下图所示:



上图中的各项内容其实也是我们在每一个企业或者行业实施数据管控类项目中必然会涉足的关键领域。


二、 数据标准在数据资产管理中的意义

在谈数据的价值之前,必须先说清楚所谈论的数据资产都有那些,都是什么,也就是要先梳理企业数据的定义。数据资产管理领域中有两样的事情都与数据定义相关:数据标准和数据模型。这两项工作一个负责给数据下定义,另一个负责描述描绘数据关系。这两件事情在一个企业中会被高度重视并完成,动力源于大数据时代“数据整合”的需求。


给大家一个简单的例子,就会明白为什么当数据被整合时需要数据标准。还是拿银行来说,大多数现代银行的IT系统产生并存储客户资料的是两个主要系统,银行核心系统和信贷管理系统。这两个系统在建设时一般都是各自独立进行的,也就是说,两个系统各自独立设计自己的“客户信息表”。下图中一个是TATA公司BANCS系统的客户信息表,另一个是国内某公司信贷系统的客户信息表。


BANCS客户信息表



国内某银行信贷系统客户信息表

试问,如果要建立一个数据整合平台,统一存储银行全部的客户资料时,“客户信息表”该如何创建?这就需要建设“客户数据标准”来整合银行内部不同业务系统产生的客户信息。


客户数据标准示例


数据标准化的过程其实就是在数据整合平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程。一个企业内部的数据标准化方式如此,一个行业监管机构在采集全行业数据时的数据标准化过程也是如此,例如,银监会在向全国银行机构采集明细数据的EAST接口事实上就是银行业基础数据标准,保监会在向全国保险机构采集保单明细数据的接口事实上就是保险行业基础数据标准。


综上所述,数据资产管理的第一步要厘清企业拥有哪些数据,需要整合数据,而构建数据整合平台则必须要建立一套数据标准和数据模型,实现数据的标准化。


三、 如何构建数据标准

接下来要回答的问题就是,建立数据标准该从哪里着手?


我们都知道,建设一个业务系统实际上是将企业或者行业的运作机制IT化和系统化的过程,需要从梳理业务流程和管理流程开始。类似的,建设数据标准就是将数据的表达和使用统一和系统化的过程,首先就要梳理数据产生和应用的全部范围。对于一个企业来讲,这往往意味着数据标准的建立需要从盘点企业内部全部生产系统中的数据开始;那么对于扩大的场景,例如建设某个行业的数据标准或者是某项政府数据标准又该如何开展工作呢?通过一系列金融行业数据标准的项目,我们总结了一套构建数据标准的通用方法论,称之为BOR方法:

 


其中B – Behavior代表各种社会活动/行为;O – Object,是参与主体和活动产生的对象; R –Relationship意指主体/对象之间的关系。无论是企业、政府,还是社会,都是由大大小小的社会活动和行为构成的;而参与这些行为和活动的正是各种类型的社会主体,并且在活动过程中创造并产生了各种对象,包括生产出来的产品,签署的合同,记录行为的各种凭证,登录应用的账号等等;这些对象也因为活动和行为而产生了各种连接关系,在数据建模的领域里称之为对象间关系。假设今天我们有一个巨大的生产系统可以将人类的每个行为/活动全部IT化,系统化,那么这个系统中产生的数据就是要建设的数据标准的全部范围。


因此,简单的说,BOR方法就是指,依据所要构建的数据标准覆盖的行为/活动,梳理这些活动中涉及到的全部Objects(主体、对象),以及Objects之间的关系,构建数据标准的过程,就是定义Objects和Behavior的组成要素(也叫信息项),并通过数据模型刻画Objects之间的一对一、一对多和多对多关系的过程。


保单要素标准化梳理过程


证券行业数据标准梳理过程


因为数据标准涉及到的Objects往往很多,为了方便建设和记忆,往往采用的是自顶向下的梳理方法,首先构建数据标准的主题域,厘清数据主题域之间的逻辑关系,再逐级分解,定义各个主题域下的重要实体和实体间关系,最后定义每个实体中的标准信息项,包括业务含义、加工规则、值域范围、业务代码等内容。


数据标准的建设方法并不难掌握,关键是建设过程中需要收集并整理大量的业务规范、制度章程、法律法规、监管规定、国家标准,并将这些规定具象到数据标准定义的信息项中,对于一个从未做过数据标准的实施团队而言,这将意味着巨大的工作量。


四、 数据标准是数据资产管理的基石

简单的总结上面几部分:数据标准是数据资产管理的基础,是对数据资产进行准确定义的过程。对于一个拥有大量数据资产的企业,或者是要实现数据资产交易的企业而言,构建数据标准是一件必须要做的事情。数据标准通用的建设方法是BOR方法,从梳理业务活动开始,为活动的主体和对象建立数据标准,并使用数据模型刻画对象间的逻辑关系。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 为什么营销人员应该关心数据治理

    为什么营销人员应该关心数据治理

    如果没有适当的数据治理,您就会面临两个巨大问题的风险:低效率和违反客户信任。有了它,您的业务就是一台信息灵通,运行良好的机器。简而言之,……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:171次

  • 数据安全事件频发的当下,如何保障数据治理过程中的绝对安全?

    数据安全事件频发的当下,如何保障数据治理过程中的绝对安全?

    在数据治理过程中,如果数据不安全会导致数据治理不到位,甚至是治理好的数据被滥用或盗用。数据安全问题其实说白了通常是由于防范不到位、管理不……查看详情

    发布时间:2020.10.21来源:知乎浏览量:202次

  • 大数据会取代传统BI吗

    大数据会取代传统BI吗

    BI一词早在20年前就被提出,加特纳集团将商业智能定义为描述一系列的概念和方法,通过应用基于事实的支持系统来辅助商业决策的制定。……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:147次

  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    而互联网、大数据、人工智能等技术手段应用的基础是数据。由此,我们看出围绕数据生产要素,构建科学的数据治理规则体系,是政府治理体系和治理能……查看详情

    发布时间:2020.04.09来源:中国电子报浏览量:154次

  • 数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    近些年来,“数据治理”这个词总是高频出现,让人们对其“身世背景”格外好奇。国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系……查看详情

    发布时间:2020.09.19来源:知乎浏览量:134次

  • 数据交换平台的功能结构设计与实现

    数据交换平台的功能结构设计与实现

    数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按……查看详情

    发布时间:2020.08.06来源:知乎浏览量:354次

  • 数据质量管理的方法论

    数据质量管理的方法论

    在数据治理方面,不论是国际的还是国内的,我们能找到很多数据治理成熟度评估模型这样的理论框架,作为企业实施的指引。而说到数据质量管理的方法……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:230次

  • 数据治理和业务转型

    数据治理和业务转型

    数字化转型仍然是依赖数据的核心业务计划。最初,数据功能侧重于监管合规性,然而,许多执行团队现在希望看到持续创新和首席数据官的结果,为公司……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:165次

  • 中小银行数据治理难点在哪儿?

    中小银行数据治理难点在哪儿?

    银行数字化转型是银行业伴随金融科技发展的必然趋势,而数据治理是实现银行数字化转型的基础。……查看详情

    发布时间:2019.12.13来源:CSDN浏览量:181次

  • 数据治理要“三化”

    数据治理要“三化”

    “数据是新的‘石油’。在智能化、数字化大潮下,只有对大数据进行有效、高质量治理,才能将数据“原油”转变为有价值有质量的数据“石油”,从而……查看详情

    发布时间:2019.11.29来源:知乎浏览量:145次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议