数据问题的全面解决之道——数据治理

发布时间:2019.01.18来源:亿信华辰浏览量:2次标签:数据治理

当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格式也越来越多样化,包括IT系统里存储的结构化、非结构化数据,各样电子文档数据等。与此同时,企业管理者对数据的困惑也与日俱增,这些数据从哪里来?我们能相信这些数据吗?数据之间有什么样的关系?谁能理解这些数据?

零散化存放是数据问题根源

造成上述情况最根本的原因是:数据零散化存放。大型企业在不同发展阶段,会根据业务需求建设很多内部IT支撑系统,比如ERP(企业资源计划)系统、CRM(客户服务管理)系统、财务管理系统等,这些系统的分散建设,数据割裂,造成了数据零散化存放的现状。

基于数据作分析,首先需要数据的聚合,但由于生产系统和数据的离散化,造成了数据标准、数据模型不统一,因而企业最需要做的就是对数据整合和标准化。

数据治理带来全面解决之道

大数据治理是诸多数据问题的全面解决之道。根据DAMA(国际数据管理协会)的定义,数据治理(DG,Data Governance)是指对数据资产的管理活动行使权力和控制的活动集合(规划、监控和执行)。作为DAMA数据管理职能框架(图1)的10项职能之一,起着指导其他数据管理职能如何执行的作用,它通过制定正确的政策、操作规程,确保以正确的方式对数据和信息进行管理。

大数据治理,即基于大数据的数据治理。大数据,一般指符合4V特征的数据,包括社交数据、机器数据等,大数据对传统数据治理工作带来很多的扩展,在政策/流程上,大数据治理应覆盖大数据的获取、处理、存储、安全等环节,需要为大数据设置数据管理专员制度;需考虑大数据与主数据管理能力的集成,需要对大数据做定义,统一主数据标准;在数据生命周期管理各阶段,如数据存储、保留、归档、处置时,要考虑大数据保存时间与存储空间的平衡,大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。此外,在隐私方面,应考虑社交数据的隐私保护需求,制定相应政策,还要将大数据治理与企业内外部风险管控需求建立联系。

数据治理的商业价值

企业只有建立了完整的大数据治理体系,保证数据的质量,才能够真正有效地挖掘企业内部的数据价值,对外提高竞争力。

首先,高质量数据是企业业务创新、管理决策的基础。随着互联网企业对其他各行业的冲击,加剧了市场的竞争,许多企业面临收入增速放缓、利润空间逐步缩小的局面,过去单纯的外延式增长已经难以为继。因此,必须向外延与内涵相结合的增长方式转变,未来效益的提升很大程度上要依靠企业的内部挖潜实现,这从客观上对企业的创新能力提出了更高的要求,而提升企业内部数据管理的精细化水平,是企业开展业务创新和管理决策的重要基础,能够为企业创造巨大效益。

其次,标准化的数据是优化商业模式、指导生产经营的前提。许多企业的 IT 系统经历了数据量高速膨胀的时期,这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度,形成了一个个系统竖井。系统之间的关系、标准化数据从哪里获取都无从知晓,通过数据治理工作,可以对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,通过数据标准化可以防止数据的混乱使用,确保数据的正确性及质量,并可以优化商业模式,指导企业生产经营工作。

最后,多角度、全方位的数据是企业开展市场营销、争夺客户资源的关键。数据已成为企业最核心的隐形财富,谁掌握了准确的数据谁就能获得先机,在当前竞争日益激烈的市场上,企业如何在不同的细分市场构建客户画像、开展精准营销,如何选择竞争策略、进行经营管理决策,都必须基于360度全方位、准确的客户数据加以分析判断才能得出。

数据治理的五个核心要素

1.明确数据治理责任,建立数据治理组织

数据出了问题,到底是谁的责任?因为数据主要是IT系统产生的,所以一直以来,解决数据问题都被认为是IT部门的职责。而IT部门也饱受其苦,数据定义和业务规则,业务部门最清楚;数据录入,业务人员负责;数据使用,业务人员是用户;数据考核,业务部门有权力……但实际上,要切实解决数据问题,开展数据治理工作,就必须先清楚一点:数据治理,是业务部门和IT部门共同的职责。

值得一提的是,越来越多的企业开始重视数据治理工作,一些企业高管团队中也产生了一个全新的职位——首席数据官(CDO),是组织内大数据战略的制定者和推动者,负责组织内数据资产的开发和利用,通过数据推动组织业务的创新和发展,通常直接汇报给CEO或CIO。

2.管理出成效,制度是保障

大数据治理需要管理和制度的有力支撑,可结合企业的现状,制定相应的管理办法、管理流程、认责体系、人员角色和岗位职责等,颁布相关的数据治理的企业规章制度等。

举个例子,在笔者负责过的一个数据治理项目中,为了加强数据保密管理,根据重要程度、公开范围、数据使用频次和数据安全要求,针对数据制定了四个重要级别:极敏感级、敏感级、较敏感级、低敏感级,并根据不同级别实施相应的管理举措,级别越高,数据管理的要求越高。

3.数据规范:没有规矩,不成方圆

数据规范是指对企业核心数据进行有关存在性、完整性、质量及归档的测量标准,为评估企业数据质量,并且为手动录入、设计数据加载程序、更新信息以及开发应用软件提供的约束性规则,数据规范一般包括数据标准、数据模型、业务规则、元数据、主数据和参考数据。

制定数据标准的目的是为了使业务人员、技术人员在提到同一个指标、名词、术语的时候有一致的含义。数据模型对企业运营过程中涉及的业务概念和逻辑规则进行统一定义。业务规则是一种权威性原则或指导方针,用来描述业务交互,并建立行动和数据行为结果及完整性的规则。元数据能够帮助增强数据理解,可以架起企业内业务与 IT 部门之间的桥梁。主数据用来描述参与组织业务的人员、地点和事物。参考数据是系统、应用软件、数据库、流程、报告中及交易记录中用来参考的数值集合或分类表。

4.数据治理活动,理论结合实践

数据治理活动是指为实现数据资产价值的获取、控制、保护、交付以及提升,对数据规范所做的计划、执行和监督工作,一般包括以下活动。

数据架构管理,用于定义企业数据需求,设计实现数据需求的主要蓝图,通常包括数据标准管理、数据模型管理、数据集成架构等;数据质量管理,指通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用;元数据管理,指通过计划、实施和控制活动,以实现轻松访问高质量和整合的元数据;数据安全管理,指通过计划、制定并执行数据安全政策和措施,为数据和信息提供适当的认证、授权、访问和审计;参考数据和主数据管理,指通过计划、实施和控制活动,达到保证参考数据与主数据的一致性。

5.数据治理软件:工欲善其事,必先利其器

目前业界流行的数据治理软件,一般也称为数据资产管理产品、数据治理产品,主要包括的功能组件有元数据管理工具、数据标准管理工具、数据模型管理工具、数据质量管理工具、主数据管理工具、数据安全管理工具等。

利用数据治理软件主要解决企业不同来源数据集成过程中遇到的问题,需要数据治理软件能够为企业提供统一的元数据集成、数据标准管理、数据模型设计、数据质量稽核、数据资产目录、数据分析服务等能力。

目前,亿信华辰推出的一站式数据治理管理平台——睿治,融合了元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据资产管理、数据交换管理、生命周期管理、数据安全管理9大产品,打通数据治理各个环节。每个模块功能可互相调用,同时提供各个产品模块任意组合,快速解决企业不同的数据治理场景。

结语

基于大数据的人工智能时代的到来,为各行业带来基于数据资产进行业务创新、管理创新的契机,伴随着企业数字化转型过程,越来越多的数据被收集,大数据治理将为企业提供更全面更准确的数据,届时人类的大部分行为将可以被计算和预测,这种对社会成员的行为逻辑、社会事件的发展态势提前作出判断、预测和模拟,将使社会治理模式得到极大变革,从而极可能推动社会治理也由传统的人类精英经验治理向基于大数据的智能化治理转型。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.02.04来源:亿信华辰浏览量:1次

  • 理解数据治理

    理解数据治理

    专注于商业智能(bi)市场,深入了解组织在数据管理策略方面所面临的一些共同挑战。……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:2次

  • 数据治理对医疗保健未来的重要性

    数据治理对医疗保健未来的重要性

    在过去的一年里,我已经广泛报道了基因组数据在医疗保健领域日益增长的重要性。其中一个最好的例子是英国生物银行与欧洲基因组 - 表型库(EG……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:1次

  • 常见的主数据管理问题

    常见的主数据管理问题

    主数据管理,包括不仅仅是硬件和软件,还是将数据作为重要资产管理的思想和办法,是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保……查看详情

    发布时间:2020.12.05来源:知乎浏览量:2次

  • 数据治理和流分析的关系

    数据治理和流分析的关系

    借助流分析,可以通过智能数据模型和算法快速处理传入数据,以致在许多情况下,流数据没有机会被存储。与传统的分析过程相比,这是一个重要的变化……查看详情

    发布时间:2021.04.23来源:亿信数据治理知识库浏览量:3次

  • 数据治理之道是什么,要怎么做?

    数据治理之道是什么,要怎么做?

    数据治理需要体系建设:为发挥数据价值需要满足三个要素:合理的平台架构、完善的治理服务、体系化的运营手段。……查看详情

    发布时间:2021.05.14来源:亿信数据治理知识库浏览量:3次

  • 数据管理政策:数据治理的基石

    数据管理政策:数据治理的基石

    您的组织可能认为或可能不认为您需要,但我在此告诉您,数据管理策略是管理企业数据资产的基石。……查看详情

    发布时间:2019.01.22来源:亿信华辰浏览量:4次

  • 大数据平台应用开发的五个痛点

    大数据平台应用开发的五个痛点

    随着数据利用率的提高和数据共享行为变得频繁,对于大数据平台应用开发来说,如何进行数据交换是每个平台组件都绕不过去的问题。目前大数据平台应……查看详情

    发布时间:2020.08.21来源:知乎浏览量:1次

  • 数据问题的全面解决之道——数据治理

    数据问题的全面解决之道——数据治理

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:2次

  • 什么是数据质量?如何衡量它以获得最佳结果?

    什么是数据质量?如何衡量它以获得最佳结果?

    我们过去谈过很多关于数据质量的问题 - 包括糟糕数据的成本。但是,尽管对数据质量有了基本的了解,但许多人仍然不太了解“质量”究竟是什么意……查看详情

    发布时间:2018.12.25来源:数据治理浏览量:4次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议