企业数据质量是数字化时代企业的重要资产

发布时间:2020.01.10来源:知乎浏览量:136次标签:数据治理

大数据的概念正在进一步渗透到各个行业与领域当中,随着企业业务增长和规模扩大,以及伴随着信息技术和相关基础设施的不断完善,在短短的几年内,数据已经呈现了爆发式的增长,多数传统企业也开始走上了数字化转型的道路。数据中蕴藏的商业价值也逐渐被人们挖掘出来:客户群体细分提供个性化服务和精准营销、数据驱动创新促进发掘新的需求和商业模式、数据互联互通打破了组织边界提高管理效率和产业效率,以及降低服务成本。

企业数据质量
数据是数字化时代企业的重要资产,数据可以以产品或服务的形态为企业创造价值。既然数据可以是产品、可以是服务,那问题就简单了。虽然数据质量管理没有成熟方法论支撑,但是产品和服务的质量管理体系却已非常的成熟了,何不尝试用产品和服务的质量管理体系来管理数据质量?!那国际上最权威的质量管理体系IOS9001是否也适用于企业的数据质量管理呢?

数据治理方面,不论是国际的还是国内的,我们能找到很多数据治理成熟度评估模型这样的理论框架,作为企业实施的指引。而说到数据质量管理的方法论,其实业内还没有一套科学、完整的数据质量管理的体系。很多企业对数据质量的重视程度还不够,即使部分企业在朝着这个方向努力,也是摸着石头过河。

下图是ISO9001基于PDCA的质量管理核心思想,其重点强调以客户为关注焦点、领导作用、全员参与、过程方法、持续改进、循证决策和关系管理。

依据ISO9001以及企业在数据治理方面的相关经验,亿信华辰认为企业数据质量管理应从以下几个方面着手:

1. 明确目标
这里先提一个概念:数据生命周期管理。数据的生命周期从数据规划开始,中间是一个包括产生、处理、部署、应用、监控、存档、销毁这几个步骤并不断迭代的过程。那么在其中任何一个环节都会涉及到数据质量的管理。因此当我们确定此次数据质量评估的目标时,首先要定位当前的数据处于生命周期的哪个阶段,进一步明确后续步骤对于数据质量的需求有哪些。数据价值的体现形式在于数据通过流动最终被消费。同一份数据在不同的生命周期中,其质量的关注点是存在差异的,因此很重要的一点就是明确当前阶段数据质量管理的目标是什么。有了明确的目标,才能开始对数据进行合理的评估。

2. 构建数据全景图
许多企业进行数据质量评估的时候很容易只关注在当前企业的现有数据。从而忽视了当前企业中暂时没有的数据。我们知道,数据可以划分为内部数据和外部数据,还可以通过数据交易获取数据。因此对于数据质量管理,很重要的一点就是企业首先要构建一个数据全景图。基于生态或者完整的业务全景来构建数据全景。数据全景图与业务是不可分离的,因此,脱离了业务,或者仅仅围绕部分当前的业务进行质量的评估,并不能从长远和全局的角度给我们的数据质量管理带来更加价值的指导意义。既要关注当下的现状,又要着眼于未来的演变。

3. 选取数据质量维度
评价数据质量的维度有很多,例如:数据准确性、数据一致性、数据的实效性、数据的完整性等等。可列举出十几种维度或者更多,在许多地方都会有对数据质量维度的具体解释。那么在这里我们要关注的是如何选取维度。尽管每一个维度都与质量相关联,但是并不是每一个维度对质量都会产生相同的影响作用。因此,我们需要对选取几个我们最为关注的数据质量维度来对其进行评估。选取过多的维度会增加后续数据质量评估模型的复杂度,并会增加采样数据,度量质量的成本和难度。而选取过少的维度又不能全面的反应数据质量。一般来说,4-7个维度是比较合理的选择。当然,根据实际需要,也可以定义自己的质量维度和选取适当的数量。

4. 制定数据质量评估模型
经过上一步选定了进行质量度量的维度,接下来就是对数据评估进行建模。建模的目的是我们在对各个维度进行质量度量之后,需要对度量结果进行一个计算,得到一个更加直观的分数来衡量数据质量的好坏。建模本身也是一个复杂的工程,当然简单的评估模型可以是一个线性模型,既各个维度的数值乘以一个权重然后进行累加。也可以是一个很复杂的数学模型,甚至会对模型进行调参。建模本身需要对数据有一定敏感性和深刻的理解,同时需要具备一定的数学知识。

5. 确定数据质量度量标准和度量方法
在数据质量的众多维度当中,有些维度是很容易进行度量的,例如缺失率。缺失率的计算只要统计出缺失的数据量在整个数据集中的占比就可以得出一个具体的值。然而有些维度,例如实效性、一致性等如果要进行度量的话,就不是那么容易了。我们需要在度量之前定义出度量的标准是什么,基于这个标准,再确定度量的方法。就是我们如何把一些描述性的度量全部转化成为可以量化的数值或者比率。需要这样一个量化的过程,才能够将这些度量结果通过模型计算,最终得出一个质量的评估结果。度量的方法也会分为多种,可以是人工去对比,也可以用程序化的方式进行对比,或者采用统计学的方式来进行度量。

6. 实施数据质量评估并撰写评估报告
终于到了最后的实施环节,在实施的环节需要考虑的是数据采样策略。如果数据量小,我们可以对全部数据进行度量和评估。如果数据量很大或者对全量数据进行评估成本过高,那么就需要进行部分数据采样,对样本数据进行评估。数据会有其自身的一些特点,例如周期性或者实效性。因此在制定抽样策略和抽样频率的时候,不能不考虑这些因素,否则采样数据得出的评估结论很可能就会与全量数据的真实情况有较大的偏差,因此如何尽可能的减少偏差也是一个需要思考的问题。

经过抽样、度量、评估之后,就可以得到评估结论了。最后我们需要的就是撰写一份评估的报告,在这份报告当中,除了最后的结论,应当还包括对这个结论的分析和解读,并通过一些可视化的方式展现在报告当中。数据质量评估报告不是最终的目的,这份报告对后续数据质量的管理,数据治理等都具有非常重要的参考意义。因此,在这份报告中应当包含结论、分析以及只质量改善建议这几个方面。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据资产管理方案之如何让数据化为价值

    数据资产管理方案之如何让数据化为价值

    数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。主要分为以下三点:1、……查看详情

    发布时间:2020.08.14来源:知乎浏览量:167次

  • 2018年中国大数据交易产业十大事件

    2018年中国大数据交易产业十大事件

    凡是过去,皆为序章。中国大数据交易产业2018年大事频出,国家大数据(贵州)综合试验区“大数据资源流通”取得新进展,2018第四届中国(……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:119次

  • 侃侃什么是数据资产管理,数据资产到底是什么

    侃侃什么是数据资产管理,数据资产到底是什么

    近几年来,“数据就是资产”的观念已成为共识,大家对数据价值的重视程度与日俱增,数据资产管理也已被众多企业提上日程……查看详情

    发布时间:2020.08.19来源:微信浏览量:144次

  • 数据质量六大评价标准是什么

    数据质量六大评价标准是什么

    随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖……查看详情

    发布时间:2022.03.28来源:小亿浏览量:6048次

  • 6个实施数据治理的最佳实践方法

    6个实施数据治理的最佳实践方法

    在寻找数据治理最佳实施方法时,您可以从已有的各种流程和模板工作的人那里学到很多东西。尽管每个企业都不同,您将需要根据流程调整数据治理实践……查看详情

    发布时间:2021.07.28来源:亿信数据治理知识库浏览量:187次

  • 面对如今的数据挑战企业如何有效地进行数据治理

    面对如今的数据挑战企业如何有效地进行数据治理

    数据治理是对数据资产管理行使权力和控制的活动集合,数据治理是识别、管理和解决几种不同类型数据相关问题的手段,包括数据质量问题、数据命名和……查看详情

    发布时间:2019.08.29来源:知乎浏览量:129次

  • 金融服务数据治理:帮助价值'新货币'

    金融服务数据治理:帮助价值'新货币'

    对于在金融服务领域运营的组织,数据治理变得越来越重要。当金融服务行业董事会成员和高管在2018年初聚集在安永的金融服务领导峰会时,数据是……查看详情

    发布时间:2019.01.21来源:亿信华辰浏览量:117次

  • 一文搞懂数据质量问题及对应的解决办法

    一文搞懂数据质量问题及对应的解决办法

    通过数据分析、数据评估、数据清洗、数据监控、错误预警等内容,解决数据质量问题,使数据的质量得以改善,使其满足数据需求方对数据质量的规则要……查看详情

    发布时间:2019.11.05来源:知乎浏览量:954次

  • 数据治理管理干货 | 数据质量管理的方法

    数据治理管理干货 | 数据质量管理的方法

    原始数据通常包含错误,如果不做数据质量管理,可能会导致错误的结果。数据质量管理是数据治理中获得正确上下文和结论的基本步骤。……查看详情

    发布时间:2021.06.22来源:亿信数据治理知识库浏览量:144次

  • 大数据助力经济社会发展的实践与探索

    大数据助力经济社会发展的实践与探索

    近年来,贵州省深入贯彻习近平新时代中国特色社会主义思想,抢抓获批建设国家大数据(贵州)综合试验区重要机遇,深入实施大数据战略行动,持续推……查看详情

    发布时间:2019.03.20来源:大数据浏览量:90次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议