大数据环境下的数据质量管理策略

发布时间:2019.11.06来源:知乎浏览量:213次标签:数据治理

信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持。

数据质量管理
1、信息系统数据质量

信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言,进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切,对数据质量的要求也更为苛刻。

2、大数据环境下数据质量管理面临的挑战

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。

大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

(2)由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。

3、数据质量管理策略

为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据质量问题所遵循的客观规律,分析其产生的机理,探索科学有效的控制方法和改进措施;必须强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程。

建立数据质量管理系统解决数据质量问题

下面介绍一款数据质量管理平台来解决数据质量问题

EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。

4 结语
数据质量管理贯穿数据生命周期的全过程,覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多,数据量在不断加大,新需求推动的新技术也不断诞生,这些都对大数据下的数据质量管理带来了困难和挑战。因此,数据质量管理要形成完善的体系,建立持续改进的流程和良性机制,持续监控各系统数据质量波动情况及数据质量规则分析,适时升级数据质量监控的手段和方法,确保持续掌握系统数据质量状况,最终达到数据质量的平稳状态,为业务系统提供良好的数据保障。 
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据时代企业为什么需要数据治理吗?

    大数据时代企业为什么需要数据治理吗?

    如今数字化转型正在各行各业中迅速发展,以数据、流量、知识为主大数据时代已经到来,对于一个企业来说,要实施数字花和大数据战略,数据治理更为……查看详情

    发布时间:2019.07.18来源:知乎浏览量:214次

  • 管理、选择性投资推动了Hmshost的多渠道数字化之旅

    管理、选择性投资推动了Hmshost的多渠道数字化之旅

    hmshost利用跨渠道数据优化饥饿旅客的用餐体验。……查看详情

    发布时间:2019.01.15来源:亿信华辰浏览量:199次

  • 数据治理流程

    数据治理流程

    数据治理流程必须通过TSDS数据治理流程审查TEA收集的所有数据。此过程允许用户监督 TEA如何从LEA收集立法规定的数据以及为stud……查看详情

    发布时间:2018.11.27来源:数据治理浏览量:263次

  • 数据治理和风险管理

    数据治理和风险管理

    风险管理对于任何数据驱动的业务都至关重要。前联邦调查局局长罗伯特·穆勒(Robert Mueller)曾说过,“只有两种类型的公司:那些……查看详情

    发布时间:2019.01.27来源:亿信华辰浏览量:200次

  • 数字化转型实例:数据如何改变酒店业

    数字化转型实例:数据如何改变酒店业

    组织采用数据驱动策略的速度意味着组织可以利用大量的数字转换示例。……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:189次

  • 2021基层政府数据治理的必要性

    2021基层政府数据治理的必要性

    政府数据治理是指为高效发挥数据价值、达到治理能力现代化的目标,以政府为主导、社会共同负责的多元主体,运用各种可行手段对重要数据资源各个生……查看详情

    发布时间:2021.04.26来源:亿信数据治理知识库浏览量:273次

  • 数据治理(R)演变

    数据治理(R)演变

    数据治理继续发展 - 并且很快。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:162次

  • 通用数据治理平台的功能模块

    通用数据治理平台的功能模块

    随着互联网与大数据技术的飞速发展,大数据已经融入到了各行各业。数据治理非常重要,已经逐渐成为了政府、企业进行智能化决策的重要手段。数据治……查看详情

    发布时间:2022.02.23来源:浏览量:714次

  • 数据资产管理实践白皮书(2.0版)

    数据资产管理实践白皮书(2.0版)

    本白皮书版权属于中国信息通信研究院云计算与大数 据研究所,并受法律保护。转载、摘编或利用其它方式使用 本白皮书文字或者观点的,应注明……查看详情

    发布时间:2019.09.02来源:中国信息通信研究院云计算与大数据研究所浏览量:582次

  • 询问数据治理教练:我的数据治理计划需要多长时间?

    询问数据治理教练:我的数据治理计划需要多长时间?

    有多种不同的成熟度评估可用。如同所有的事物数据治理,我更喜欢一个简单的方法,你可以下载一个非常快速和容易的数据治理健康检查调查问卷免费在……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:138次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议