大数据环境下的数据质量管理策略

发布时间:2019.11.06来源:知乎浏览量:81次标签:数据治理

信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持。

数据质量管理
1、信息系统数据质量

信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言,进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切,对数据质量的要求也更为苛刻。

2、大数据环境下数据质量管理面临的挑战

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。

大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

(2)由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。

3、数据质量管理策略

为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据质量问题所遵循的客观规律,分析其产生的机理,探索科学有效的控制方法和改进措施;必须强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程。

建立数据质量管理系统解决数据质量问题

下面介绍一款数据质量管理平台来解决数据质量问题

EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。

4 结语
数据质量管理贯穿数据生命周期的全过程,覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多,数据量在不断加大,新需求推动的新技术也不断诞生,这些都对大数据下的数据质量管理带来了困难和挑战。因此,数据质量管理要形成完善的体系,建立持续改进的流程和良性机制,持续监控各系统数据质量波动情况及数据质量规则分析,适时升级数据质量监控的手段和方法,确保持续掌握系统数据质量状况,最终达到数据质量的平稳状态,为业务系统提供良好的数据保障。 
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    当我们谈数据资产管理时,我们究竟在谈什么?就目前而言,我们谈论得最多的非数据管理和数据治理这两个概念莫属。但是对于这两个概念,两者的准确……查看详情

    发布时间:2018.09.13来源:浏览量:59次

  • 确保数据治理正确 - 为医疗机构提供五个机会

    确保数据治理正确 - 为医疗机构提供五个机会

    医疗保健组织拥有的数据非常有价值 - 它可能是他们拥有的最有价值的资产。在个人层面,患者数据通常包含了解疾病和潜在康复的关键。从更广泛的……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:76次

  • 数据管理和使用:21世纪的治理

    数据管理和使用:21世纪的治理

    预计该管理机构将对新问题和问题进行专家调查,并采用新方法预测今天决策的未来后果。……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:63次

  • 数据治理需要转变

    数据治理需要转变

    环境数据治理是一种策略和方法,它不仅可以扩展您的数据治理工作,还可以作为解决方案,以满足我们为新用例,法规和新出现的数字功能扩展数据时存……查看详情

    发布时间:2019.02.15来源:Michele Goetz浏览量:72次

  • 如何选择合适的企业数据治理工具

    如何选择合适的企业数据治理工具

    清楚了在数据治理工具选择中的应注意的6大问题,才能在着手选择企业数据治理工具之前就可以清楚地知道要如何去做筛选。……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:61次

  • 什么是数据治理?为何数据治理如此重要?

    什么是数据治理?为何数据治理如此重要?

    如我们所见,数据正在以前所未有的速度增长,IDC曾发布报告称,到2025年,全球数据圈预计将增长至175 ZB。如何在这样一个数据大爆发……查看详情

    发布时间:2020.03.26来源:知乎浏览量:77次

  • 国内数据治理有何新动向?

    国内数据治理有何新动向?

    大数据时代,大数据技术在飞速的发展,逐渐的,大数据融入了各行各业,并且深受各大企业的喜欢,为了让各个企业的数据资产得到充分的利用,数据治……查看详情

    发布时间:2019.09.23来源:知乎浏览量:90次

  • 主数据管理第一步——识别主数据

    主数据管理第一步——识别主数据

    主数据管理的目的就是为了确保企业核心数据的准确性、一致性、稳定性,打破数据孤岛,帮助企业高效运转。然而在茫茫数据大海中识别出主数据是一项……查看详情

    发布时间:2019.10.24来源:亿信华辰浏览量:69次

  • 数据要素跑步入场,如何构建大数据治理体系?

    数据要素跑步入场,如何构建大数据治理体系?

    通俗来说,数据治理就是预防、诊断和治疗与数据有关的一切“病症”。亿信华辰智能数据治理平台——“睿治”就是根治病症的良药。……查看详情

    发布时间:2021.05.13来源:亿信数据治理知识库浏览量:110次

  • 数据治理——银行将被如何规范?

    数据治理——银行将被如何规范?

    我们认为,此番对数据治理的指引,未来可能会被其他金融监管机构作为范本,约束互联网金融或其他业态的数据治理行为,因此,具有学习和研究价值。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:88次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议