大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:1次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 业务流程建模及其在企业中的作用

    业务流程建模及其在企业中的作用

    为实现其目标,组织必须完全了解其流程。因此,业务流程设计和分析是定义业务运营方式的关键,并确保员工理解并负责履行其职责。……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:2次

  • 定义DG:数据治理可以为您做什么?

    定义DG:数据治理可以为您做什么?

    由于数据驱动的业务,数据治理(DG)变得越来越普遍,但是对于许多组织来说,定义DG并进行合理的实践仍然很困难。……查看详情

    发布时间:2019.01.21来源:亿信华辰浏览量:2次

  • 元数据到元数据治理,这一篇文章就够了

    元数据到元数据治理,这一篇文章就够了

    “元数据管理是企业数据治理的基础”,在数据治理战略实施的时候,这是我们经常会听到看到的一句话。但是,数据治理的概念在国内还并未普及,如何……查看详情

    发布时间:2020.08.14来源:亿信华辰浏览量:1次

  • 从数据治理看医疗大数据的发展

    从数据治理看医疗大数据的发展

    《从数据治理看医疗大数据的发展》主要分享医疗大数据中数据治理的重要性,并结合具体案例来讲述大数据治理的框架和应用心得。……查看详情

    发布时间:2019.02.25来源:网络大数据浏览量:1次

  • 企业数据治理的十个最佳实践

    企业数据治理的十个最佳实践

    任何企业实施数据治理都不是为了治理数据而治理数据,其背后都是管理和业务目标的驱动。企业中普遍存在的数据质量问题有:数据不一致、数据重复、……查看详情

    发布时间:2020.07.02来源:知乎浏览量:2次

  • 数据治理是真实的,是需要的!

    数据治理是真实的,是需要的!

    有许多组织可以很好地管理和管理他们的数据。或者是足够好(无论对每个组织来说意味着什么)。但是,还有其他组织根本不管理和管理他们的数据。他……查看详情

    发布时间:2019.06.19来源:简书浏览量:1次

  • 如今的大数据究竟发展到了什么阶段

    如今的大数据究竟发展到了什么阶段

    大数据时代,大数据分析与应用大肆盛行。越来越多的大公司大企业大集团,都越来越重视大数据的影响和作用。……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:2次

  • 银行数据治理包括哪几个方面

    银行数据治理包括哪几个方面

    从《银行业金融机构数据治理指引》相应章节可看出, 数据治理/管理的核心是基础数据、衍生数据,以及产生与 应用这些数据的组织架构、运行机制……查看详情

    发布时间:2021.04.06来源:数据治理研究院浏览量:6次

  • 为什么数据治理?

    为什么数据治理?

    数据治理曾经是一件好事,但由于数据和分析的重点和重要性日益增加,它已成为帮助推动整个企业数据管理的必要条件。……查看详情

    发布时间:2018.12.21来源:亿信华辰浏览量:1次

  • 为什么要进行数据交换

    为什么要进行数据交换

    企业大量的IT投资建立了众多的信息系统,但是随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。企业急……查看详情

    发布时间:2020.08.10来源:知乎浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议