大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:77次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 一张架构图告诉你数据中台如何搭建

    一张架构图告诉你数据中台如何搭建

    当下,刮起了一场数据中台风,立马席卷了大数据行业的各个角落。人人都在谈什么是数据中台,我们需不需要建数据中台,数据中台要怎么建?今天,小……查看详情

    发布时间:2020.10.15来源:数据中台浏览量:45次

  • 大数据:产业链条将更为完备

    大数据:产业链条将更为完备

    2018年,我国大数据产业呈现健康快速发展态势,包括大数据硬件、大数据软件、大数据服务等在内的大数据核心产业环节产业规模有望达到5700……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:47次

  • 国内数据治理系统全面介绍

    国内数据治理系统全面介绍

    随着大数据技术的飞速发展,大数据已经融入到了各行各业,为了能让各企业的数据资产得到充分的利用,数据治理非常重要,如今数据治理已经逐渐成为……查看详情

    发布时间:2019.09.19来源:知乎浏览量:43次

  • 大数据时代企业数据不治理就破产-居安思危

    大数据时代企业数据不治理就破产-居安思危

    数据治理并不等同于数据管理,而只是数据管理的顶层执行层面。数据管理指规划、控制和提供数据及信息资产,发挥数据和信息资产的价值,强调在企业……查看详情

    发布时间:2020.02.21来源:知乎浏览量:66次

  • 云管理与云治理

    云管理与云治理

    混合云或多云已成为当今组织IT战略的重要组成部分。作为多云战略的一部分,组织需要定义如何在多个云中管理,控制,操作,优化和保护云基础架构……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:61次

  • 大数据在应急管理中的应用——亿信华辰

    大数据在应急管理中的应用——亿信华辰

    随着互联网、社交媒体和人工智能的技术发展和应用普及,大数据在应急管理中发挥的作用将越来越重要,是应急管理未来发展的重要方向之一。……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:43次

  • 如今数据治理与企业密切相关

    如今数据治理与企业密切相关

    随着越来越多的企业建立并广泛应用BI系统,数据治理的话题也在最近被越来越多地提及和讨论。有专家表示,只有建立了一定的数据治理体系,用户……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:49次

  • 中国科大:大数据实现本科生学业“全过程”管理

    中国科大:大数据实现本科生学业“全过程”管理

    近年来,中国科学技术大学(以下简称“中国科大”)践行“管理即服务”理念,实现“教、学、管”联动育人,完善“学业追踪”和“困难资助追踪”网……查看详情

    发布时间:2019.03.11来源:亿信华辰浏览量:28次

  • 我国数据资产管理的现状

    我国数据资产管理的现状

    我国数据资产管理市场发展的主要推动来自政府和大型互联网公司。在国家层面上,正在以政务信息和政府数据管理为切入口,由上至下地推动数据资产管……查看详情

    发布时间:2020.09.11来源:知乎浏览量:80次

  • 提高企业数据质量能做些什么?

    提高企业数据质量能做些什么?

    如今,我们生活在数据时代,各种数字化正在实实在在的改变着企业的日常运营,我们的生活、工作、学习,现在都离不开数据,对于企业来说,数据就是……查看详情

    发布时间:2019.11.01来源:知乎浏览量:39次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议