大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:117次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业数据治理项目如何落地?

    企业数据治理项目如何落地?

    数据治理在系统层面包括数据标准、元数据、数据质量、生命周期管理、数据安全、数据资产共六大核心模块;在管理层面需要通过数据治理组织、数据治……查看详情

    发布时间:2020.06.29来源:知乎浏览量:79次

  • 数据标准化的难题

    数据标准化的难题

    数据标准好制定,但是数据标准落地相对就困难多了。国内的数据标准化工作发展了那么多年,各个行业,各个组织都在建设自己的数据标准,但是你很少……查看详情

    发布时间:2020.11.13来源:知乎浏览量:88次

  • 如何应对数据标准化的难题

    如何应对数据标准化的难题

    数据标准好制定,但是数据标准落地相对就困难多了。国内的数据标准化工作发展了那么多年,各个行业,各个组织都在建设自己的数据标准,但是你很少……查看详情

    发布时间:2019.12.20来源:知乎浏览量:87次

  • 目前国内外主流的主数据管理平台

    目前国内外主流的主数据管理平台

    企业主数据(Master Data)是用来描述企业核心业务实体的数据,比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值……查看详情

    发布时间:2020.04.29来源:知乎浏览量:76次

  • 数据质量是什么?控制数据质量的三个方法都在这

    数据质量是什么?控制数据质量的三个方法都在这

    目前有三种基本方法可以实现真正的数据质量。它们有助于提供可用于收集有用的商业情报和做出正确决策的准确数据。这些开发和维护数据质量的方法都……查看详情

    发布时间:2021.08.19来源:亿信华辰数据治理知识库浏览量:101次

  • 典型技术架构的分析和构建——《企业大数据实践路线》

    典型技术架构的分析和构建——《企业大数据实践路线》

    可能听了我的分享或者别人的分享,大家都会跃跃欲试。我们需要从哪一个方面去入手去改造大数据业务呢?我整理了一下,一个大数据应用的一个完整流……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:61次

  • 谈大数据时代下的数据治理

    谈大数据时代下的数据治理

    2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划……查看详情

    发布时间:2019.01.03来源:亿信华辰浏览量:71次

  • 数据安全治理的基本思路

    数据安全治理的基本思路

    我们的世界正在进入一个奇怪的分裂状态:一方面人们为大数据时代即将在各个领域发生的革命性进步而激动难眠,另一方面人们也在为数据安全和隐私保……查看详情

    发布时间:2019.06.14来源:数据杂志浏览量:77次

  • 数据资产管理催动数据价值加快释放

    数据资产管理催动数据价值加快释放

    12月10日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会联合举办的“2019数据资产管理大会”在京召开。多位大数据行业专家……查看详情

    发布时间:2020.03.26来源:知乎浏览量:81次

  • 数据囤积日益增长的威胁

    数据囤积日益增长的威胁

    在数据丰富的环境中生活和工作的缺点之一是希望将所有最后的位和字节松开以备将来使用。得益于Amazon S3和Hadoop等廉价存储系统,……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:69次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议