大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:165次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 运用大数据加快推进科技治理能力现代化

    运用大数据加快推进科技治理能力现代化

    习近平总书记指出:“要运用大数据提升国家治理现代化水平。要建立健全大数据辅助科学决策和社会治理的机制,推进政府管理和社会治理模式创新,实……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:129次

  • 一个平台搞定数据治理,助力全国统一大市场建设

    一个平台搞定数据治理,助力全国统一大市场建设

    建立健全全国性技术交易市场,完善知识产权评估与交易机制,推动各地技术交易市场互联互通。完善科技资源共享服务体系,鼓励不同区域之间科技信息……查看详情

    发布时间:2022.06.02来源:小亿浏览量:167次

  • 世界各地的组织如何处理数据治理

    世界各地的组织如何处理数据治理

    在2019年G20大阪峰会召开的同时,我很幸运能够在整个六月的整个月里在东京办公室工作。这是一个有趣的事件,引起我注意的主要议题之一是“……查看详情

    发布时间:2019.07.11来源:知乎浏览量:144次

  • 中小银行数据治理难点在哪儿?

    中小银行数据治理难点在哪儿?

    银行数字化转型是银行业伴随金融科技发展的必然趋势,而数据治理是实现银行数字化转型的基础。……查看详情

    发布时间:2019.12.13来源:CSDN浏览量:166次

  • 数据质量及数据质量管理一个较全面的介绍

    数据质量及数据质量管理一个较全面的介绍

    很多企业数据项目的失败归根结底都是数据质量不高造成的。数据质量不高已经成为困扰此类项目的开发人员与用户的一个严重问题。为了提高大家对数据……查看详情

    发布时间:2020.01.09来源:CSDN浏览量:143次

  • 治理成熟度差距以及如何克服它

    治理成熟度差距以及如何克服它

    了解您在真正的IG成熟度方面的立场,并在自己和团队中识别变革的阻力。不要回避要求定期审核和验尸以评估进度和后续步骤。通过具体信息,您可以……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:142次

  • 医疗数据治理在大数据分析中的作用

    医疗数据治理在大数据分析中的作用

    数据治理对医疗保健组织意味着什么?为什么在进行大数据分析之前掌握它至关重要?数据一直是医疗保健行业的生命线。从血压读数和手术记录到保险索……查看详情

    发布时间:2018.11.19来源:Thinkstock浏览量:151次

  • 企业数据资产管理应该如何做?

    企业数据资产管理应该如何做?

    定义与提出:国外对“数据资产管理”的定义为:数据资产管理是规划、控制和提供数据及信息资产的一组业务职能,包括开发……查看详情

    发布时间:2020.08.14来源:知乎浏览量:161次

  • 元数据管理在数据仓库中的应用

    元数据管理在数据仓库中的应用

    随着业务系统每年收集和使用的数据飞速增长,数据体量日趋增长,数据形态多样化且不统一,多种数据源之间的采集、传播和共享遇到困难。元数据管理……查看详情

    发布时间:2022.05.06来源:小亿浏览量:225次

  • 管理数据与拥有数据一样重要:关注数据治理和数据质量

    管理数据与拥有数据一样重要:关注数据治理和数据质量

    在许多人看来,数据 - 干净,清晰和准确的数据 - 统治着宇宙。然而,当数据质量较差时,企业及其客户都会受到影响。即使数据是原始数据,糟……查看详情

    发布时间:2019.09.20来源:知乎浏览量:175次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议