大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:179次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据都成为生产要素了?数据该如何治理?

    数据都成为生产要素了?数据该如何治理?

    先说说数据,其实现在说的数据和过去说的数据相比差别非常大,现在所说的数据不是一个静态文档,它是流动的数据,碎片化的数据,以各种各样的形式……查看详情

    发布时间:2020.11.23来源:知乎浏览量:277次

  • 企业数字化转型如何进行数据资源规划?

    企业数字化转型如何进行数据资源规划?

    企业主数据管理,就是将企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、……查看详情

    发布时间:2020.04.03来源:知乎浏览量:138次

  • 元数据到元数据治理,这一篇文章就够了

    元数据到元数据治理,这一篇文章就够了

    “元数据管理是企业数据治理的基础”,在数据治理战略实施的时候,这是我们经常会听到看到的一句话。但是,数据治理的概念在国内还并未普及,如何……查看详情

    发布时间:2020.08.14来源:亿信华辰浏览量:142次

  • 数据治理—设计利用数据

    数据治理—设计利用数据

    围绕数据使用创建系统和流程是一回事,但企业需要确保其基础架构和团队随时可以利用可用信息。……查看详情

    发布时间:2019.04.04来源:亿信华辰浏览量:133次

  • 数据资产管理直面企业痛点

    数据资产管理直面企业痛点

    企业日常经营活动中积累的大量数据,除了支持业务流程运转之外,越来越多地被用于帮助企业提升管理决策效率、实现价值挖掘和业务创新。企业日常经……查看详情

    发布时间:2020.09.11来源:知乎浏览量:168次

  • 通用数据治理平台的功能模块

    通用数据治理平台的功能模块

    随着互联网与大数据技术的飞速发展,大数据已经融入到了各行各业。数据治理非常重要,已经逐渐成为了政府、企业进行智能化决策的重要手段。数据治……查看详情

    发布时间:2022.02.23来源:浏览量:623次

  • 什么是主数据管理,主数据管理平台有哪些功能?

    什么是主数据管理,主数据管理平台有哪些功能?

    企业主数据指企业内一致并共享的业务主体。主数据具有准确性、一致性、集成性、共享性/可重用性和高价值的特点。它是能够在各个业务部门、业务系……查看详情

    发布时间:2022.05.27来源:小亿浏览量:215次

  • 金融业的数据治理重要开端:数据流入

    金融业的数据治理重要开端:数据流入

    随着科技的发展,当今社会已经进入到了信息时代的下一阶段,“数据时代”,大数据成为了众多行业的风口,数据自然而然便……查看详情

    发布时间:2019.01.04来源:尼锅浏览量:169次

  • 常见的主数据管理问题

    常见的主数据管理问题

    主数据管理,包括不仅仅是硬件和软件,还是将数据作为重要资产管理的思想和办法,是指一整套的用于生成和维护企业主数据的规范、技术和方案,以保……查看详情

    发布时间:2020.12.05来源:知乎浏览量:369次

  • 如何选择合适的企业数据治理工具

    如何选择合适的企业数据治理工具

    清楚了在数据治理工具选择中的应注意的6大问题,才能在着手选择企业数据治理工具之前就可以清楚地知道要如何去做筛选。……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:128次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议