大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:165次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 金融服务的数据治理2.0

    金融服务的数据治理2.0

    随着金融服务业面临特别的压力,数据驱动型业务的变化速度正在增加。对于银行,信用卡,保险,抵押贷款公司等,必须正确地进行数据治理。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:133次

  • 什么数据可以成为“数据资产”

    什么数据可以成为“数据资产”

    什么数据可以成为数据资产?可作为“资产”的数据资源,表现为以下两种形式:可帮助现有产品实现收益的增长;数据本身可产生价值。……查看详情

    发布时间:2021.09.01来源:亿信华辰浏览量:355次

  • 大数据时代企业为什么需要数据治理吗?

    大数据时代企业为什么需要数据治理吗?

    如今数字化转型正在各行各业中迅速发展,以数据、流量、知识为主大数据时代已经到来,对于一个企业来说,要实施数字花和大数据战略,数据治理更为……查看详情

    发布时间:2019.07.18来源:知乎浏览量:143次

  • 数据治理、共享交换、数据仓库、数据中心的关系

    数据治理、共享交换、数据仓库、数据中心的关系

    建数据中心离不开数据,以前设计数据库都是从事务性数据库考虑(做的都是业务系统,思维模式太固定了),没有从数据仓库的角度来统管分析。以下是……查看详情

    发布时间:2019.08.07来源:CSDN浏览量:210次

  • 数据治理—构建你的数据屏障

    数据治理—构建你的数据屏障

    在快速发展的技术,大数据和高级分析的时代,数据治理在每个组织中都发挥着至关重要的作用,无论规模大小或行业如何。从定义元数据管理指南,到解……查看详情

    发布时间:2019.06.28来源:知乎浏览量:131次

  • 世界各地的组织如何处理数据治理

    世界各地的组织如何处理数据治理

    在2019年G20大阪峰会召开的同时,我很幸运能够在整个六月的整个月里在东京办公室工作。这是一个有趣的事件,引起我注意的主要议题之一是“……查看详情

    发布时间:2019.07.11来源:知乎浏览量:138次

  • 使我们的国家数据资源现代化:永无止境的挑战

    使我们的国家数据资源现代化:永无止境的挑战

    澳大利亚统计局,包括其前身组织,已经为澳大利亚社区提供了超过110年的优质可靠数据。……查看详情

    发布时间:2019.03.07来源:亿信华辰浏览量:132次

  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    有效的数据治理也是一个持续的过程。政策定义,审查,调整和审计以及合规审查和质量控制都会作为数据治理生命周期经常受到影响或重复。因此,数据……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:140次

  • 构建业务术语表可以增强数据治理

    构建业务术语表可以增强数据治理

    专家表示,数据专业人员负责在整个组织内建立一个通用词汇表,以帮助确保数据治理成功和遵守GDPR。……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:195次

  • 谈谈工业企业数据治理建设的趋势

    谈谈工业企业数据治理建设的趋势

    工业企业数据环境复杂,数据类型多、产生速度快、数据量大、数据质量不高、数据人才匮乏,因此如何发挥和挖掘数据要素的价值成为当代企业关注的话……查看详情

    发布时间:2022.06.28来源:互联网浏览量:373次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议