大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:172次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 通往更安全,更好数据的途径

    通往更安全,更好数据的途径

    企业在建立监督数据运营的理事会时面临的最大问题之一是原始事实和数据很少为分析做好准备。……查看详情

    发布时间:2019.04.03来源:亿信华辰浏览量:120次

  • 医疗保健中数据治理的7个基本实践

    医疗保健中数据治理的7个基本实践

    数据现在是任何组织中最有价值的资产之一,尤其是医疗保健,因为我们正在转向更具分析性的行业。数据现在是任何组织中最持久的资产,超过设施,设……查看详情

    发布时间:2018.11.16来源:戴尔桑德斯浏览量:132次

  • 企业如何进行数据资产管理

    企业如何进行数据资产管理

    大数据离不开计算和存储,因此大数据建设与成本强挂钩。大数据需要耗费大量的计算存储资源,如果没有合理的资产管理,很可能在大数据还没来得及发……查看详情

    发布时间:2020.08.28来源:知乎浏览量:117次

  • 数据质量对区块链的重要性

    数据质量对区块链的重要性

    区块链应该显着提高数据质量。所有这些都与所有权有关,他指出 - 无论是金钱,房地产还是其他任何东西 - 以及它的转移,以及如何记录这些数……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:156次

  • 数据治理如何推动医疗大数据的发展

    数据治理如何推动医疗大数据的发展

    数据治理是一种管理数据的方法,允许组织平衡两个需求:收集和保护信息的需求,同时从信息中获取价值。但它远不止于此。医疗大数据其中的健康数据……查看详情

    发布时间:2019.08.15来源:知乎浏览量:152次

  • 如何避免先污染后治理,浅谈数据标准管理的应用

    如何避免先污染后治理,浅谈数据标准管理的应用

    数据质量的提升作为数据治理环节中非常重要的一环,我们的确需要重视,但是我们知其然,还要知其所以然,从数据质量问题出发,我们还得知道到底为……查看详情

    发布时间:2019.12.13来源:亿信华辰浏览量:123次

  • 数据治理成功要素:制定数据质量管理办法及标准

    数据治理成功要素:制定数据质量管理办法及标准

    数据质量管理是指为了满足信息系统的需要,对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,……查看详情

    发布时间:2022.02.25来源:小亿浏览量:301次

  • 大数据时代如何做好数据治理

    大数据时代如何做好数据治理

    企业在建制大数据平台的同时,对进入数据湖的数据进行梳理,并按照数据资产目录的形式对外发布。在发布数据资产之后,则对进出数据湖……查看详情

    发布时间:2018.12.10来源:数据治理浏览量:125次

  • 当今困扰企业的三个最常见的数据问题

    当今困扰企业的三个最常见的数据问题

    各组织都在发生数据危机。虽然存在缺陷,但传统的数据管理方法(ETL和MDM)运行良好,因此可以产生一些数据感。但是数据收集的增长速度远远……查看详情

    发布时间:2019.02.13来源:企业浏览量:134次

  • 为什么组织需要可靠的数据治理策略

    为什么组织需要可靠的数据治理策略

    数据管理已经从仅由IT部门访问的集中数据发展为存储在数据仓库中的大量数据。输入数据治理。……查看详情

    发布时间:2019.01.17来源:数据治理浏览量:145次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议