大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:213次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据科学的下一个「超能力」:模型可解释性

    数据科学的下一个「超能力」:模型可解释性

    很多人重视重视模型的预测能力,却忽略了模型可解释性的重要性,只知其然而不知其所以然。为什么说模型的可解释性这么重要呢?作者就 5 个方面……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:163次

  • 大数据时代下金融数据治理的问题

    大数据时代下金融数据治理的问题

    数据治理是一套完整的制度、指引和规范,用于统筹人员、流程以及技术等要素,使得商业银行能将数据作为企业的重要资产而有效利用,其核心内容是统……查看详情

    发布时间:2019.10.17来源:知乎浏览量:216次

  • 业务流程建模与标准操作过程之间的联系

    业务流程建模与标准操作过程之间的联系

    我们上周开始了一个关于业务流程(BP)建模及其在企业中的角色的新博客系列。本周的重点是业务流程建模和标准操作过程之间的联系。具体而言,使……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:175次

  • 当前数据治理存在哪些问题和困难?

    当前数据治理存在哪些问题和困难?

    数据治理不只是技术问题,更是一个管理问题。例如大家常见的项目管理系统只是一个工具,如何让项目管理工具与项目管理思想相匹配才是项目管理系统……查看详情

    发布时间:2020.04.09来源:知乎浏览量:190次

  • 数据治理准备的五大支柱:倡议赞助

    数据治理准备的五大支柱:倡议赞助

    “Facebook是全球数据治理的核心。”3月19日“华尔街日报”的一篇文章总结了我们所处的位置。在通用数据保护法规(GDPR)生效仅两……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:188次

  • 在抗灾中积累治理“大数据”

    在抗灾中积累治理“大数据”

    每一次应对灾害,无论是经验还是教训,都会构成全国其他地方“诊治”灾害的“大数据”参考……查看详情

    发布时间:2018.09.25来源:人民日报浏览量:143次

  • 数据清洗与数据治理的3个不同点

    数据清洗与数据治理的3个不同点

    ​数据清洗,是指发现并纠正数据文件中可识别的错误的最后一道程序,是数据治理工作中必不可少的一项关键任务,是数据治理的子集.……查看详情

    发布时间:2021.04.09来源:亿信数据治理研究院浏览量:1270次

  • 数据治理这项服务

    数据治理这项服务

    我们将再次讨论对有形资产和无形资产进行估值的讨论。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:178次

  • 数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下指标:,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。……查看详情

    发布时间:2019.11.07来源:知乎浏览量:444次

  • 数据治理没有权威定义

    数据治理没有权威定义

    数据治理没有权威定义,但在实践中,它要么是管理数据资产以确保可信度和责任的首要过程,要么是所述流程的最高级别,即制定决策和制定策略的流程……查看详情

    发布时间:2018.12.04来源:Daniel Howard,Philip Howard浏览量:150次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议