大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:171次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据资产管理实践白皮书(2.0版)

    数据资产管理实践白皮书(2.0版)

    本白皮书版权属于中国信息通信研究院云计算与大数 据研究所,并受法律保护。转载、摘编或利用其它方式使用 本白皮书文字或者观点的,应注明……查看详情

    发布时间:2019.09.02来源:中国信息通信研究院云计算与大数据研究所浏览量:454次

  • 大数据时代 这样炼钢——亿信华辰

    大数据时代 这样炼钢——亿信华辰

    铁流滚滚,四溅迸射出绚丽的火花。经过1个多小时的高温淬炼,高达1500摄氏度的铁水从出铁口喷涌而出,像一条火龙沿着沟槽蜿蜒流动。……查看详情

    发布时间:2019.02.12来源:亿信华辰浏览量:174次

  • 数据治理与数据质量有何不同?

    数据治理与数据质量有何不同?

    当下是一个大数据的时代,有越来越多的企业开始应用大数据来创造价值,为了能够充分的利用数据价值,企业需要对数据进行管理,当我们听到数据管理……查看详情

    发布时间:2019.07.26来源:知乎浏览量:157次

  • 为什么数据治理是数据管理的关键

    为什么数据治理是数据管理的关键

    如果要将数据用于战略业务决策,运营效率,增加盈利能力和增强增长,那么正确管理数据至关重要。管理不善的数据导致数据不信任,数据利用率很快就……查看详情

    发布时间:2019.06.18来源:知乎浏览量:126次

  • 如何开展企业ERP(SAP)数据治理工作?

    如何开展企业ERP(SAP)数据治理工作?

    在企业ERP数据治理这个范畴上,我们应该首先解决的是企业对其数据的了解和认知。由于IT系统数据模型反映了应用关系型数据库在数据存储及数据……查看详情

    发布时间:2019.01.07来源:飞鱼浏览量:164次

  • 浅析数据治理与数据安全治理的概念差异

    浅析数据治理与数据安全治理的概念差异

    当我们谈到数据资产的时候,想到最多的就是数据治理,接下来就是数据安全治理,那么这两者之间有什么区别和差异呢?……查看详情

    发布时间:2019.08.14来源:知乎浏览量:212次

  • 十大治理清单

    十大治理清单

    每年公司治理都会随着时代和投资者的需求而变化。今年,您的董事会应该关注几个趋势,以便始终领先于变革。……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:120次

  • 您是否与数据治理的战略转变保持一致?

    您是否与数据治理的战略转变保持一致?

    大多数企业都知道数据是收入增长和长寿的关键,并且他们必须找到一种方法来利用这些资产获取洞察力以获得竞争优势。……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:138次

  • 询问数据治理教练:数据湖上的数据治理?

    询问数据治理教练:数据湖上的数据治理?

    在没有首先理解数据的情况下将数据提取到数据湖中,这只是经常发生的许多数据治理错误之一。您可以在此处下载我的免费报告,找出最常见的错误,更……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:134次

  • 谈大数据时代下的数据治理

    谈大数据时代下的数据治理

    2013年被众多的IT人定义为中国的大数据元年,这一年国内的大数据项目开始在交通、电信、金融部门被广泛推动。各大银行对Hadoop的规划……查看详情

    发布时间:2019.01.03来源:亿信华辰浏览量:122次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议