大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:440次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 数据太多、太乱、太差?你需要这样一套数据治理工具

    数据太多、太乱、太差?你需要这样一套数据治理工具

    为了规范数据处理过程,凸显数据业务价值,需对数据进行综合管理,构建标准化、流程化、自动化、一体化的数据治理体系,确保数据架构规划合理、数……查看详情

    发布时间:2021.07.16来源:亿信数据治理知识库浏览量:767次

  • 大数据治理的核心要素有哪些

    大数据治理的核心要素有哪些

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情

    发布时间:2019.10.21来源:知乎浏览量:653次

  • 打破数据治理:数据质量

    打破数据治理:数据质量

    任何数据驱动的计划的成功取决于该数据是否相关且值得信赖。随着越来越多的大学将数据视为负责任的战略规划和计划的关键,许多人都意识到:有些数……查看详情

    发布时间:2019.07.11来源:知乎浏览量:495次

  • 数据质量对数据治理的重要性!

    数据质量对数据治理的重要性!

    人常说“失之毫厘,差之千里”,在数据来源多样化的情况下,数据的可靠性和实用性,直接影响到统计分析是否得到正确的结论,所以说数据的质量尤为……查看详情

    发布时间:2019.11.01来源:知乎浏览量:568次

  • 数据管理如何支持数据隐私合规性

    数据管理如何支持数据隐私合规性

    已经具备数据治理能力的组织有一个坚实的开端,可以利用它促进数据隐私合规性的许多方面。 ……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:403次

  • 如何做好大数据的质量管理?

    如何做好大数据的质量管理?

    如今关于大数据的话题非常火热,关于但数据的质量问题也备受人们关注,有很多IT人士开始认为,在大数据的时代,只有对数据进行有效的管理,那么……查看详情

    发布时间:2019.07.26来源:知乎浏览量:424次

  • 如何选择正确的数据治理工具

    如何选择正确的数据治理工具

    通过选择和利用具有嵌入式质量控制的智能和工作流驱动的自助数据治理工具,您可以实施可扩展的信任系统。让我们探索一些方法来为您的团队找到合适……查看详情

    发布时间:2021.06.16来源:亿信数据治理知识库浏览量:470次

  • 数据质量—并非所有数据都是平等的

    数据质量—并非所有数据都是平等的

    数据质量是调节数据以满足业务用户特定需求的过程。准确性,完整性,一致性,及时性,唯一性和有效性是数据质量的主要衡量标准。……查看详情

    发布时间:2019.04.04来源:亿信华辰浏览量:457次

  • 数据治理和成熟度评估模型

    数据治理和成熟度评估模型

    成熟度评估没有“ 一种模式适合所有人 ”。……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:423次

  • 数据治理领军企业在中国

    数据治理领军企业在中国

    中国在大数据领域做得不错。中国人口多,数据就多,数据多就会呼唤更先进的数据处理技术,呼唤更多的数据应用场景,这是中国在数据方面得天独厚的……查看详情

    发布时间:2020.07.31来源:知乎浏览量:379次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议