大数据环境下数据质量管理面临的挑战

发布时间:2019.12.27来源:CSDN浏览量:176次标签:数据治理

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。


大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

大数据与传统数据特点对比

理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业数字化转型关键 ,数据治理需要关注什么?

    企业数字化转型关键 ,数据治理需要关注什么?

    2019年我国数字经济规模为35.8万亿元,产业数字化占数字经济的比例达到80.2%。新经济领域的高度数字化,通过传导至传统产业的转型升……查看详情

    发布时间:2020.11.08来源:知乎浏览量:160次

  • 银行业重塑数据治理体系 助力转型升级

    银行业重塑数据治理体系 助力转型升级

    银行业金融机构要深化认识,积极主动对接国家政策,改革数据治理体系,依靠数据治理改进决策、缩减成本、降低风险、增强核心竞争力,推动银行业向……查看详情

    发布时间:2019.10.18来源:知乎浏览量:164次

  • 大数据治理的新范例

    大数据治理的新范例

    大数据治理不是严格限制数据使用和文档,而是灵活,协作和高效。它使分析师参与而非分离,以获取他们的学习以加速生产准备。……查看详情

    发布时间:2018.12.26来源:亿信华辰浏览量:132次

  • 数据治理是中小银行决胜数字化转型成功的关键

    数据治理是中小银行决胜数字化转型成功的关键

    未来,银行的资产不是现金等实物,而是“数据”。因此有效的数据治理是银行实现数字化转型的基础。目前,中小银行在业务发展中逐渐积累了大量的内……查看详情

    发布时间:2019.12.13来源:知乎浏览量:146次

  • 数据治理那些事儿

    数据治理那些事儿

    业务分析师不得不对IT部门负责,因为他们不知道如何导航信息管理系统数据库,即使他们可以也不会被授予访问权限。IT部门打印出月度报告并分发……查看详情

    发布时间:2019.08.29来源:简书浏览量:163次

  • 大数据在应急管理中的应用——亿信华辰

    大数据在应急管理中的应用——亿信华辰

    随着互联网、社交媒体和人工智能的技术发展和应用普及,大数据在应急管理中发挥的作用将越来越重要,是应急管理未来发展的重要方向之一。……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:149次

  • 数据治理不应成为吞下难以接受的药物

    数据治理不应成为吞下难以接受的药物

    对于制药公司而言,数据治理是数据管理难题的关键部分。……查看详情

    发布时间:2019.01.17来源:亿信华辰浏览量:132次

  • 数据治理的注意事项

    数据治理的注意事项

    我看到组织在开始他们的数据治理之旅时犯的一个重大错误就是忘记了数据背后的基本原理。因此,不要仅仅治理治理。无论您是需要将风险降至最低还是……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:156次

  • 为什么应该让企业销售和营销团队参与数据治理

    为什么应该让企业销售和营销团队参与数据治理

    虽然在许多人看来,数据治理可能仅仅是IT部门的领域。但现实情况是,每个与客户相关的组织部门都应该参与进来。特别是应该鼓励销售和营销团队在……查看详情

    发布时间:2018.11.15来源:塞浦路斯浏览量:251次

  • 利用数据治理重新定义数据架构

    利用数据治理重新定义数据架构

    数据和数据管理的重要性,价值和责任正在迅速增加。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:184次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议