大数据环境下数据质量管理面临的挑战
发布时间:2019.12.27来源:CSDN浏览量:114次标签:数据治理
大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。
由于以上特性,大数据的信息系统更容易产生数据质量问题:
(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。
大数据与传统数据特点对比
理,远远处理不了大数据环境下的数据问题。
(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。
(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。
(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。
-
银行业重塑数据治理体系 助力转型升级
银行业金融机构要深化认识,积极主动对接国家政策,改革数据治理体系,依靠数据治理改进决策、缩减成本、降低风险、增强核心竞争力,推动银行业向……查看详情发布时间:2019.10.18来源:知乎浏览量:79次
-
数据治理金融行业解决方案
我国银行数据现状1、缺乏数据梳理,造成行领导看到的数据相互冲突和矛盾 2、业务职能不清晰或相互重叠,观察数据视角不尽相同,缺少数据标准与……查看详情发布时间:2019.08.26来源:知乎浏览量:92次
-
对于制药公司而言,数据治理不应成为吞下难以接受的药物
制药和生命科学公司面临着许多与其他行业相同的数字转型压力,例如我们之前探讨过的金融服务和医疗保健。作为回应,他们正在转向高级分析平台和基……查看详情发布时间:2018.12.06来源:迈克尔帕斯托雷浏览量:72次
-
数据治理方案有哪几个步骤?
随着业务发展,公司对数据应用使用场景越来越多,数据也会随着业务快速增长,随之而来,数据质量、数据存储、数据模型建设等使用规范上都会出现一……查看详情发布时间:2022.03.15来源:小亿浏览量:474次
-
为什么数据治理会带来数据驱动的成功
通过寻找创造价值和改进执行的新方法,各种形式和规模的组织都在积极地采用数据驱动的方法,这些方法可以通过分析的进步来实现。……查看详情发布时间:2019.01.26来源:亿信华辰浏览量:74次
-
数据治理:医院要平衡的4个考虑因素
电子健康倡议基金会,一个专注于质量和安全改进的医疗保健合作,以及LexisNexis Risk Solutions的医疗保健部门,于8月……查看详情发布时间:2018.11.27来源:Jessica Kim Cohen浏览量:51次