大数据环境下的数据质量管理策略

发布时间:2019.11.06来源:知乎浏览量:5次标签:数据治理

信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持。

数据质量管理
1、信息系统数据质量

信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言,进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切,对数据质量的要求也更为苛刻。

2、大数据环境下数据质量管理面临的挑战

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。

大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

(2)由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。

3、数据质量管理策略

为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据质量问题所遵循的客观规律,分析其产生的机理,探索科学有效的控制方法和改进措施;必须强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程。

建立数据质量管理系统解决数据质量问题

下面介绍一款数据质量管理平台来解决数据质量问题

EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。

4 结语
数据质量管理贯穿数据生命周期的全过程,覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多,数据量在不断加大,新需求推动的新技术也不断诞生,这些都对大数据下的数据质量管理带来了困难和挑战。因此,数据质量管理要形成完善的体系,建立持续改进的流程和良性机制,持续监控各系统数据质量波动情况及数据质量规则分析,适时升级数据质量监控的手段和方法,确保持续掌握系统数据质量状况,最终达到数据质量的平稳状态,为业务系统提供良好的数据保障。 
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 如何构建我国的数据治理体系

    如何构建我国的数据治理体系

    公司应该考虑它是否有数据治理政策,如果有,是否全面有效。数据治理政策已成为监管期望,作为核心质量体系政策之一。企业应根据对流程的理解和技……查看详情

    发布时间:2019.08.16来源:知乎浏览量:1次

  • 深入浅出元数据及元数据管理

    深入浅出元数据及元数据管理

    大数据时代下,数据已被公认为一项重要的资产。而元数据管理作为数据管理框架中一项重要的管理职能,也越来越多的出现在大家的视野中。但是对于元……查看详情

    发布时间:2019.10.24来源:亿信华辰浏览量:1次

  • 互联网企业数据治理决策要这么建

    互联网企业数据治理决策要这么建

    企业需要协调多个提供和使用数据的参与方之间发生的复杂关系,由于企业缺乏数据治理可能导致数据滥用/误用等破坏性后果,并导致市场失灵。传统的……查看详情

    发布时间:2019.08.19来源:CSDN浏览量:3次

  • 大数据治理需要具备哪些能力和关键技术

    大数据治理需要具备哪些能力和关键技术

    从企业的数据资产管理和提升数据质量等的数据应用上,大数据治理的内容在不断地发展和完善,在其落地实施的过程中面临着巨大的挑战。我们现在通过……查看详情

    发布时间:2019.08.13来源:知乎浏览量:1次

  • 金融行业数据治理的问题与对策

    金融行业数据治理的问题与对策

    银行数据治理工作不是个别部门或少数人员能够妥善完成的,而是需要各部门之间、各层级之间的相互支持与协作,尤其需要加强科技部门与业务部门之间……查看详情

    发布时间:2019.10.16来源:知乎浏览量:2次

  • 数据治理准备的五大支柱:交付能力

    数据治理准备的五大支柱:交付能力

    数据治理准备的五大支柱应成为实施或改进任何总体倡议的起点。……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:1次

  • 四说大数据时代“神话”:从大数据到深数据

    四说大数据时代“神话”:从大数据到深数据

    为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:4次

  • 以元数据为基础的数据治理策略

    以元数据为基础的数据治理策略

    数据是公司资产。为了更快地做出决策,用户必须信任它。数据治理打破了整个企业中不同系统的数据孤岛,并建立了一套流程,标准和策略,以使企业范……查看详情

    发布时间:2019.09.04来源:知乎浏览量:1次

  • 使用数据治理指导数据传输

    使用数据治理指导数据传输

    在过去几年中,我们一直迷恋于大量数据以及我们创建和收集新数据类型和来源的能力。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:4次

  • 中国地方政府数据治理机构的初步研究:现状与模式

    中国地方政府数据治理机构的初步研究:现状与模式

    立数据治理机构是中国地方政府迎接数字时代的一项重要治理创新。本文对近年来先后成立的地方政府数据治理机构的发展现状进行了详细梳理,对其隶属……查看详情

    发布时间:2019.02.25来源:电子政务网浏览量:1次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议