大数据环境下的数据质量管理策略

发布时间:2019.11.06来源:知乎浏览量:130次标签:数据治理

信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量管理体系,为信息系统提供高质量的数据支持。

数据质量管理
1、信息系统数据质量

信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言,进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切,对数据质量的要求也更为苛刻。

2、大数据环境下数据质量管理面临的挑战

随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。

大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。

由于以上特性,大数据的信息系统更容易产生数据质量问题:

(1)在数据收集方面,大数据的多样性决定了数据来源的复杂性。来源众多、结构各异、大量不同的数据源之间存在着冲突、不一致或相互矛盾的现象。在数据获取阶段保证数据定义的完整性、数据质量的可靠性尤为必要。

(2)由于规模大,大数据获取、存储、传输和计算过程中可能产生更多错误。采用传统数据的人工错误检测与修复或简单的程序匹配处理,远远处理不了大数据环境下的数据问题。

(3)由于高速性,数据的大量更新会导致过时数据迅速产生,也更易产生不一致数据。

(4)由于发展迅速,市场庞大,厂商众多,直接产生的数据或者产品产生的数据标准不完善,使得数据有更大的可能产生不一致和冲突。

(5)由于数据生产源头激增,产生的数据来源众多,结构各异,以及系统更新升级加快和应用技术更新换代频繁,使得不同的数据源之间、相同的数据源之间都可能存在着冲突、不一致或相互矛盾的现象,再加上数据收集与集成往往由多个团队协作完成,期间增大了数据处理过程中产生问题数据的概率。

3、数据质量管理策略

为了改进和提高数据质量,必须从产生数据的源头开始抓起,从管理入手,对数据运行的全过程进行监控,密切关注数据质量的发展和变化,深入研究数据质量问题所遵循的客观规律,分析其产生的机理,探索科学有效的控制方法和改进措施;必须强化全面数据质量管理的思想观念,把这一观念渗透到数据生命周期的全过程。

建立数据质量管理系统解决数据质量问题

下面介绍一款数据质量管理平台来解决数据质量问题

EsDataClean数据质量管理平台是亿信华辰自主研发的数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。


亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。

4 结语
数据质量管理贯穿数据生命周期的全过程,覆盖质量评估、数据监控、数据探查、数据清洗、数据诊断等方面。数据源在不断增多,数据量在不断加大,新需求推动的新技术也不断诞生,这些都对大数据下的数据质量管理带来了困难和挑战。因此,数据质量管理要形成完善的体系,建立持续改进的流程和良性机制,持续监控各系统数据质量波动情况及数据质量规则分析,适时升级数据质量监控的手段和方法,确保持续掌握系统数据质量状况,最终达到数据质量的平稳状态,为业务系统提供良好的数据保障。 
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 定义数据治理:什么是数据治理?

    定义数据治理:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理时,许多组织都在努力。……查看详情

    发布时间:2019.01.23来源:亿信华辰浏览量:136次

  • 主数据管理主要管理哪些数据?

    主数据管理主要管理哪些数据?

    主数据主要管理多百个业务系统中共享的重要数据,比如公司组织架度构、物料编号、客户资料等等数据,国知辰机器人的主数据管理系统(MDM)能够……查看详情

    发布时间:2020.04.29来源:知乎浏览量:129次

  • 创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    创新者的破局之路:煤炭行业首个集团级数据治理项目落地

    工业互联网激起能源领域一池春水,新一代信息技术则是其不断发展的加速器。山东能源集团下属临沂矿业集团有限责任公司(以下简称临矿集团)率先在……查看详情

    发布时间:2021.01.29来源:头条浏览量:136次

  • 企业如何有效进行数据治理

    企业如何有效进行数据治理

    如果你处理或使用过大量数据,一定有听到过“数据治理”这个词。你会思考数据治理是什么?……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:116次

  • 数据交换平台的功能结构设计与实现

    数据交换平台的功能结构设计与实现

    数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按……查看详情

    发布时间:2020.08.06来源:知乎浏览量:198次

  • 多措并举提升银行业数据治理能力

    多措并举提升银行业数据治理能力

    数据治理是银行业高质量发展的必由之路,当前银行业的数字化转型面临一些挑战和不足,要从建立数据治理架构、统一数据标准、加强数据分析应用等方……查看详情

    发布时间:2019.12.13来源:知乎浏览量:112次

  • 强大的数据治理是机器学习成功的关键

    强大的数据治理是机器学习成功的关键

    人工智能和机器学习这两个术语通常被视为同一枚硬币的两面。尽管如此,虽然ML算法增强了AI功能,并使它们能够进行更多的尖端和智能计算,但还……查看详情

    发布时间:2019.01.17来源:数据治理浏览量:125次

  • 数据治理准备的五大支柱:倡议赞助

    数据治理准备的五大支柱:倡议赞助

    “Facebook是全球数据治理的核心。”3月19日“华尔街日报”的一篇文章总结了我们所处的位置。在通用数据保护法规(GDPR)生效仅两……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:132次

  • 数据治理治什么?在哪治?怎么治?

    数据治理治什么?在哪治?怎么治?

    数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,……查看详情

    发布时间:2020.06.24来源:知乎浏览量:78次

  • 一文搞懂数据质量问题及对应的解决办法

    一文搞懂数据质量问题及对应的解决办法

    通过数据分析、数据评估、数据清洗、数据监控、错误预警等内容,解决数据质量问题,使数据的质量得以改善,使其满足数据需求方对数据质量的规则要……查看详情

    发布时间:2019.11.05来源:知乎浏览量:846次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议