如何保证数据质量?针对性业务方面的数据质量如何提升

发布时间:2019.11.15来源:知乎浏览量:1次标签:数据治理

平时企业都会处理数据质量的问题,越来越能够懂得数据库整套系统的运行模式和模型概念,深深觉得数据挖掘的本质其实不仅仅是从海量的数据中发现有效的,有用的,有目的性的数据,深入来说,如果大数据平台里的数据质量根本无法保证,那么数据挖掘就是毫无意义的,命中率和精确度根本没有参考价值。但是问题就出在这里,外围系统抽取隔离的数据,要怎么样清洗和梳理才能够在数据的源头上尽可能的提高数据质量?不可能每个人都懂业务,对针对性业务方面的数据质量如何提升。

每个企业都会存在数据质量问题。所有人都知道数据分析、数据挖掘的80%工作量都在数据处理上。但是与数据分析、数据挖掘红得发紫的热度相比,数据处理显得冷清多了。

业务数据的生命周期说起。

数据的流转分为四个步骤:数据的产生、存储、加工和使用。

数据质量在这四个环节均会产生。所以需要有不同的手段。


在各个环节控制质量的最开始,我们需要对数据质量管理进行标准定义处理。即对元数据进行梳理,并按照元数据管理理念,对各个环节的数据进行管控。在此只探讨结构化数据,非结构化数据可以结构化之后再以此法继续。

0、元数据管理

元数据管理简单来说,就是建立一套标准的指标(度量)、口径(维度)等体系,建立相关的单位、分组等支撑信息。目的是保证各环节的数据一致性和统一性。

1、数据产生阶段的质量管理手段

方法:控制输入

尽可能的使用非开放式的输入手段,如下拉菜单、单复选框、时间控件、标签(支持自定义学习型)等。必须开放的输入部分,进行必要的校验。

互联网行业的log数据质量之高,简直不需要进行此步骤的管理!可以说互联网的log分析直接推动了大数据分析发展的进程。

2、数据存储阶段的质量管理手段

方法:数据统一在数据结构设计时,就应该按照标准对相同含义的字段统一命名、格式、精度等,排除数据的歧义。

3、数据加工阶段的质量管理手段

方法:数据清洗数据加工阶段的目的非常明确,但数据问题繁多,不同的问题需要使用不同的手段处理,详细操作手段见另外一个回答:数据挖掘中常用的数据清洗方法有哪些?

4、数据使用阶段的质量管理手段

数据使用阶段还需要质量管理?当然!无论是在数据分析还是数据挖掘之后,结果自然是要保存下来的,此时的数据仍然要按照标准,进行规范的管理,无论是存储结果的表名,还是字段、格式等。此外,在数据分析、挖掘的时候,也会有新的数据产生,此时依然需要进行标准化之后进行统一管理。

5、数据质量的持续监控和完善

数据质量管理并不是一个流程做完就结束了。如同戴明环一样,数据质量同样要建立一个环,不断发现问题,弥补问题。在各个环节新发现的各种问题,定期进行分析,确定应对方案,并加以改进。质量乃数据之根本,没有质量,数据便不可信,在此之上的数据分析、数据挖掘更是一纸空谈,甚至是大谬论。

工欲善其事,必先利其器,检测之前咱们有必要对检测工具有基本的认知:


亿信数据质量管理平台提供从标准定义、质量监控、绩效评估、质量分析、质量报告、重大问题及时告警、流程整改发起、系统管理等数据质量管理全过程的功能。通过事先定义好的规则、调度时间、工作流程,自动完成数据的质量检查,极大的减少人力的投入和过程干预,提升效率,减少误差。 同时遇到重大问题能够及时警告,对质量检查的结果提供多方式(界面、邮件、短信)告警,让用户及时了解到系统检查结果,避免重大问题的延误。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理—这些你应该清楚

    数据治理—这些你应该清楚

    我看到组织在开始他们的数据治理之旅时犯的一个重大错误就是忘记了数据背后的基本原理。因此,不要仅仅治理治理。无论您是需要减少风险或最大限度……查看详情

    发布时间:2019.03.14来源:亿信华辰浏览量:1次

  • 数据治理研究述评

    数据治理研究述评

    数据治理是数据科学时代关注的研究课题,对数据治理的概念、体系、内容和应用的相关研究进行述评,以期将数据治理研究引向深入。……查看详情

    发布时间:2019.08.27来源:南京大学信息管理学院浏览量:1次

  • 典型技术架构的分析和构建——《企业大数据实践路线》

    典型技术架构的分析和构建——《企业大数据实践路线》

    可能听了我的分享或者别人的分享,大家都会跃跃欲试。我们需要从哪一个方面去入手去改造大数据业务呢?我整理了一下,一个大数据应用的一个完整流……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:2次

  • 数据治理——银行将被如何规范?

    数据治理——银行将被如何规范?

    我们认为,此番对数据治理的指引,未来可能会被其他金融监管机构作为范本,约束互联网金融或其他业态的数据治理行为,因此,具有学习和研究价值。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:1次

  • 走向人工智能治理的趋势

    走向人工智能治理的趋势

    这是人工智能(AI)驱动的自动化和自动机器的时代。自我改进,自我复制,自主智能机器日益普及和迅速扩大的潜力刺激了网络空间,地球空间和空间……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:2次

  • 企业做好数据治理才能更快更好地推进数字化转型

    企业做好数据治理才能更快更好地推进数字化转型

    企业做好数据治理才能更快更好地推进数字化转型数据治理之“困”在谈到当前的数据治理之“困”时,主要有四方面:……查看详情

    发布时间:2019.12.12来源:知乎浏览量:1次

  • 大数据技术学习,深度挖掘大数据的现状分析

    大数据技术学习,深度挖掘大数据的现状分析

    企业级技术 = 艰苦的工作 其实大数据有趣的是它不是直接可以炒作的东西。 能够获得广泛兴趣的产品和服务往往是那些人们可以触摸……查看详情

    发布时间:2019.03.20来源:亿信华辰浏览量:3次

  • 金融服务数据治理:帮助价值'新货币'

    金融服务数据治理:帮助价值'新货币'

    对于在金融服务领域运营的组织,数据治理变得越来越重要。当金融服务行业董事会成员和高管在2018年初聚集在安永的金融服务领导峰会时,数据是……查看详情

    发布时间:2019.01.21来源:亿信华辰浏览量:2次

  • 数据治理的发展历程

    数据治理的发展历程

    数据治理技术的发展使得其中最好的技术为组织的数据景观提供了完全的透明性,并为业务用户在搜索、访问和应用数据时提供了一种方便快捷的体验。……查看详情

    发布时间:2018.11.19来源:艾米丽华盛顿浏览量:3次

  • 睿治数据治理平台通过安可测试可在联合攻关基地公共服务平台查询

    睿治数据治理平台通过安可测试可在联合攻关基地公共服务平台查询

    习总书记指出,“没有网络安全,就没有国家安全”。保障网络安全、信息安全已成为事关国家安全的重大战略问题。为了响应习总书记的号召,睿治数据……查看详情

    发布时间:2019.11.13来源:小亿浏览量:2次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议