高质量的数据一般包括哪些特征?

发布时间:2022.06.09来源:小亿浏览量:2965次标签:数据治理

基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是企业所收集的数据可能不完全,或者更新不及时。不完全的数据,特别是不准确的数据,可能会带来更危险的决策。但是,所收集的数据来源多样,种类丰富,也很容易出现同一个数据从不同的部门得到的数值不一样的情况。

一、高质量数据的六个特征

1、易用性

是指在指定条件下使用时,软件产品被理解、学习、使用和吸引用户的能力。对于数据来说,我认为数据的易用可以分为两方面:是否被需要、是否被理解。它更多的是和日常沟通、产品需求及规划相关。

是否被需要,意思是当前我们提供的数据,是否真的能够满足用户需要,数据的真正效果有没有达到。比如,我们给用户提供的是它自己品牌的数据,但用户可能更需要的是行业下的数据来做进一步的市场规划。

是否被理解,意思是当前我们对数据的定义是否是行业认可的,是否存在团队与团队之间、用户与开发者之间理解的不一致。

2、功能性

软件提供了用户所需要的功能。二级特性包括:适合性、准确性、互用性、安全性。对数据而言,个人觉得重要的应该属于准确性和安全性。

1)对于准确性,如果一句话概括就是,先数据要有,其次数据要全,后数据要准。

2)对于安全性,尤其是数据安全,命题也很大,这里不再赘述。但需要提的一点是,数据安全涉及到隐私或者差分攻击的预防,也可能是由业务同学考虑的范畴,所以在数据质量模型中不能忽视。

3、效率

是指在规定条件下,相对于所用资源的数量,软件产品是否在规定时间内可提供适当的性能的能力。比如计算倾斜或者计算资源不足导致数据产不出来。效率也是一种根因,终影响的还是功能性。

4、可靠性

在指定条件下使用时,软件产品维持规定的性能水平的能力。比如上游数据无法定时给出,依赖关系的强弱配置不正确,可能影响的就是数据无法定时产出。可靠性是一种根因,终影响的还是功能性。

5、可移植性

是指软件产品从一种环境迁移到另一种环境的能力,也是开发阶段主要考虑的。服务或者网站的可移植性大家了解比较多,数据的可移植性是指什么?我个人认为可移植性强调的更多是跨技术平台的移植,而不是模块间的数据复用。在数据上可能就是数据直接从一个计算平台迁移到另一个计算平台,或者SQL代码从一个计算平台迁移到另一个计算平台。

6、可维护性

是指是在修改或者新增需求时,当前的开发架构是否足够灵活的支持,是开发阶段主要考虑的。比如在数仓开发中,当新上游到来时,如果从下到上全部采用烟囱式开发,那对新增的需求必定是不友好的。如果改为Hub或者集市模式,可能只需要开发接入数据的ETL代码,剩下的完全可以复用,就是提升可维护性的一种手段。

二、提高数据质量的策略

1.建立数据的标准,明确数据的定义。

从整个企业的角度出发,建立统一的数据标准和数据定义,同时,整个企业必须就这个数据标准和数据定义达成共识。

2、建立一个可重复的数据收集、数据修改和数据维护流程。

数据管理面临的两个主要挑战是企业本身的复杂性和身份信息不断变化。这两个客观原因的存在意味着企业的数据质量保证行动永远没有结束之日,因此,企业在制订数据质量的保证措施和数据质量指标时,必须保证这些措施和指标能够不断重复。

3、在数据转化流程中设立多个性能监控点。

在数据发生转换后就与前一时期进行比较,从而对数据质量进行评估。如果此前所采用的数据质量改进方法有助于提高最终用户的满意度,那么,这些中间指标的达标也预示着项目的最终成功。

4、对流程不断进行改善和优化。

通过一个不断改进的流程,持续不断地排除错误、对数据进行整合和标准化,最后达到流程的自动化,从而降低数据质量保证计划的总体开销。

5、把责任落实到人。

对于负责数据的产生、数据的合理化以及对数据进行清理和维护的人员,应该给他们的活动制订明确的指标,这样他们才能真正理解人们到底希望他们达到什么目标。

三、数据质量管理工具有哪些?

亿信华辰自主研发的EsDataClean数据质量管理平台,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 关于数据治理的十件事

    关于数据治理的十件事

    数据治理是我们现在遇到的众多热门词汇之一。有人可能会说这是炒作,但我不这么认为。出于许多好的理由,这是我们的首要考虑,其中一些我们在下面……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:141次

  • 数据治理为什么成为企业必备?

    数据治理为什么成为企业必备?

    基本概念什么是数据治理?答:又叫”数据管控”。引用《DAMA数据管理知识体系指南》一书给出的定义:数据治理是对数……查看详情

    发布时间:2020.07.29来源:CSDN浏览量:153次

  • 数据管理的演进:从响应业务到创造业务

    数据管理的演进:从响应业务到创造业务

    企业对数据的利用有三个阶段:响应运营,响应业务,创造业务。数据中台解决的是响应业务的问题,第三阶段“创造业务”,则需要AI中台。……查看详情

    发布时间:2019.03.19来源:亿信华辰浏览量:103次

  • 克服数据管理成功的最大障碍

    克服数据管理成功的最大障碍

    随着数据治理的重要性不断提升,数据管理员可能成为您组织的无名英雄。你在做什么来支持他们?……查看详情

    发布时间:2019.03.25来源:亿信华辰浏览量:105次

  • 如何利用元数据管理数据资产

    如何利用元数据管理数据资产

    如今,各大企业都在关心数据该如何使用,但大数据应用的前提是有高质量的数据。而很多企业内部数据形态多样,标准不统一,大数据应用往往得从数据……查看详情

    发布时间:2020.11.05来源:知乎浏览量:91次

  • 金融服务的数据治理2.0

    金融服务的数据治理2.0

    随着金融服务业面临特别的压力,数据驱动型业务的变化速度正在增加。对于银行,信用卡,保险,抵押贷款公司等,必须正确地进行数据治理。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:107次

  • 数据治理如何推动医疗大数据的发展

    数据治理如何推动医疗大数据的发展

    数据治理是一种管理数据的方法,允许组织平衡两个需求:收集和保护信息的需求,同时从信息中获取价值。但它远不止于此。医疗大数据其中的健康数据……查看详情

    发布时间:2019.08.15来源:知乎浏览量:112次

  • 数据安全系列(一)之大数据安全管理体系

    数据安全系列(一)之大数据安全管理体系

    信息技术的快速发展和各种IT技术的广泛应用,企业越来越多的依赖于IT技术来支撑自己业务生产的正常运转。产生的大量数据,成为企业核心资产的……查看详情

    发布时间:2019.01.10来源:亿信华辰浏览量:146次

  • 数据治理-数据治理标准化的价值

    数据治理-数据治理标准化的价值

    标准的数据指标体系为各主题的数据分析提供支持,提升数据处理和分析效率,提供业务指标的事前提示、事中预警、事后提醒,实现数据驱动管理,帮助……查看详情

    发布时间:2020.11.08来源:知乎浏览量:98次

  • 2019年三种降低公司数据风险的方法

    2019年三种降低公司数据风险的方法

    企业家是自然风险承担者,风险是发展业务的必要条件。但是,一些风险不在商业领袖的控制范围之内,因此必须考虑这些外部因素,以确保企业的整体寿……查看详情

    发布时间:2019.01.03来源:数据治理浏览量:92次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议