数据质量问题分析

发布时间:2019.01.07来源:亿信华辰浏览量:61次标签:数据治理


数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。

1、技术问题

由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:

数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;

数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;

数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;

2、信息问题

由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。

元数据描述及理解错误中的相关元数据主要包括:

业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;

技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。

数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。

3、流程问题

由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:

创建流程质量问题主要指操作员数据录入时缺乏审核流程;

传递流程质量问题主要指通信流程沟通不畅;

装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;

使用流程质量问题主要指数据使用流程缺乏流程管理;

维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;

4、管理问题

由于人员素质及管理机制方面的 原因 造成的数据质量问题如:

数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。

没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责

没有明确的数据质量目标;

缺少管理数据质量的管理办法等。

此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据囤积日益增长的威胁

    数据囤积日益增长的威胁

    在数据丰富的环境中生活和工作的缺点之一是希望将所有最后的位和字节松开以备将来使用。得益于Amazon S3和Hadoop等廉价存储系统,……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:51次

  • 数据交换如何“主动出击”?

    数据交换如何“主动出击”?

    传统的数据交换,一般说来是用户根据自身的数据抽取需求,配置好相关的设置,定义好数据抽取时间来进行数据交换。这是一种被动式的数据交换,如果……查看详情

    发布时间:2020.09.27来源:头条浏览量:51次

  • 8 项提高数据完整性的预防性措施

    8 项提高数据完整性的预防性措施

    仅使用一种方法几乎不可能将数据完整性风险降至最低,因此使用多种策略的组合是更好的选择。降低数据完整性风险的一些最有效方法包括8点。……查看详情

    发布时间:2021.07.07来源:亿信华辰数据治理知识库浏览量:362次

  • 4+7集采进入大数据时代,科技巨头驱动医药行业大变局

    4+7集采进入大数据时代,科技巨头驱动医药行业大变局

    未来的医疗大数据将影响整个医药产业格局。 根据国家医保局及“4+7”带量采购发布的文件,包括天津、大连、沈阳等城市药品带量采购细则……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:30次

  • 全球数据质量和数据治理解决方案市场

    全球数据质量和数据治理解决方案市场

    在企业数据管理生态系统中,数据质量是一个广义的术语,指的是数据和/或过程的质量,完整性和一致性等。数据质量还意味着数据准确性和一致性的程……查看详情

    发布时间:2019.07.11来源:知乎浏览量:35次

  • 企业做好数据治理才能更快更好地推进数字化转型

    企业做好数据治理才能更快更好地推进数字化转型

    企业做好数据治理才能更快更好地推进数字化转型数据治理之“困”在谈到当前的数据治理之“困”时,主要有四方面:……查看详情

    发布时间:2019.12.12来源:知乎浏览量:47次

  • 大数据元数据管理系统有哪些功能

    大数据元数据管理系统有哪些功能

    1、元数据模型的建立,定义元数据模型,清晰展现元数据需求。2、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。……查看详情

    发布时间:2021.08.17来源:亿信数据治理知识库浏览量:92次

  • 简明扼要的数据治理指南

    简明扼要的数据治理指南

    数据收集是企业执行的最重要的功能之一。通过获取有关您的客户,员工,财务等的数据,您可以确保轻松,可靠地访问有助于指导主要业务决策的信息。……查看详情

    发布时间:2019.07.04来源:知乎浏览量:49次

  • 数据治理治的是“数据”吗?

    数据治理治的是“数据”吗?

    数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,……查看详情

    发布时间:2020.07.07来源:知乎浏览量:43次

  • 强大的数据治理是机器学习成功的关键

    强大的数据治理是机器学习成功的关键

    人工智能和机器学习这两个术语通常被视为同一枚硬币的两面。尽管如此,虽然ML算法增强了AI功能,并使它们能够进行更多的尖端和智能计算,但还……查看详情

    发布时间:2019.01.17来源:数据治理浏览量:64次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议