数据质量问题分析

发布时间:2019.01.07来源:亿信华辰浏览量:30次标签:数据治理


数据质量问题主要包含四个问题域:技术问题、信息问题、流程问题、管理问题。

1、技术问题

由于具体数据处理的各技术环节异常所造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。技术类数据质量问题产生的环节主要包括:数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面:

数据创建质量问题主要包括:创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等;

数据传递质量问题主要包括:接口数据及时率低、接口数据漏传、网络传输过程不可靠,如包丢失、文件传输方式错误、传输技术问题、协议使用不当导致的数据不完整等;

数据装载质量问题主要包括:数据清洗算法、数据转换算法和数据加载算法的错误;

2、信息问题

由于对数据本身的描述、理解及其度量标准的偏差而造成的数据质量问题。产生这类数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证、变化频度不恰当等。

元数据描述及理解错误中的相关元数据主要包括:

业务元数据——主要包括业务描述、业务规则、业务术语、业务指标口径等;

技术元数据——主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。

数据度量和变化频度提供了衡量数据质量好坏的手段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。

3、流程问题

由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程等各环节:

创建流程质量问题主要指操作员数据录入时缺乏审核流程;

传递流程质量问题主要指通信流程沟通不畅;

装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;

使用流程质量问题主要指数据使用流程缺乏流程管理;

维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;

4、管理问题

由于人员素质及管理机制方面的 原因 造成的数据质量问题如:

数据库设计原则不严谨,数据使用不规范导致的业务数据重复,数据不一致。

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。

没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责

没有明确的数据质量目标;

缺少管理数据质量的管理办法等。

此对数据质量产品的问题进行了部分的描述,高质量的数据都是一致的,差质量的数据却各有不同。可能因为行业的不同,数据的复杂程度不同,产生的问题也会各有差别。但都可以在四个问题域里找到对应的问题。所有这个总结,还是很全面的解释了相关数据质量产生的相关问题。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 从数据治理看医疗大数据的发展

    从数据治理看医疗大数据的发展

    《从数据治理看医疗大数据的发展》主要分享医疗大数据中数据治理的重要性,并结合具体案例来讲述大数据治理的框架和应用心得。……查看详情

    发布时间:2019.02.25来源:网络大数据浏览量:27次

  • Spring Boot、微服务架构和大数据治理三者之间的故事

    Spring Boot、微服务架构和大数据治理三者之间的故事

    微服务的诞生并非偶然,它是在互联网高速发展,技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。……查看详情

    发布时间:2019.01.07来源:亿信华辰浏览量:40次

  • 通用数据治理平台的功能模块

    通用数据治理平台的功能模块

    随着互联网与大数据技术的飞速发展,大数据已经融入到了各行各业。数据治理非常重要,已经逐渐成为了政府、企业进行智能化决策的重要手段。数据治……查看详情

    发布时间:2022.02.23来源:浏览量:96次

  • 数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向

    数据资产管理领域重要的三个方向包括:资产分析、资产治理、资产应用,并需要基于这三个方向的技术研究和实战,将流程、经验、标准和规范等产品化……查看详情

    发布时间:2020.11.06来源:知乎浏览量:15次

  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。此外,每当人们提起数据管理和数据治理……查看详情

    发布时间:2019.08.27来源:DAMS浏览量:24次

  • 数据治理和数据管理不可互换

    数据治理和数据管理不可互换

    从什么时候开始数据管理和数据治理可以互换? 这个问题让我感到困惑和沮丧。追求数据管理供应商与业务利益相关者建立联系,因为业务部门在决策……查看详情

    发布时间:2018.11.20来源:Michele Goetz浏览量:33次

  • 数据治理与IT治理的区别

    数据治理与IT治理的区别

    最近,我们一直专注于数据治理,从数据中获取最大价值并防止下一次重大漏洞,我们中的许多人忽略了IT治理基础,这有助于我们实现卓越的数据治理……查看详情

    发布时间:2018.11.15来源:Cindy Ng浏览量:41次

  • 四说大数据时代“神话”:从大数据到深数据

    四说大数据时代“神话”:从大数据到深数据

    为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:36次

  • 实施数据治理 - 学到3个主要经验教训

    实施数据治理 - 学到3个主要经验教训

    尽管数据治理在开发过程中可能会有些流动和迭代,但遵循最佳实践并设计精心定位的路线图有助于确保成功。……查看详情

    发布时间:2018.12.21来源:亿信华辰浏览量:45次

  • 打开大数据的正确方式——做减法

    打开大数据的正确方式——做减法

    随着数字技术的广泛应用,原本的新奇感已经荡然无存。创新领域内积年累月的争夺不断攫取着人们的时间和注意力,反而令用户感到信息过载、不堪重负……查看详情

    发布时间:2019.04.09来源:亿信华辰浏览量:32次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议