数据质量问题的影响因素

发布时间:2020.04.09来源:百度浏览量:447次标签:数据治理

数据质量反映的是数据的“适用性(fitness for use)”,即数据满足使用需要的合适程度。数据质量通过完整性、一致性、准确性、及时性、合法性等多类维度对数据进行度量。数据质量管理的目的是为企业提供洁净、结构清晰的数据,是企业开发业务系统、提供数据服务、发挥数据价值的必要前提,是企业数据资产管理的前提。

数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。如下图所示。

信息问题域

信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。

技术问题域


技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容:

1、数据创建质量问题主要包括业务系统数据入库延迟、创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等。
2、数据获取质量问题主要包括采集点不正确、取数时点不正确以及接口数据在获取过程中失真。如,编码转换处理错误以及精度不够,导致指标统计结果不一致、数据无效等。
3、数据传递质量问题主要包括接口数据及时率低,接口数据漏传,网络传输过程不可靠,如包丢失,文件传输方式错误,传输技术问题,协议使用不当导致的数据不完整等。
4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。
5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。
6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。

流程问题域


流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于主题分析数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:

1、创建流程质量问题主要指操作员数据录入时缺乏审核流程;
2、传递流程质量问题主要指通信流程沟通不畅;
3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;
4、使用流程质量问题主要指数据使用流程缺乏流程管理;
5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;
6、稽核流程质量问题主要指缺乏数据错误反馈流程。

管理问题域


管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。

人员管理所产生的质量问题主要指:
(1)针对数据质量问题,没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责;
(2)没有明确的数据质量目标;
(3)主题分析数据的数据质量问题的优先级不够;
(4)企业缺少管理数据质量的管理办法等;

人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划。
上述数据质量问题的影响因素分析,从侧面展示了企业数据一次性达标的困难程度;也反映出关注数据质量的重要性、以及数据质量工作的零散和琐碎的特点。信息、流程和技术三个方面的数据质量问题相对来说,比较容易控制,有可能通过引入数据质量管理体系和数据质量管理系统得到改善;对于管理类的数据质量问题,往往与企业对数据的理解和支持程度紧密相关,需要从数据规划、数据治理的组织与职责、数据规范的制度和流程方面下功夫。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 构建成功的数据治理策略

    构建成功的数据治理策略

    随着组织继续努力解决他们的分析过程,他们开始意识到他们需要退后一步,从头开始重新思考他们的数据策略。当他们这样做,并从一开始就通过良好的……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:186次

  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    数据治理愈来愈受市场重视,那么做好数据治理就应该展开相关的策略。……查看详情

    发布时间:2018.12.26来源:亿信华辰浏览量:142次

  • 美国数据治理有何新动向?

    美国数据治理有何新动向?

    大数据时代,美国高度重视数据资源的战略价值,相继出台国家战略,落实配套措施,系统推动本国大数据发展。通过加强数据安全保护,完善个人信息和……查看详情

    发布时间:2018.10.10来源:中国信息通信浏览量:144次

  • 2019—开启你的数据治理道路

    2019—开启你的数据治理道路

    如今,数字系统正在生产越来越多具有公认价值的数据,数据治理正变得越来越受欢迎和必要。然而,并非所有数据都被视为相同。……查看详情

    发布时间:2019.06.28来源:知乎浏览量:123次

  • 大数据时代如何做好数据治理

    大数据时代如何做好数据治理

    企业在建制大数据平台的同时,对进入数据湖的数据进行梳理,并按照数据资产目录的形式对外发布。在发布数据资产之后,则对进出数据湖……查看详情

    发布时间:2018.12.10来源:数据治理浏览量:103次

  • 数据平台,数据中台是什么数据?

    数据平台,数据中台是什么数据?

    数据中台最核心的就是data API,它提供一个一个的可以复用的标准,这种数据服务给到业务系统。构建数据中台和构建数据平台也有很大的区别……查看详情

    发布时间:2021.01.23来源:知乎浏览量:128次

  • 构建业务术语表可以增强数据治理

    构建业务术语表可以增强数据治理

    专家表示,数据专业人员负责在整个组织内建立一个通用词汇表,以帮助确保数据治理成功和遵守GDPR。……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:192次

  • 提升数据治理能力,构筑共治共享行业新生态

    提升数据治理能力,构筑共治共享行业新生态

    夯实数据治理之基,构筑良好的银行业数字化生态,数据治理构建开放的金融新生态,数据治理数据已成为银行业未来致胜的核心“资产”和竞争力。……查看详情

    发布时间:2020.01.03来源:知乎浏览量:221次

  • 数据治理工作的难点主要体现在那些方面?

    数据治理工作的难点主要体现在那些方面?

    由哪个部门主导;人员应该怎样配置;各个数据治理角色的职责分别是什么。这些一定需要明确,一个职责分工明确的团队将更好的推进数据治理工作。建……查看详情

    发布时间:2019.09.18来源:知乎浏览量:167次

  • 数据治理与数据管理:有什么区别?

    数据治理与数据管理:有什么区别?

    如果今天有任何定义成功企业的东西,那就是公司数据的成功理解,使用和策略。……查看详情

    发布时间:2019.01.02来源:亿信华辰浏览量:144次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议