数据治理标准：数据质量六大评价标准

一、什么是数据质量与管理？

众所周知，大数据建设的目标是为了融合组织数据，增加组织的洞察力和竞争力，实现业务创新和产业升级。因此，数据是企业数字化转型的核心要素，而数据能发挥价值的大小取决于其数据的质量高低。

数据质量指在业务环境下，数据符合数据消费者的使用目的，满足业务场景具体的需求。数据质量包含两个方面：数据的过程质量和数据自身的质量。数据的过程质量就是数据的使用过程符合标准规范，比如数据存储：数据是否被安全的存储到了合适的介质上，能够保证数据不受外来因素的破坏。除此之外还包括获取、传输、应用和删除等数据生命周期的各个阶段。数据自身的质量指数据必须真实准确地反映实际发生的业务，任何业务操作的数据都没有被遗漏，数据存在各种约束条件，这种约束条件不能自相矛盾等等。

数据质量管理指对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平确保数据质量的提升。数据质量管理是一个集方法论、管理、技术和业务为一体的解决方案，是一个不断循环的管理过程。一方面反映出数据质量的重要性以及数据质量工作的零散性和琐碎性；另一方面也反映出企业数据很难一次性就达到使用的标准规范，毕竟数据治理是一个相对漫长的过程。

二、数据质量评价标准

完整性：完整性可以从数据集完整性，架构完整性，属性完整性三个层面来理解。其中，数据集完整性是指数据集中应该出现而没有出现的数据成员的程度；架构完整性是指数据架构的实体和属性没有缺失的程度；属性完整性是指一张表中的一列没有缺失的程度，或者对于无效属性的度量。

准确性：用于描述数据是否正确。通常准确性是个综合性指标，由多个二级指标组成，二级指标需要通过业务规则先将错误数据定义出来，进而进行计算。

规范性：指数据符合数据模型、数据标准、元数据、业务规则或权威参考数据的程度。在实践中，通常如果企业在制定相关标准规范的时候考虑了国标和行业惯例，并且在实际落地时也进行了良好的管控，则规范性大部分都可满足，不需要额外定量测量。

一致性：一致性也可以从形式一致性、参照一致性、元素一致性三个视角来看。形式一致性，通常不做必须检查的要求，根据实际业务需求来判断；参照一致性是与值域表中的值不匹配的行数；元素一致性是指如城市名字和邮政编码应该是一致的，输入邮编就能自动匹配正确对应的城市名字。

时效性：需要用到输入时间、发布时间、敏感性指数、年限、波动时长等指标。这类复杂指标通常在企业里不会计算，通常用数据年龄就足够了。

可访问性：衡量获取数据的难易程度，强调了时间的重要性。这个指标权衡了用户需要数据的时间和提供数据所需的时间。如果一个数据消费者需要近5天的数据，而获取它也需要五天的时间，那么大概率这个数据对这位数据消费者是无效的。

三、睿治数据质量管理平台的作用

亿信华辰睿治数据治理平台的数据质量管理模块以全面质量管理PDCA循环管理方法为指导，充分结合国内数据质量管理工作的特点，运用数据挖掘、元数据管理、工作流、数据分析、评分卡、可视化等技术最终帮助企业和政府建立数据质量管理体系，全面提升数据的规范性、完整性、一致性、及时性、逻辑性等，降低数据管理成本，减少因数据不可靠导致的决策偏差和损失。

1、发现数据质量问题

灵活定义多模型质检方案，多点监测、多模型质检方案，高效调度，并发和串行处理相结合，性能高效，只需2分30秒，便可完成20条规则百万级数据的质量检查。

2、构建数据质量规则库

定义数据验证方法，内嵌空值检查、值域检查等13种检查规则，基本覆盖目前数据质量相关问题。

3、数据质量全流程管理

提供从质量监控、标准定义、质量分析、绩效评估、重大问题及时告警、质量报告、流程整改发起、系统管理等数据质量管理全过程的功能，不仅能发现问题、还能将问题分发给数据负责人、管理者，在线跟踪问题处理进展。

4、出具全面的“体检报告”

内置常规质检分析报告，实时可视化呈现质检结果，质检结果模型灵活扩展，充分利用了BI工具的分析展现能力，提供图文并茂的质量检查结果报告。