数据质量分析主要包括那些内容?
发布时间:2019.11.13来源:知乎浏览量:166次标签:数据治理
通常数据质量评估和管理评估需通过以下几个维度衡量。
数据质量评估
完整性 Completeness:完整性用于度量哪些数据丢失了或者哪些数据不可用。
规范性 Conformity:规范性用于度量哪些数据未按统一格式存储。
一致性 Consistency:一致性用于度量哪些数据的值在信息含义上是冲突的。
准确性 Accuracy:准确性用于度量哪些数据和信息是不正确的,或者数据是超期的。
唯一性 Uniqueness:唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。
关联性 Integration:关联性用于度量哪些关联的数据缺失或者未建立索引。
评估维度
配置管理 Config Management:此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范,即数据的计划、产生、变更直至消亡的过程中,与数据相关的计划、规范、描述是否收到控制。评估指标包括:评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。
培训 Training:此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要;受训的知识和技能是否经过审核和确认,受训的内容是否与企业文化和价值观一致;培训流程是否合理完善等;
验证和确认 Verify & Validation:此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品(数据)满足指定的要求、是否通过“确认”流程保证工作产品(数据)在计划的环境中满足使用的要求;“验证”和“确认”的流程是否完善;
监督和监控 Monitoring:此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度,会导致数据质量低下。监督和监控的流程是否完善。
亿信华辰EsDataClean数据质量管理平台,提供了业界领先的质量规则管理方法、质量评估方法、零编码质检规则、跨数据源比对、质量分析报告、数据质量整改、质量绩效评估等主要功能,以数据标准为数据检核依据,以元数据为数据检核对象,通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。
再获嘉奖!亿信数据质量管理平台荣获2019中国数据质量优秀产品奖
在整个数据治理环节,亿信数据质量管理平台从找到问题数据开始,控制数据质量,贯彻始终,全面提升数据的完整性、规范性、及时性、一致性,减少因数据不可靠导致的决策偏差和损失。
亿信华辰EsDataClean数据质量管理平台,智能纠错减少数据异常,让数据清澈如水.
-
企业架构组织的创新能力如何?
回想一下最新的企业架构文章,博客文章,甚至是你读过的职位描述,并算一下至少一次没有提到“创新”的内容?我猜测,“创新”往往被作为有效企业……查看详情发布时间:2019.02.26来源:亿信华辰浏览量:83次
-
数据管理自动化框架的五个好处
组织负责管理比以往任何时候都多的数据,使一个强大的自动化框架成为必要。但是自动化框架到底是什么,它又有什么关系呢?……查看详情发布时间:2019.02.13来源:亿信华辰浏览量:92次
-
数据治理的十五个最佳实践
数据治理研究所(DGI)认为,它是一套切实可行的框架,帮助任何组织的各种数据利益相关方识别并满足其信息需求。DGI认为,企业不仅需要管理……查看详情发布时间:2020.07.31来源:知乎浏览量:78次
-
数据清洗与数据治理的3个不同点
数据清洗,是指发现并纠正数据文件中可识别的错误的最后一道程序,是数据治理工作中必不可少的一项关键任务,是数据治理的子集.……查看详情发布时间:2021.04.09来源:亿信数据治理研究院浏览量:760次
-
数据质量是什么,企业数据质量分析怎么做?
现在大数据时代,数据充斥于我们的生活、工作、学习中。随着数据增加的来源和速度越来越多、越来越快,企业纷纷在努力的解决出现的这些问题,以及……查看详情发布时间:2019.09.26来源:数据分析网浏览量:56次
-
大数据技术学习,深度挖掘大数据的现状分析
企业级技术 = 艰苦的工作 其实大数据有趣的是它不是直接可以炒作的东西。 能够获得广泛兴趣的产品和服务往往是那些人们可以触摸……查看详情发布时间:2019.03.20来源:亿信华辰浏览量:76次
-
中国“大数据转型”引人关注:万亿市场可期 地方密集发力
以人工智能、大数据、云计算为代表的信息产业,正在成为地方经济发展的新亮点。以大数据产业为例,过去一段时间以来,各地已陆续释放了推动该产业……查看详情发布时间:2019.02.26来源:亿信华辰浏览量:79次