数据质量分析定义的六个阶段
发布时间:2019.12.06来源:知乎浏览量:108次标签:数据治理
(2)测量阶段(M阶段)。在定义出数据治理对象和内容后,需要选取以下若干个指标来作为数据质量评价指标,建立数据质量评估模型,对企业的数据进行评估和测量。常用的数据质量评价指标就是我们上述提到的:数据唯一性、数据完整性、数据准确性、数据一致性、数据关联性、数据及时性等。
(3)分析阶段(A阶段)。基于数据质量评估模型,执行数据质量分析任务,通过数据分析,找到发生数据质量问题的重灾区,确定出影响数据质量的关键因素。数据治理和大数据分析是密不可分的,数据治理的目标是提升数据质量从而提高数据分析的准确性,而大数据分析技术也可反向作用于数据治理,通过大数据分析算法和大数据可视化技术,能够更准确、更直观的定位到发生数据质量问题的症结所在。该阶段可以用的大数据技术包括:回归分析、因子分析、鱼骨图分析、帕累托分析、矩阵数据分析等。
(4)改进阶段(I 阶段)。通过制定改进管理和业务流程、优化数据质量的方案,消除数据质量问题或将数据质量问题带来的影响降低到最小程度。我们一直在强调数据质量的优化和提升,绝不单单是技术问题,应从管理和业务入手,找出数据质量问题发生的根因,再对症下药。同时,数据质量管理是一个持续优化的过程,需要企业全员参与,并逐步培养起全员的数据质量意识和数据思维。该过程主要用到方法:流程再造、绩效激励等。
(5)控制阶段(C阶段)。固化数据标准,优化数据管理流程,并通过数据管理和监控手段,确保流程改进成果,提升数据质量。 主要方法有:标准化、程序化、制度化等。
-
亿信华辰&东芝|拥抱智能制造,实现生产数据实时采集
在《中国制造2025》战略实施后,“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。离开生产数据采集,生产管理部门不能及时、……查看详情发布时间:2019.05.10来源:亿信华辰浏览量:86次
-
数据指标体系和数据治理的管理
我们提到过为什么要搭建指标体系,相信大家在看数据相关招聘岗位简介的时候,也经常看到有关搭建指标体系的要求,因此这里简单的给出两点做指标体……查看详情发布时间:2019.12.06来源:CSDN浏览量:97次
-
大数据资产管理总体框架概述
随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将被……查看详情发布时间:2019.02.21来源:知乎浏览量:242次
-
区块链和AI如何帮助掌握数据管理
主数据很容易成为企业拥有的最重要的资产之一。随着数字化的不断发展和第四次工业革命的到来,主数据的价值和主数据管理的重要性才会增长。在我们……查看详情发布时间:2019.07.11来源:福布斯浏览量:71次
-
数据整理——大数据治理的关键技术
数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面,如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据……查看详情发布时间:2019.11.21来源:CSDN浏览量:169次
-
深度思考:从BERT看大规模数据的无监督利用
在击败 11 个 NLP 任务的 State-of-the-art 结果之后,BERT 成为了 NLP 界新的里程碑, 同时打开了新的思……查看详情发布时间:2019.02.20来源:亿信华辰浏览量:154次
-
用于指导金融行业开展大数据基础平台建设技术类标准
技术类标准用于指导金融行业开展大数据基础平台建设。大数据技术本身涉及内容广泛,既包含大数据平台本身的基础软件和各类功能组件,又包括基于业……查看详情发布时间:2019.12.27来源:CSDN浏览量:94次
-
数据资产管理的发展趋势
随着数据资产管理生态系统的不断发展,现有的实践体系也在迅速发展,可以从数据对象、数据采集、处理架构、组织职能、管理手段和应用范围六个方面……查看详情发布时间:2020.09.11来源:知乎浏览量:120次
-
产生影响:数据治理和企业架构的失落艺术
看起来我们忙着跑步,以至于我们没有时间思考。我们希望更快,更快速,但我们甚至不确定我们想要实现的目标。这就像你办公室的人总是太忙,正在工……查看详情发布时间:2019.03.22来源:亿信华辰浏览量:85次