良好数据治理的6步路线图
发布时间:2019.04.03来源:亿信华辰浏览量:161次标签:数据治理
今年早些时候,我们发现许多数据科学家将大部分时间花在“数据管理员”上 - 即分类和清理数据,而不是将其分析为可操作的见解。
该研究还发现,这类工作是数据科学家最不喜欢的,当分析技能最需要和供不应求时,这是一个值得关注的问题。正如CrowdFlower首席执行官Lukas Biewald所评论的那样,“你有最难雇佣的资源,他们大部分时间都在清理数据。这对组织来说是一种巨大的浪费。“
在依赖数据的自动化世界中,持续的数据管理至关重要。制定明确而全面的数据治理策略将有助于公司从中获得最佳效果 - 并且更好地使数据科学家能够专注于从所有数据中获取价值。
数据治理:成功的关键
良好的数据治理策略涵盖数据的存储,访问,刷新和使用方式 - 鉴于客户对隐私和个人数据问题的认识不断提高以及加强监管(例如欧盟新的通用数据保护法规),这一点也越来越重要(GDPR)。
在去年对我们研究报告的调查中感受到了热度:大数据逐渐消失,服务提供商将数据治理列为首要关注点。TM论坛常务董事Rob Rich也强调良好的数据治理是成功获取大数据的关键因素。Rob说:“数据治理从根本上讲是一门学科,其特点是在各组织之间部署一系列控制措施,以确保数据的完整性和信任。它包含一系列流程,确保数据资产在整个数据生命周期中受到正式管理,包括组织中所有部分的发现,评估,使用,改进,管理,维护和保护。它还定义了员工的责任和责任,当然还包括支持流程的工具和系统等技术。“
数据治理路线图
TM Forum的新数据治理功能和实施报告作为Frameworx 16的一部分发布,概述了实施有效数据治理的六步路线图。
定义并对齐
第一步是定义数据治理策略并使其与业务战略保持一致。您尝试解决的业务问题是什么?数据如何帮助您实现目标?
在感受到热度:大数据升空,Rob建议说,“数据治理计划应该从降低风险开始。最大限度地减少监管违规行为(例如,避免罚款和破坏品牌的宣传)至关重要,提高数据隐私和安全性也是至关重要的。它还应通过消除重复和返工来提高业务效率,并应通过明确分配数据元素的“所有者”来提高工作人员的效率。“
他补充说:“成功的计划确立了总体目标,但通常始于高优先级领域,如合规性,客户支持或业务敏捷性。”
角色和责任
下一步是定义数据治理的角色和职责。随着复杂的合作模式在数字生态系统中成为现实,数据的所有权和管理是监控和控制的关键因素。
例如,不同的数据类型可能需要不同的所有者。这意味着需要定义所有不同的数据类型以及数据操作模型。
Rob说,“整个组织的信息业务用户必须以协作的方式参与进来。毕竟,他们通常是数据的所有者和用户,但如果计划要保持势头,治理专业人员必须小心谨慎地关注商业利益,而不是让他们负担过重。“
政策和流程
接下来,重要的是概述管理数据的策略和流程,并将它们映射到角色和职责。首席数字官经常建立这些政策和程序。
组织使用的数据越来越多地由组织外部以及组织内部生成和消费。因此,需要定义和跟踪某种程度的质量(例如,第三方应用程序可以建立在城市的开放数据上)。例如,数据存储,格式化,元数据,安全性和合规性也需要清晰的流程。
测量和监控
您将如何跟踪进度并衡量有效的方法?是时候定义指标和测量方法了。
Rob解释说,“实际上,大数据分析的每个方面都取决于数据的准确性和可访问性。不幸的是,这些数据可以在服务提供商组织的每个角落中以各种可想象的格式找到,并且经常与来自其他来源的类似数据冲突。“因此,数据治理计划必须解决质量问题,并确保数据的可访问性和可用性,但它们必须先行走才能运行。在整个企业中建立一套商定的,共同的定义或数据架构,可以大大提高大数据的成功率。“
1、选择技术:一旦有了用于测量和监控数据治理的框架,您就可以为该工作选择合适的工具。
2、关闭循环:根据持续改进的精神,定期检查数据治理与业务目标的性能非常重要。
3、该数据管理职能和执行报告进一步详细概括了一些将需要确保一个全面的数据治理策略的过程。
-
全方位解读 | 了解数据治理、挑战及数据治理工具
早在 2000 年代初,企业就将数据视为公司的战略资产,以指导战略决策,促进实验学习和改进,并提供更好的业务成果。数据安全已成为企业的重……查看详情发布时间:2021.07.29来源:亿信数据治理知识库浏览量:155次
-
建设大数据平台,从“治理”数据谈起
大数据时代还需要数据治理吗?数据平台发展过程中随处可见的数据问题大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年……查看详情发布时间:2019.01.11来源:亿信华辰浏览量:93次
-
全球数据质量和数据治理解决方案市场
在企业数据管理生态系统中,数据质量是一个广义的术语,指的是数据和/或过程的质量,完整性和一致性等。数据质量还意味着数据准确性和一致性的程……查看详情发布时间:2019.07.11来源:知乎浏览量:75次
-
企业数据资产管理应该如何做?
定义与提出:国外对“数据资产管理”的定义为:数据资产管理是规划、控制和提供数据及信息资产的一组业务职能,包括开发……查看详情发布时间:2020.08.14来源:知乎浏览量:116次
-
数据治理,人工智能和医疗保健:令人兴奋的健康新世界
随着AI变得越来越普遍,对数据治理的需求也在增加。这是一个由政府确定的问题,因为它最近宣布了一个监督大量数据集的道德小组。2017年1月……查看详情发布时间:2019.03.12来源:亿信华辰浏览量:75次
-
理解和证明数据治理2.0
过去,证明数据治理的合理性是非常困难的。数据治理1.0的孤岛性质以及缺乏对增值的关注意味着买入率很低。……查看详情发布时间:2019.01.25来源:亿信华辰浏览量:135次
-
数据治理在有效合规计划中的作用
有效的合规计划由许多活动部分组成。关键数据来自运行操作所需的各种工具,文档,系统和技术。因此,企业在试图获得任何特定时间的风险状况的完整……查看详情发布时间:2018.12.20来源:亿信华辰浏览量:110次
-
深度思考:从BERT看大规模数据的无监督利用
在击败 11 个 NLP 任务的 State-of-the-art 结果之后,BERT 成为了 NLP 界新的里程碑, 同时打开了新的思……查看详情发布时间:2019.02.20来源:亿信华辰浏览量:172次