如今企业面临哪些数据湖管理挑战?
发布时间:2020.04.02来源:知乎浏览量:91次标签:数据治理
但数据湖给企业数据管理的方方面面都带来挑战,包括数据治理。在开始讨论治理挑战前,我们有必要定义什么是数据湖:一种可容纳大量原始数据的数据平台,这些数据通常以其本机格式保留,直到需要用于分析。
传统的数据仓库将数据存储在关系表中,而数据湖则使用平面结构。每个数据元素被分配唯一标识符,并用一组元数据标签进行标记。这就是说,数据湖没有数据仓库那么结构化。在访问数据进行分析时,数据会被分类和整理,而不是在将数据加载到数据湖中时。
有效的数据治理使企业能够提高数据质量和一致性,并很大程度地利用数据进行业务决策,从而可以改善业务规划和财务绩效。数据治理的配套数据管理学科包括数据质量、元数据管理和数据安全性,所有这些因素都影响到数据湖治理。
现在,让我们看看下面5个数据湖部署中的数据治理挑战。
1.识别和维护正确的数据源
在很多数据湖部署中,源元数据没有被获取或根本不可用,这使得数据湖内容的有效性令人质疑。例如,可能未列出记录系统或数据集的业务所有者,或者显然冗余数据可能会给数据分析人员造成问题。至少应记录数据湖中所有数据的源元数据,并使用户可以使用它来了解其出处。
2.元数据管理问题
元数据为数据集内容提供背景信息,并且是使数据在应用程序中易于理解和可使用的重要组件。但是很多数据湖部署忽略了对收集的数据应用正确数据定义的需求。而且,由于原始数据通常被加载到数据湖中,很多企业没有采取步骤来验证数据或对其应用企业数据标准。缺少适当的元数据管理使得数据湖中的数据对分析的用处不大。
3.在数据治理和数据质量方面缺乏协调性
不协调的数据湖治理和数据质量工作会导致劣质数据进入数据湖。当这些数据用于分析并驱动业务决策时,这可能导致结果不准确,从而导致丧失对数据湖的信心以及整个企业对数据普遍不信任。有效的数据湖部署需要数据质量分析师和工程师与数据治理团队及数据管理员密切合作,以部署数据质量策略、分析数据并采取必要的措施来提高其质量。
4.在数据治理和数据安全方面缺乏协调性
在这种情况下,如果数据安全标准和策略未被正确纳入治理流程中,可能会导致无法访问受隐私法规和其他类型的敏感数据保护的个人数据。尽管数据湖旨在成为相当开放的数据源,但仍需要安全性和访问控制措施,并且,数据治理和数据安全团队应携手完成数据湖设计和加载过程,以及持续的数据治理工作。
5.使用相同数据湖的业务部门之间的冲突
不同部门对于相似数据可能具有不同的业务规则,这可能导致无法协调数据差异以进行准确的分析。完善的数据治理方案应具有对数据策略、标准、流程和定义的企业视角,包括企业业务词汇表,这可减少多个业务部门使用同一数据湖时出现的问题。如果企业有多个数据湖,则每个数据湖都应包含在数据湖治理流程中,并为其分配业务数据管理员。 总之,通过在数据湖的设计、加载和维护过程中加入强大的数据治理、元数据管理、数据质量和数据安全流程,并由所有这些领域的经验丰富的专业人员积极参与,可显着提高数据湖的价值。否则,你的数据湖可能会变成数据沼泽。
-
2021数据治理如何让数据产生价值
众所周知,2020年新冠疫情爆发以来,“健康码”已常态化的出现在大家的日常生活中,这个全民参与其中的数字化疫情防控手段背后正是“数据治理……查看详情发布时间:2021.04.14来源:亿信数据治理知识库浏览量:88次
-
数据治理的核心价值是什么
数据治理工作的初心与核心目标是解决数据价值路上的这些拦路虎,这是数据治理工作的挑战所在,也是价值所在。……查看详情发布时间:2021.04.02来源:数据治理研究院浏览量:108次
-
创新基础:智能数据治理是一项团队运动
对于任何希望创新其战略以提高运营效率,提高质量,优化人口健康管理或推动精准医疗的卫生系统而言,数据治理是必不可少的必备措施之一。……查看详情发布时间:2018.11.26来源:数据治理浏览量:79次
-
主动方法在数据治理的数据架构
“数据架构是业务战略的物理实现,” 全球数据战略有限公司 EMEA首席顾问NigelTurner在DATAVER……查看详情发布时间:2019.01.16来源:亿信华辰浏览量:67次
-
数据治理目标是什么?数据治理框架包括哪些方面?
数据治理涵盖了数据质量、数据建模和架构、数据存储、数据操作、商业智能、数据沿袭、文档、数据集成和数据安全等.制定数据治理计划前我们需要……查看详情发布时间:2021.07.22来源:亿信华辰数据治理浏览量:338次
-
4+7集采进入大数据时代,科技巨头驱动医药行业大变局
未来的医疗大数据将影响整个医药产业格局。 根据国家医保局及“4+7”带量采购发布的文件,包括天津、大连、沈阳等城市药品带量采购细则……查看详情发布时间:2019.03.28来源:亿信华辰浏览量:41次
-
在AHIMA的医疗保健信息治理框架内
医疗保健一直在与信息治理斗争。这并不奇怪,考虑到有多少数据以及它来自多少不同的源。美国健康信息管理协会希望改变这种状况。……查看详情发布时间:2019.01.15来源:亿信华辰浏览量:74次
-
数据交换服务组件介绍
数据交换服务组件,在遵循一定的交换策略条件下进行数据交换及消息传递,支持数据资源在不同单位、不同区域的快速交换和共享,提供配置工具生成交……查看详情发布时间:2020.08.12来源:知乎浏览量:107次
-
如何成功实现一个数据治理项目,大神详细拆解实施要点
数据作为新型生产要素,只有流动、分享、加工处理才能创造价值。如今数据治理成为数字经济必经之路,怎么实现一个数据治理项目成为大家最关心的问……查看详情发布时间:2021.02.02来源:知乎浏览量:121次
-
多措并举提升银行业数据治理能力
数据治理是银行业高质量发展的必由之路,当前银行业的数字化转型面临一些挑战和不足,要从建立数据治理架构、统一数据标准、加强数据分析应用等方……查看详情发布时间:2019.12.13来源:知乎浏览量:79次