如今企业面临哪些数据湖管理挑战?

发布时间:2020.04.02来源:知乎浏览量:147次标签:数据治理

成功的数据治理方案涉及部署策略、标准和流程,以在整个企业中有效正确地利用高质量数据。如果你的企业具有数据湖环境,并希望从中获得高质量的分析结果,则你需要部署正确数据湖治理,作为整体治理计划的一部分。

但数据湖给企业数据管理的方方面面都带来挑战,包括数据治理。在开始讨论治理挑战前,我们有必要定义什么是数据湖:一种可容纳大量原始数据的数据平台,这些数据通常以其本机格式保留,直到需要用于分析。

传统的数据仓库将数据存储在关系表中,而数据湖则使用平面结构。每个数据元素被分配唯一标识符,并用一组元数据标签进行标记。这就是说,数据湖没有数据仓库那么结构化。在访问数据进行分析时,数据会被分类和整理,而不是在将数据加载到数据湖中时。

有效的数据治理使企业能够提高数据质量和一致性,并很大程度地利用数据进行业务决策,从而可以改善业务规划和财务绩效。数据治理的配套数据管理学科包括数据质量、元数据管理和数据安全性,所有这些因素都影响到数据湖治理。

现在,让我们看看下面5个数据湖部署中的数据治理挑战。

1.识别和维护正确的数据源
在很多数据湖部署中,源元数据没有被获取或根本不可用,这使得数据湖内容的有效性令人质疑。例如,可能未列出记录系统或数据集的业务所有者,或者显然冗余数据可能会给数据分析人员造成问题。至少应记录数据湖中所有数据的源元数据,并使用户可以使用它来了解其出处。

2.元数据管理问题
元数据为数据集内容提供背景信息,并且是使数据在应用程序中易于理解和可使用的重要组件。但是很多数据湖部署忽略了对收集的数据应用正确数据定义的需求。而且,由于原始数据通常被加载到数据湖中,很多企业没有采取步骤来验证数据或对其应用企业数据标准。缺少适当的元数据管理使得数据湖中的数据对分析的用处不大。

3.在数据治理和数据质量方面缺乏协调性
不协调的数据湖治理和数据质量工作会导致劣质数据进入数据湖。当这些数据用于分析并驱动业务决策时,这可能导致结果不准确,从而导致丧失对数据湖的信心以及整个企业对数据普遍不信任。有效的数据湖部署需要数据质量分析师和工程师与数据治理团队及数据管理员密切合作,以部署数据质量策略、分析数据并采取必要的措施来提高其质量。

4.在数据治理和数据安全方面缺乏协调性
在这种情况下,如果数据安全标准和策略未被正确纳入治理流程中,可能会导致无法访问受隐私法规和其他类型的敏感数据保护的个人数据。尽管数据湖旨在成为相当开放的数据源,但仍需要安全性和访问控制措施,并且,数据治理和数据安全团队应携手完成数据湖设计和加载过程,以及持续的数据治理工作。

5.使用相同数据湖的业务部门之间的冲突
不同部门对于相似数据可能具有不同的业务规则,这可能导致无法协调数据差异以进行准确的分析。完善的数据治理方案应具有对数据策略、标准、流程和定义的企业视角,包括企业业务词汇表,这可减少多个业务部门使用同一数据湖时出现的问题。如果企业有多个数据湖,则每个数据湖都应包含在数据湖治理流程中,并为其分配业务数据管理员。 总之,通过在数据湖的设计、加载和维护过程中加入强大的数据治理、元数据管理、数据质量和数据安全流程,并由所有这些领域的经验丰富的专业人员积极参与,可显着提高数据湖的价值。否则,你的数据湖可能会变成数据沼泽。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据时代还需要数据治理吗?

    大数据时代还需要数据治理吗?

    第一个提出大数据时代到来的是全球知名咨询公司麦肯锡,现如今大数据广泛存在于政府,军事,金融,企业,医疗,制造业,电力等行业,备受关注。……查看详情

    发布时间:2019.08.15来源:知乎浏览量:140次

  • 数据治理在有效合规计划中的作用

    数据治理在有效合规计划中的作用

    有效的合规计划由许多活动部分组成。关键数据来自运行操作所需的各种工具,文档,系统和技术。因此,企业在试图获得任何特定时间的风险状况的完整……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:176次

  • 浅谈数据质量管理

    浅谈数据质量管理

    这篇文章主要讲数据治理中的重要内容:数据质量管理。数据治理的理论和实践不断向前发展,但数据质量管理始终是数据治理的初衷,也是最重要的目的……查看详情

    发布时间:2020.06.29来源:CSDN浏览量:190次

  • 数据治理—各种规模银行的增长之路

    数据治理—各种规模银行的增长之路

    银行看到修复数据问题的成本显着上升。无论是建立集成能力以应对老化技术的直接费用,还是监管机构或审计师发现数据问题和评估民事罚款的间接费用……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:113次

  • 对于制药公司而言,数据治理不应成为吞下难以接受的药物

    对于制药公司而言,数据治理不应成为吞下难以接受的药物

    制药和生命科学公司面临着许多与其他行业相同的数字转型压力,例如我们之前探讨过的金融服务和医疗保健。作为回应,他们正在转向高级分析平台和基……查看详情

    发布时间:2018.12.06来源:迈克尔帕斯托雷浏览量:168次

  • 数据质量在数据治理中的重要意义

    数据质量在数据治理中的重要意义

    数据的质量问题从一定的角度反映出组织当中存在的一些问题,而问题的来源可能是数据流动,可能业务流程也可能源于管理问题等等,数据质量问题的分……查看详情

    发布时间:2020.01.10来源:CSDN浏览量:169次

  • 企业数据治理的九大要素

    企业数据治理的九大要素

    元数据管理致力于处理技术元数据、业务元数据、管理元数据,通过丰富的元数据分析和检核,帮助各行各业用户获得更多的数据洞察力,进而挖掘出隐藏……查看详情

    发布时间:2020.07.10来源:知乎浏览量:269次

  • 数据治理全域解决方案来了:对症下药 各个击破

    数据治理全域解决方案来了:对症下药 各个击破

    如今数据治理作为数字化转型的基础,成为了数字化变革中的焦点和主战场。不少小伙伴向小亿诉苦,“到底该如何着手做数据治理,能不能先做元数据管……查看详情

    发布时间:2022.01.22来源:小亿浏览量:860次

  • 企业数据交换存在的问题

    企业数据交换存在的问题

    企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。目前集团层面客户信息分散,各子公司之间……查看详情

    发布时间:2020.08.10来源:知乎浏览量:146次

  • 数据资产管理催动数据价值加快释放

    数据资产管理催动数据价值加快释放

    12月10日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会联合举办的“2019数据资产管理大会”在京召开。多位大数据行业专家……查看详情

    发布时间:2020.03.26来源:知乎浏览量:136次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议