什么是敏捷数据管理?敏捷数据管理的技术原则
发布时间:2022.03.03来源:小亿浏览量:144次标签:数据治理
在大数据的时代,大家都在重视数据存储和大数据相关技术的同时,都开始注重建设数据管理能力。在海量复杂数据的场景下,如果没有有效的管理,那么大数据只能成为数据的沼泽。企业在大数据的投资只能换来低质量的大量无效数据,从而极大的影响企业的大数据战略。
一、什么是敏捷数据管理
传统的数据管理对于企业来讲较为复杂,比如管理流程复杂、组织架构庞大、管理方位狭窄、人工录入工作多等等。传统数据治理的这些问题,在企业内部实际落地推行困难,难以获得真正收益。在大数据战略中,需要采用更敏捷的数据管理方法:1)以自动化方式代替人工录入,拓宽数据管理的范畴,简化数据管理组织架构和流程;2)以技术实践为核心,以最小的工作量,帮助业务部门明确数据脉络,落地数据标准,提高数据质量,最终管理好企业内的所有数据,实现企业级的数据管理,从而在大数据时代解决数据管理的技术欠债,真正释放大数据所带来的价值。
二、敏捷数据管理的技术原则
1.自动获取资产信息
企业需要从技术上提供各种自动化能力,实现对资产信息的自动获取,包括自动服务信息采集、自动业务信息采集、自动数据信息采集等这要求企业使用的数据管理工具支持一系列的采集器。
2.统一管理企业数据资产
敏捷数据管理需要能够在技术上管理企业内部所有资产,也就是所有的元数据。这是企业实现敏捷数据管理最基础、最重要的原则。
3.业务语义与技术关联
对于企业数据管理来说,技术能弄懂业务的前提是技术与业务之间要有对应,让企业能够通过技术手段,对业务进行理解和分析。需要利用数据治理工具提供商的行业实践积累,自动完成业务与技术对应,形成业务与技术的自动关联库,大大减少业务人员的工作量,同时提升技术与业务关联的准确度,消除业务与技术之间的鸿沟。
4.识别与管理业务语义
业务语义的管理是数据管理的关键点,也是业务人员能够理解数据管理重要性的主要途径。企业需要更加自动化的方式来帮助业务人员更容易和准确的梳理,需要能够从非结构化的文档中,将大部分业务语义抽取出来,并统一管理,成为未来的发展趋势。
5.在集成点检查数据质量
在企业大数据治理过程中,对于大数据生产线中的每个集成点,都需要做数据质量的检查,严格控制输入数据的质量。
6.从需求开始控制数据质量
数据质量不高,分析和挖掘无从谈起。要想真正解决数据质量问题,应该从需求开始,将数据质量的服务集成到需求分析人员、模型设计人员与开发人员的工作环境中,让大家在日常的工作环境中自动控制数据质量,在数据的全生命周期中控制数据质量。
7.自动化质量评分
企业的数据管理需要对整个企业大数据的质量有评判机制,需要能够自动化的对企业数据评分,促进整改,从而能够保护企业的投资,使企业购买的数据真正有价值和意义。
8.持续积累检核规则
目前企业内的第三方数据的质量逐渐成为决定企业数据质量的关键因素。对于外部第三方数据,需要先对这些数据进行采样,并应用关联算法自动发现其中的质量检核规则,并将这些检核规则持续积累,形成外部数据的检核规则库。
9.为数据标准添加技术属性
在企业数据治理中,任何一个数据标准,如何没有对应的技术手段,都将难以落地,所以企业建立数据标准时,需要加入信息项的英文名称,来和实际数据库表中的字段相对应。
10.管理核心数据定义
在企业数据治理中,数据标准是很重要的内容,需要在众多数据中挑选出核心数据,只管理这些核心数据定义,依照核心数据建立标准,就可以实现企业数据治理的目标,还能提升数据治理的效率。
11.数据管理服务化
数据管理服务化是企业能否实现敏捷数据管理的重要原则,敏捷数据管理强调企业把所有的技术能力全面共享成为服务,并融入到企业的各个系统中。“帮助”各个系统控制数据质量,规范数据,这样就能使数据管理融入到各部门人员的工作环境中,让大家在日常的工作环境中自动控制数据质量。
12.随业务持续更新数据标准
对于企业数据治理来说,数据标准是需要随着企业的业务变化而不断进行修订的,比如在企业拓展新业务的时候,需要在增加相应的标准进去,对于没有价值的标准,也要及时废弃。
三、如何实现数据敏捷管理
平台化:全面覆盖数据治理10大领域,采用微服务架构,融合度高,延展性强
可视化:实现数据从创建到消亡全生命周期的可视化,也实现全角色的可视化
智能化:丰富的智能元素和功能,大大缩短数据管理周期、减少成本浪费
-
金融行业数据治理与安全防护解决方案
在金融业各类涉及商业秘密和敏感数据的信息在处理、共享和使用过程中面临违规越权使用或被用于非法用途等数据泄漏的安全风险。一方面,数据处理过……查看详情发布时间:2019.09.30来源:CSDN浏览量:77次
-
银行数据治理的核心问题
银行一直掌握着大量关于客户的数据,数据汇总,存储和分析的持续进步意味着收集的数据提供了不可估量的价值和机会。 ……查看详情发布时间:2019.08.14来源:简书浏览量:66次
-
什么是主数据管理,主数据管理平台有哪些功能?
企业主数据指企业内一致并共享的业务主体。主数据具有准确性、一致性、集成性、共享性/可重用性和高价值的特点。它是能够在各个业务部门、业务系……查看详情发布时间:2022.05.27来源:小亿浏览量:126次
-
持续的业务改进取决于数据治理
当我们认为有价值的东西时,我们需要确定我们如何以及何时使用它以及保护它。我们通过建立标准,政策和流程来定义如何利用和保护此资产。……查看详情发布时间:2019.01.26来源:亿信华辰浏览量:66次
-
企业何时进行数据治理才是最佳时机
找准数据治理的切入点,是关乎数据治理成败的关键。如果将数仓建设分为数仓雏形阶段、数仓迭代阶段和能力沉淀阶段,数据治理应该在哪个阶段切入为……查看详情发布时间:2020.06.30来源:知乎浏览量:55次
-
98%的企业备战数据治理,尚未入局的你还在等什么
UBM近日发布了一份2018企业数据治理白皮书。白皮书中分析了数据治理的现状:虽然越来越多的企业(尤其是业务部门及IT部门)逐渐开始关注……查看详情发布时间:2019.05.30来源:亿信华辰浏览量:73次
-
数据治理的关键要求是什么?
这些功能中的每一项都可以实现受管理的环境 目录和数据字典元数据的组合为数据策略和使用的可审计性提供了完整的信息。它还包含血统和操纵。工作……查看详情发布时间:2019.03.20来源:亿信华辰浏览量:69次
-
敏捷/精益数据治理最佳实践
数据治理 的目标 是确保组织内的质量,可用性,完整性,安全性和可用性。你对此的看法取决于你。许多传统的数据治理方法似乎在实践中都很困难,……查看详情发布时间:2018.12.18来源:数据治理浏览量:68次
-
大数据元数据管理系统有哪些功能
1、元数据模型的建立,定义元数据模型,清晰展现元数据需求。2、采集:指从各种工具中,把各种类型的元数据采集进来,采集是元数据管理第一步。……查看详情发布时间:2021.08.17来源:亿信数据治理知识库浏览量:109次