数据生命周期管理工作包括哪些方面

发布时间:2021.09.02来源:亿信华辰数据治理知识库浏览量:624次标签:数据治理

在大数据业务流程中会产生大量数据,日积月累后,这些数据除了增加集群的存储成本,也会影响大数据集群之上的应用系统的运行效率。所以组织机构需要对数据进行全生命周期的管理,既要考虑数据的采集获取,也要考虑数据的备份归档。我们不能因为大数据集群本身具有可横向扩展,容量大,单位存储成本低这些特点,就对数据“只进不出”。因为缺少了治理的数据集合是不利于数据价值的分析挖掘的。


生成期

生成阶段包含生成源、生成时间、生成地点以及生成方式。在大数据环境下,每时每刻都在进行数据的生产。如果事先没有制定数据生成规则就会导致数据生成变得失控,从而影响数据的作用、价值以及使用效率。而且从数据安全的角度看,数据生成必须符合预期,任何非预期的数据生成都会严重影响数据安全。因此,这个时候就需要组织机构来制定严格的数据生成规则与标准对数据的生产规范化、标准化。

活动期

数据生成之后,就会对生产的数据进行增删改查。不同类型数据的活动周期有很大差异,而且并不是任何数据都具有活动期,比如很多日志、记录、临时文件之类的数据并不具有活动期,需要及时处理掉,否则会占用大量存储资源以及成本。组织机构要保证任何数据的活动必须符合预期和规范,可以审查和追踪。

衰退期

数据活动期过后,数据的价值会随着时间的变化而减少,数据的使用频率以及可用性开始逐步下跌。 这个时候应将数据进行分级分类存储,以降低管理成本和资源开销。

归档期

当对数据的访问周期非常长,并且禁止数据被更新时,数据就步入了归档期,但每个企业的信息化建设程度不一样,需要具体情况具体分析。归档期的时间周期很漫长,往往依赖于法规遵循和归档成本的双重约束。需要注意的是,归档期的数据依旧存在着一定价值,因此归档期的数据可能再次进入活动期。所以,需要组织机构对归档数据进行周全的保护,并严格按照相关约束使用归档数据,避免出现因为监视不足而导致没有充分挖据出数据价值的问题。

销毁期

当数据已经没有了使用价值或者已经超越了法规监管的周期,这个时候数据需要被销毁,以降低成本和数据安全风险。由于被销毁的数据无法还原,从数据安全的角度看,要保证数据销毁符合预期,不能存在任何非预期的数据销毁。


数据生命周期管理工具


睿治数据治理工具--数据生命周期管理平台支持数据资产全生命周期管理,根据存储周期自动计算每行数据的存储时限,并根据存储时限进行数据自动归档、销毁,为业务系统节省数据空间,提高数据的查询效率。

便捷的数据资产归档

平台提供对数据资产进行归档设置功能,可根据数据的产生时间、数据量设置对应的归档策略进行数据近线或离线归档,同时支持批量归档,从而保证业务系统数据的简洁。同时,近线区和离线区支持用户自定义。

睿智的数据资产销毁

平台提供数据销毁操作,用户可根据数据的使用情况进行永久销毁或临时销毁,销毁操作提供审批操作,只有通过审批的数据才能被销毁,临时销毁的数据存放在回收站内,可一键还原。

可视化的数据生命周期监控

用户可通过数据生命周期监控了解企业系统中在线、近线、离线、销毁的数据量各有多少,可通过不同归档期限统计归档的数据量占比,同时提供归档预警,了解哪些表数据量较大,可能需要归档等统计信息,数据生命周期监控表还提供用户自定义报表,可根据自己的实际业务改造监控表。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理如何释放信息的力量来解决实际的业务问题

    数据治理如何释放信息的力量来解决实际的业务问题

    数字商务永远改变了零售业的面貌。广泛的产品选择,快速交付和简单易用的搜索功能,也推荐相关产品,提高了标准。……查看详情

    发布时间:2019.08.02来源:知乎浏览量:130次

  • 数据治理的3W1H:治什么?谁来治?怎么治?选哪个?

    数据治理的3W1H:治什么?谁来治?怎么治?选哪个?

    数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁能根据什么信息,在什……查看详情

    发布时间:2021.04.23来源:浏览量:180次

  • 企业数据治理需要的能力

    企业数据治理需要的能力

    数据治理必然带来新的标准的确立和旧系统的改造,是一个有破有立、无破不立的过程。这一过程设计大量的跨部门、跨条线、跨系统的沟通协调,同时也……查看详情

    发布时间:2021.09.06来源:亿信华辰浏览量:157次

  • 数据科学的下一个「超能力」:模型可解释性

    数据科学的下一个「超能力」:模型可解释性

    很多人重视重视模型的预测能力,却忽略了模型可解释性的重要性,只知其然而不知其所以然。为什么说模型的可解释性这么重要呢?作者就 5 个方面……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:131次

  • 数据资产如何安全可追溯,你们应该这样做!

    数据资产如何安全可追溯,你们应该这样做!

    近年来,食品安全中提到产地的可追溯性,给许多生鲜打上了专属的身份证以便出现问题可以追根溯源。而这并不稀奇,在使用报表工具时处于数据安全考……查看详情

    发布时间:2021.03.12来源:知乎浏览量:146次

  • 实施数据治理项目是企业数字化转型的基础

    实施数据治理项目是企业数字化转型的基础

    企业数字化转型趋势是“数据”引领业务变革,数据集中管控成为大势所趋,如何做好数据共享和数据分析、如何发挥数据资产价值最大化是我们信息化工……查看详情

    发布时间:2019.10.22来源:知乎浏览量:145次

  • 数据治理面对的挑战有哪些

    数据治理面对的挑战有哪些

    随着企业数据量的增长,大数据平台需要投资扩容,但大量的存量应用依赖的数据也在同步增长,因此也需要扩容,当然这份冗余的数据会越来越大。……查看详情

    发布时间:2022.05.07来源:小亿浏览量:242次

  • 数据治理为什么会重新引起关注?

    数据治理为什么会重新引起关注?

    这突出了数据治理的重要性。由数据治理研究所定义为“信息相关过程的决策权和责任系统,根据商定的模型执行,描述谁可以采取什么行动与什么信息,……查看详情

    发布时间:2019.09.04来源:知乎浏览量:174次

  • 数据治理系列5:浅谈数据质量管理

    数据治理系列5:浅谈数据质量管理

    数据质量管理是对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的数据质量问题,进行识别、度量、监控、预警等一……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:179次

  • 大数据环境下数据质量管理面临的挑战

    大数据环境下数据质量管理面临的挑战

    随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:165次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议