数据治理技术措施

发布时间:2020.10.21来源:知乎浏览量:393次标签:数据治理

1.构建企业级数据架构

企业构建的信息系统以满足功能应用为主,如果没有整体数据架构,应用系统就没有数据标准可参考,不可避免地会出现不同的应用系统使用不同的数据标准和数据库,导致数据交换、数据共享困难,数据冗余、数据完整性、数据一致性等问题突出。

理想情况下,企业在信息化初期就应该规划整体数据架构。一个完整的数据架构主要包括:数据标准、数据库产品线、主数据、元数据、数据质量、数据安全、数据交换、数据仓库。每一部分都需要作为独立的专题去建设,而且必须是技术与管理相结合的建设过程,最终形成全局数据架构。

2.加强信息系统设计
产生数据质量问题的第一个环节就是生成数据的源系统,在数据源头解决数据质量问题是提高数据质量非常有效的措施。加强信息系统设计和开发可以通过系统功能自动地规避大量数据质量常见问题。具体包括以下三个方面:

细化需求,在需求分析阶段增加对数据质量的详细要求;

加强数据库设计,使用3NF范式构建业务系统数据模型可以通过数据库有效解决数据冗余、不一致等问题;

系统开发阶段加强数据录入功能的设计和开发,提高界面友好性和校验功能,可以有效解决数据完整性、时效性等问题。

3.建立主数据中心
企业内部不同应用系统、不同部门间需要共享数据的现象非常普遍,建立主数据中心不仅能避免各应用系统相互共享数据形成网状结构,同时能够保证对外提供准确、一致的数据。一般地,主数据是描述核心业务实体的数据,如IT、业务、应用、资产等,这些数据变化相对缓慢并通常跨业务重复使用。这里我们结合实际需求情况扩大了主数据的范围,凡是需要交换、共享的数据都纳入到主数据范围,形成企业范围内一致的、完整的、准确的核心业务数据,统一由主数据中心完成对外提供数据的任务。建立主数据中心不仅仅是技术工作,除开发、维护外还需要制定开发规范、管理规范、管理流程,共同规范主数据的使用。

4.搭建数据质量监控平台
通过搭建数据质量监控平台可以实现数据质量自动检查、监控,平台包括数据质量检查规则库、规则执行引擎、数据质量报告、报告推送功能。平台的核心是规则库,与业务无关的规则由技术人员独立开发,与业务相关的规则需要技术人员和业务人员共同确定检查规则,然后编写规则脚本。规则执行引擎可以定时批量执行检查规则,及时发现数据质量问题,将数据质量报告第一时间推送给业务人员,有助于及时纠正问题数据。

5.实施数据安全工作
数据安全实施工作在数据安全管理制度的指导下执行,由技术人员完成,主要包括数据备份、恢复、脱敏、监控、审计等。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 大数据应用与治理

    大数据应用与治理

    不可否认的是,大数据产业很快就要迎来自己的爆发期。经过几年基础建设的培育,技术层面已基本可以满足相关应用,所以行业人士也普遍达成共识,接……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:399次

  • 大数据对社会有多大用处?

    大数据对社会有多大用处?

    规范性分析是商业智能(BI)中使用的四种大数据类型之一。大数据是一个描述大量数据的术语-结构化和非结构化-这些大量数据淹没了企业或任何数……查看详情

    发布时间:2018.12.29来源:数据治理浏览量:376次

  • 数据治理是真实的,是需要的!

    数据治理是真实的,是需要的!

    有许多组织可以很好地管理和管理他们的数据。或者是足够好(无论对每个组织来说意味着什么)。但是,还有其他组织根本不管理和管理他们的数据。他……查看详情

    发布时间:2019.06.19来源:简书浏览量:437次

  • 电力数据治理方案如何实施?要注意什么?

    电力数据治理方案如何实施?要注意什么?

    电力行业数据治理痛点,包括整体架构缺乏统一的数据中心,孤岛现象严重;数据治理方面缺乏统一的数据标准和数据质量关系;电力数据治理方案如何实……查看详情

    发布时间:2021.04.09来源:亿信数据治理研究院浏览量:1025次

  • 加强数据治理 护航数字经济

    加强数据治理 护航数字经济

    目前,我国正处在推动互联网、大数据、人工智能和实体经济深度融合的关键时期,个人数据滥采滥用、企业数据交易纠纷频发、公共数据开放开发滞后、……查看详情

    发布时间:2019.01.04来源:陆峰浏览量:538次

  • 我国数据资产管理的现状

    我国数据资产管理的现状

    我国数据资产管理市场发展的主要推动来自政府和大型互联网公司。在国家层面上,正在以政务信息和政府数据管理为切入口,由上至下地推动数据资产管……查看详情

    发布时间:2020.09.11来源:知乎浏览量:425次

  • 企业如何有效的进行主数据管理?

    企业如何有效的进行主数据管理?

    企业主数据治理主要分为4个阶段:主数据规划阶段、主数据标准梳理阶段、主数据治理阶段、主数据平台落地阶段。……查看详情

    发布时间:2020.05.07来源:知乎浏览量:463次

  • 数据治理、数据管理、数据管控

    数据治理、数据管理、数据管控

    数据治理、数据管理、数据管控这三个名词在一定程度上的确是有所重叠的,容易混为一谈,所以就造成了在实际使用中,经常将这三个词语“混着用”、……查看详情

    发布时间:2021.03.06来源:知乎浏览量:435次

  • 2018年中国大数据交易产业十大事件

    2018年中国大数据交易产业十大事件

    凡是过去,皆为序章。中国大数据交易产业2018年大事频出,国家大数据(贵州)综合试验区“大数据资源流通”取得新进展,2018第四届中国(……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:323次

  • 数据标准管理组织职能划分与数据标准设计流程

    数据标准管理组织职能划分与数据标准设计流程

    数据标准的设计从需求发起到落地执行,一般需要经过标准编制、标准审查、标准发布、标准贯彻四个阶段:……查看详情

    发布时间:2020.09.18来源:知乎浏览量:473次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议