数据交换平台的功能结构设计与实现

发布时间:2020.08.06来源:知乎浏览量:52次标签:数据治理

数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按照数据中心建设标准规范化原始数据,最终形成业务核心数据库,并提供给其它应用系统使用。本文将重点介绍数据交换平台的功能结构设计与实现。数据交换平台功能结构设计如下图所示:

数据交换平台功能结构


从功能设计上,将数据交换平台功能划分成支撑功能与应用功能两部分。支撑功能是数据交换平台的基础,包括数据采集、元数据管理、数据交换服务总线、平台监控及安全管理功能。应用功能是指与具体业务系统相关,应用功能利用数据交换平台的数据交换服务总线,以数据交换服务的形式为各业务系统提供数据共享服务。

数据交换平台具体实现功能包括数据采集、元数据管理、数据交换服务总线、平台监控和安全管理功能:
(1)数据采集
主要实现三种采集方式:数据复制采集方式、ETL工具采集方式和专用数据采集接口采集方式。数据复制是通过将源数据库中的数据复制到目标数据库中,以保持源数据库与目标数据库的一致性,一般采用全量复制和增量复制两种方式,当然,数据复制适用于被采集的数据无需进行负责的数据转换。ETL工具适用于数据源中被采集的数据需要转换的情形,专用数据采集接口适用于数据复制和ETL工具难以满足数据采集任务的情形,通过自行开发实现。

(2)元数据管理
主要是实现对自身元数据的管理功能,包括对元数据的增加、修改、删除、浏览查询等一般维护功能,以及维护元数据之间的关联、依赖关系,并提供元数据的影响分析、来源分析。

(3)数据交换服务总线
主要是实现数据交换功能,数据交换服务总线由一组基本的交换服务功能组成,包括接入服务、访问控制服务、消息转换服务、路由服务、适配器服务以及管理服务等。

(4)平台监控管理功能
主要是实现对平台各个系统组件的状态、日志、异常等进行监测,并进行记录、统计与分析。

(5)安全管理功能
主要是实现平台数据的安全交换和用户的身份认证和授权功能,包含平台访问安全和数据交换安全两个功能。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大数据资产管理总体框架概述

    大数据资产管理总体框架概述

    随着大数据时代的来临,对数据的重视提到了前所未有的高度,“数据即资产”已经被广泛认可。数据就像企业的根基,是各企业尚待发掘的财富,即将被……查看详情

    发布时间:2020.08.28来源:知乎浏览量:11次

  • 金融业的数据治理重要开端:数据流入

    金融业的数据治理重要开端:数据流入

    随着科技的发展,当今社会已经进入到了信息时代的下一阶段,“数据时代”,大数据成为了众多行业的风口,数据自然而然便……查看详情

    发布时间:2019.01.04来源:尼锅浏览量:27次

  • 数字化转型实例:数据如何改变酒店业

    数字化转型实例:数据如何改变酒店业

    组织采用数据驱动策略的速度意味着组织可以利用大量的数字转换示例。……查看详情

    发布时间:2019.02.18来源:亿信华辰浏览量:33次

  • 案例研究:亚利桑那州实施全州数据治理模型

    案例研究:亚利桑那州实施全州数据治理模型

    亚利桑那州战略企业技术办公室(ADOA-ASET) - 亚利桑那州管理局状态数据管理架构师Jeff Wolkove和能力成熟度模型研究所……查看详情

    发布时间:2018.12.06来源:Amber Lee Dennis浏览量:28次

  • 数据质量监控步骤及方法

    数据质量监控步骤及方法

    随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖……查看详情

    发布时间:2020.08.31来源:CSDN浏览量:32次

  • 数据囤积日益增长的威胁

    数据囤积日益增长的威胁

    在数据丰富的环境中生活和工作的缺点之一是希望将所有最后的位和字节松开以备将来使用。得益于Amazon S3和Hadoop等廉价存储系统,……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:18次

  • 数据治理工具:组织,访问,保护的最佳工具

    数据治理工具:组织,访问,保护的最佳工具

    数字化转型极大地改变了我们开展业务的方式,这一点在数据治理方面更为明显。有效的数据治理工具对于确保数据的完整性至关重要,同时导航不断发展……查看详情

    发布时间:2019.01.21来源:亿信华辰浏览量:16次

  • 2022年,元数据管理的未来趋势——企业级元数据管理

    2022年,元数据管理的未来趋势——企业级元数据管理

    元数据管理是一项和数据治理、主数据管理一样重要的功能,因为元数据管理是每一个这些准则的基础组件。元数据管理包括数据元素和实体的定义,业务……查看详情

    发布时间:2022.02.24来源:浏览量:38次

  • 数据治理—设计利用数据

    数据治理—设计利用数据

    围绕数据使用创建系统和流程是一回事,但企业需要确保其基础架构和团队随时可以利用可用信息。……查看详情

    发布时间:2019.04.04来源:亿信华辰浏览量:24次

  • 数据管理与数据治理的区别

    数据管理与数据治理的区别

    数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。此外,每当人们提起数据管理和数据治理……查看详情

    发布时间:2019.08.27来源:DAMS浏览量:18次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议