数据交换平台的功能结构设计与实现

发布时间:2020.08.06来源:知乎浏览量:187次标签:数据治理

数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按照数据中心建设标准规范化原始数据,最终形成业务核心数据库,并提供给其它应用系统使用。本文将重点介绍数据交换平台的功能结构设计与实现。数据交换平台功能结构设计如下图所示:

数据交换平台功能结构


从功能设计上,将数据交换平台功能划分成支撑功能与应用功能两部分。支撑功能是数据交换平台的基础,包括数据采集、元数据管理、数据交换服务总线、平台监控及安全管理功能。应用功能是指与具体业务系统相关,应用功能利用数据交换平台的数据交换服务总线,以数据交换服务的形式为各业务系统提供数据共享服务。

数据交换平台具体实现功能包括数据采集、元数据管理、数据交换服务总线、平台监控和安全管理功能:
(1)数据采集
主要实现三种采集方式:数据复制采集方式、ETL工具采集方式和专用数据采集接口采集方式。数据复制是通过将源数据库中的数据复制到目标数据库中,以保持源数据库与目标数据库的一致性,一般采用全量复制和增量复制两种方式,当然,数据复制适用于被采集的数据无需进行负责的数据转换。ETL工具适用于数据源中被采集的数据需要转换的情形,专用数据采集接口适用于数据复制和ETL工具难以满足数据采集任务的情形,通过自行开发实现。

(2)元数据管理
主要是实现对自身元数据的管理功能,包括对元数据的增加、修改、删除、浏览查询等一般维护功能,以及维护元数据之间的关联、依赖关系,并提供元数据的影响分析、来源分析。

(3)数据交换服务总线
主要是实现数据交换功能,数据交换服务总线由一组基本的交换服务功能组成,包括接入服务、访问控制服务、消息转换服务、路由服务、适配器服务以及管理服务等。

(4)平台监控管理功能
主要是实现对平台各个系统组件的状态、日志、异常等进行监测,并进行记录、统计与分析。

(5)安全管理功能
主要是实现平台数据的安全交换和用户的身份认证和授权功能,包含平台访问安全和数据交换安全两个功能。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 企业数字化转型中数据中台建设面临的挑战

    企业数字化转型中数据中台建设面临的挑战

    当前全球经济进入数字化转型时期,数字化转型已成为传统企业必须付诸行动必选题。基于企业业务数字化要求,企业可利用数据中台提供的大数据能力,……查看详情

    发布时间:2020.04.01来源:知乎浏览量:98次

  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    当前,数据及其技术的融合应用在政府经济调节、市场监管、社会管理、公共服务、生态环境保护等各项工作中强劲助攻、潜力无限。但由于数据是新型生……查看详情

    发布时间:2020.04.02来源:知乎浏览量:136次

  • 如何制定数据标准

    如何制定数据标准

    企业的数据标准来源非常丰富,有外部的监管要求,行业的通用标准,同时也必须考虑到企业内部数据的实际情况,梳理其中的业务指标、数据项、代码等……查看详情

    发布时间:2020.11.13来源:知乎浏览量:113次

  • 一文分享主数据治理

    一文分享主数据治理

    当前大多数公司都处于部门间,系统间不通的状态,即使通了也是有很多的不一致,很难达到统一标准,数出一孔,协作流畅的程度,在资源有限的情况下……查看详情

    发布时间:2022.06.15来源:互联网浏览量:209次

  • 数据治理到底应该怎么治?

    数据治理到底应该怎么治?

    数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理的内容。针对不同的治理内容采取不同的数据治理策略。关于小数据和大数据的治理侧重点……查看详情

    发布时间:2020.07.07来源:知乎浏览量:117次

  • 数据治理是一种数据管理概念-维基百科

    数据治理是一种数据管理概念-维基百科

    数据治理是一种数据管理概念,涉及使组织能够确保在数据的整个生命周期中存在高数据质量的能力。数据治理的关键重点领域包括可用性,可用性,一致……查看详情

    发布时间:2018.11.12来源:维基百科浏览量:110次

  • 数据资产管理方案之如何让数据化为价值

    数据资产管理方案之如何让数据化为价值

    数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。主要分为以下三点:1、……查看详情

    发布时间:2020.08.14来源:知乎浏览量:160次

  • 简述数据资产管理方案必须注意的6点

    简述数据资产管理方案必须注意的6点

    “数据资产管理”一词,在国内首次由DAMS(中国数据资产管理峰会)组委会正式提出。首届“中国数据资产……查看详情

    发布时间:2020.08.14来源:知乎浏览量:123次

  • 以数据中台为切入点,场景/应用驱动源头数据治理

    以数据中台为切入点,场景/应用驱动源头数据治理

    数据中台通常是应用驱动构建,所处理的数据是业务关心和使用的数据。在数据中台开发与运营服务的过程中,面临很多源头数据的问题,比如不同系统的……查看详情

    发布时间:2020.04.01来源:知乎浏览量:123次

  • 什么是元数据?为何需要元数据?

    什么是元数据?为何需要元数据?

    元数据是对我们整个系统里面包含的各种结构的描述和说明,比如结构说明、属性说明、或者相关数据,它有点类似现实世界中我们使用的某个产品的说明……查看详情

    发布时间:2019.09.09来源:知乎浏览量:126次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议