数据交换平台的功能结构设计与实现

发布时间:2020.08.06来源:知乎浏览量:378次标签:数据治理

数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按照数据中心建设标准规范化原始数据,最终形成业务核心数据库,并提供给其它应用系统使用。本文将重点介绍数据交换平台的功能结构设计与实现。数据交换平台功能结构设计如下图所示:

数据交换平台功能结构


从功能设计上,将数据交换平台功能划分成支撑功能与应用功能两部分。支撑功能是数据交换平台的基础,包括数据采集、元数据管理、数据交换服务总线、平台监控及安全管理功能。应用功能是指与具体业务系统相关,应用功能利用数据交换平台的数据交换服务总线,以数据交换服务的形式为各业务系统提供数据共享服务。

数据交换平台具体实现功能包括数据采集、元数据管理、数据交换服务总线、平台监控和安全管理功能:
(1)数据采集
主要实现三种采集方式:数据复制采集方式、ETL工具采集方式和专用数据采集接口采集方式。数据复制是通过将源数据库中的数据复制到目标数据库中,以保持源数据库与目标数据库的一致性,一般采用全量复制和增量复制两种方式,当然,数据复制适用于被采集的数据无需进行负责的数据转换。ETL工具适用于数据源中被采集的数据需要转换的情形,专用数据采集接口适用于数据复制和ETL工具难以满足数据采集任务的情形,通过自行开发实现。

(2)元数据管理
主要是实现对自身元数据的管理功能,包括对元数据的增加、修改、删除、浏览查询等一般维护功能,以及维护元数据之间的关联、依赖关系,并提供元数据的影响分析、来源分析。

(3)数据交换服务总线
主要是实现数据交换功能,数据交换服务总线由一组基本的交换服务功能组成,包括接入服务、访问控制服务、消息转换服务、路由服务、适配器服务以及管理服务等。

(4)平台监控管理功能
主要是实现对平台各个系统组件的状态、日志、异常等进行监测,并进行记录、统计与分析。

(5)安全管理功能
主要是实现平台数据的安全交换和用户的身份认证和授权功能,包含平台访问安全和数据交换安全两个功能。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理的挑战——GDPR(通用数据保护条例)

    数据治理的挑战——GDPR(通用数据保护条例)

    健全的数据治理方案是目前企业的最佳发展策略。而GDPR是客户信任并遵守当地以及国际法律的核心。……查看详情

    发布时间:2018.11.16来源:盖斯扎普浏览量:182次

  • 如何以及为什么要对现代商业智能治理进行众治

    如何以及为什么要对现代商业智能治理进行众治

    现代商业智能已经在分析中发挥了作用,但治理呢?了解众包治理如何使IT和业务受益,以及如何实现目标。……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:152次

  • 数据交换服务组件介绍

    数据交换服务组件介绍

    数据交换服务组件,在遵循一定的交换策略条件下进行数据交换及消息传递,支持数据资源在不同单位、不同区域的快速交换和共享,提供配置工具生成交……查看详情

    发布时间:2020.08.12来源:知乎浏览量:250次

  • 数据架构和数据治理的速赢

    数据架构和数据治理的速赢

    Burbank根据DAMA国际数据管理知识体系(DMBoK2)定义数据架构为:数据架构是数据管理的基础。因为大多数组织拥有个人难以想象的……查看详情

    发布时间:2020.11.08来源:知乎浏览量:269次

  • 数据标准管理平台解决方案

    数据标准管理平台解决方案

    企业内部开展企业数据资源整合工作,实现对企业核心业务、核心资源的综合管控,是企业信息化的一个核心目标。通过体系化的数据资源管理平台的建设……查看详情

    发布时间:2020.04.28来源:知乎浏览量:222次

  • 金融行业大数据标准体系设计

    金融行业大数据标准体系设计

    金融大数据标准体系可分为基础标准、业务标准、治理标准和技术标准四大类。各类标准之间相互联系、相互约束、相互补充,共同构成完整的统一体。同……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:264次

  • 数据资产管理“管”什么

    数据资产管理“管”什么

    目前,数据资产管理已经形成了一套科学的管理架构体系,其体系架构如下图所示,主要包含9个活动职能和2个保障措施,9个活动职能指的是数据标准……查看详情

    发布时间:2020.09.11来源:知乎浏览量:160次

  • 企业数据治理战略中的重要任务

    企业数据治理战略中的重要任务

    尽管许多企业的数据治理在被不经意间悄悄地忽视了,只有48%的企业拥有明确的规划或计划,但这并不影响数据治理的重要性,它聚焦于三个关键因素……查看详情

    发布时间:2020.07.14来源:知乎浏览量:183次

  • 走向人工智能治理的趋势

    走向人工智能治理的趋势

    这是人工智能(AI)驱动的自动化和自动机器的时代。自我改进,自我复制,自主智能机器日益普及和迅速扩大的潜力刺激了网络空间,地球空间和空间……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:171次

  • 数据治理——精细科学的政策平衡

    数据治理——精细科学的政策平衡

    数据泄露、滥用、歧视这些负面事件如同天空中的阴霾,不断加深着人们对数据治理的悲观情绪。   的确,这一年被数据泄露贯穿始终,规模日……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:159次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议