数据交换平台的功能结构设计与实现

发布时间:2020.08.06来源:知乎浏览量:316次标签:数据治理

数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按照数据中心建设标准规范化原始数据,最终形成业务核心数据库,并提供给其它应用系统使用。本文将重点介绍数据交换平台的功能结构设计与实现。数据交换平台功能结构设计如下图所示:

数据交换平台功能结构


从功能设计上,将数据交换平台功能划分成支撑功能与应用功能两部分。支撑功能是数据交换平台的基础,包括数据采集、元数据管理、数据交换服务总线、平台监控及安全管理功能。应用功能是指与具体业务系统相关,应用功能利用数据交换平台的数据交换服务总线,以数据交换服务的形式为各业务系统提供数据共享服务。

数据交换平台具体实现功能包括数据采集、元数据管理、数据交换服务总线、平台监控和安全管理功能:
(1)数据采集
主要实现三种采集方式:数据复制采集方式、ETL工具采集方式和专用数据采集接口采集方式。数据复制是通过将源数据库中的数据复制到目标数据库中,以保持源数据库与目标数据库的一致性,一般采用全量复制和增量复制两种方式,当然,数据复制适用于被采集的数据无需进行负责的数据转换。ETL工具适用于数据源中被采集的数据需要转换的情形,专用数据采集接口适用于数据复制和ETL工具难以满足数据采集任务的情形,通过自行开发实现。

(2)元数据管理
主要是实现对自身元数据的管理功能,包括对元数据的增加、修改、删除、浏览查询等一般维护功能,以及维护元数据之间的关联、依赖关系,并提供元数据的影响分析、来源分析。

(3)数据交换服务总线
主要是实现数据交换功能,数据交换服务总线由一组基本的交换服务功能组成,包括接入服务、访问控制服务、消息转换服务、路由服务、适配器服务以及管理服务等。

(4)平台监控管理功能
主要是实现对平台各个系统组件的状态、日志、异常等进行监测,并进行记录、统计与分析。

(5)安全管理功能
主要是实现平台数据的安全交换和用户的身份认证和授权功能,包含平台访问安全和数据交换安全两个功能。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理包括哪几个方面

    数据治理包括哪几个方面

    大数据时代的到来,让政府、企业看到了数据资产的价值,快速开始探索应用场景和商业模式、建设技术平台。这无可厚非。但是,如果在大数据拼图中遗……查看详情

    发布时间:2022.05.10来源:小亿浏览量:2077次

  • 数据治理与数据管理:有什么区别?

    数据治理与数据管理:有什么区别?

    如果今天有任何定义成功企业的东西,那就是公司数据的成功理解,使用和策略。了解您的数据并确定如何实施它会带来一系列问题,包括用户和利益相关……查看详情

    发布时间:2018.11.13来源:克里希基德浏览量:130次

  • 治理,管理和质量角色和责任

    治理,管理和质量角色和责任

    最好的数据治理计划通过减少模糊性,建立明确的问责制以及向所有数据利益相关者传播与数据相关的信息,积极主动地在数据相关问题开始之前采取措施……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:161次

  • 数据管理危险:不到一半的MDM计划是有效的

    数据管理危险:不到一半的MDM计划是有效的

    您可能不认为“数据治理”是一个重要的主题。特别是当你的IT预算火灾肆虐或者你计划下周的裁员时。……查看详情

    发布时间:2018.12.29来源:亿信华辰浏览量:129次

  • 你知道什么是数据中台吗?

    你知道什么是数据中台吗?

    什么是数据中台数据中台是全新的架构变革。过去三十年,企业数据管理都以传统的IT架构为基础。每当技术部门为业务部门解决问题时,需要从业务需……查看详情

    发布时间:2020.11.21来源:国云数据中台浏览量:149次

  • 2021基层政府数据治理的必要性

    2021基层政府数据治理的必要性

    政府数据治理是指为高效发挥数据价值、达到治理能力现代化的目标,以政府为主导、社会共同负责的多元主体,运用各种可行手段对重要数据资源各个生……查看详情

    发布时间:2021.04.26来源:亿信数据治理知识库浏览量:215次

  • 数据治理和数据管理不可互换

    数据治理和数据管理不可互换

    从什么时候开始数据管理和数据治理可以互换? 这个问题让我感到困惑和沮丧。追求数据管理供应商与业务利益相关者建立联系,因为业务部门在决策……查看详情

    发布时间:2018.11.20来源:Michele Goetz浏览量:137次

  • 最全数据治理工具解析:数据治理工具的关键必备功能

    最全数据治理工具解析:数据治理工具的关键必备功能

    ​数据治理工具被定义为帮助创建和维护一组结构化策略、程序和协议的过程的工具,这些策略、程序和协议控制企业数据的存储、使用和管理方式。本文……查看详情

    发布时间:2021.07.22来源:亿信华辰数据治理浏览量:370次

  • 数据治理对企业重不重要?有哪些好处呢?

    数据治理对企业重不重要?有哪些好处呢?

    随着互联网技术的不断发展,人们获取、收集信息的渠道也越来越多样化,各种搜索引擎、通讯工具、社交网站等普及应用,使得数据信息呈迅速增长趋势……查看详情

    发布时间:2019.07.18来源:知乎浏览量:151次

  • 人人都说大数据,那你知道它的核心价值吗?

    人人都说大数据,那你知道它的核心价值吗?

    近些年来,大数据已成为了大家茶余饭后讨论的热门话题,像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么,在这样……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:104次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议