数据交换平台的功能结构设计与实现
发布时间:2020.08.06来源:知乎浏览量:122次标签:数据治理
数据交换平台具体实现功能包括数据采集、元数据管理、数据交换服务总线、平台监控和安全管理功能:
(1)数据采集
主要实现三种采集方式:数据复制采集方式、ETL工具采集方式和专用数据采集接口采集方式。数据复制是通过将源数据库中的数据复制到目标数据库中,以保持源数据库与目标数据库的一致性,一般采用全量复制和增量复制两种方式,当然,数据复制适用于被采集的数据无需进行负责的数据转换。ETL工具适用于数据源中被采集的数据需要转换的情形,专用数据采集接口适用于数据复制和ETL工具难以满足数据采集任务的情形,通过自行开发实现。
(2)元数据管理
主要是实现对自身元数据的管理功能,包括对元数据的增加、修改、删除、浏览查询等一般维护功能,以及维护元数据之间的关联、依赖关系,并提供元数据的影响分析、来源分析。
(3)数据交换服务总线
主要是实现数据交换功能,数据交换服务总线由一组基本的交换服务功能组成,包括接入服务、访问控制服务、消息转换服务、路由服务、适配器服务以及管理服务等。
(4)平台监控管理功能
主要是实现对平台各个系统组件的状态、日志、异常等进行监测,并进行记录、统计与分析。
(5)安全管理功能
主要是实现平台数据的安全交换和用户的身份认证和授权功能,包含平台访问安全和数据交换安全两个功能。
-
11个顶级数据治理平台
虽然许多组织更加重视他们的数据治理计划,但“大多数企业都会在企业数据治理方面遇到困难,而他们最初只关注客户,供应商或产品,”MDM研究所……查看详情发布时间:2018.11.16来源:David Weldon浏览量:289次
-
大数据共享交换平台的功能需求
大数据平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间……查看详情发布时间:2022.05.18来源:小亿浏览量:280次
-
“数据治理”:重构和愿景
对于数据业者而言,数据治理(datagovernance)并不陌生。根据国际标准化组织IT服务管理与IT治理分技术委员会、国际数据治理研……查看详情发布时间:2020.06.19来源:CSDN浏览量:60次
-
数据治理治的是“数据”吗?
数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,……查看详情发布时间:2020.07.07来源:知乎浏览量:57次
-
如今的大数据究竟发展到了什么阶段
大数据时代,大数据分析与应用大肆盛行。越来越多的大公司大企业大集团,都越来越重视大数据的影响和作用。……查看详情发布时间:2019.03.19来源:亿信华辰浏览量:72次
-
数据治理这个事儿啊,不是个事儿
数据治理是一个包含可用性,适用性,完整性和安全性的四向框架。它是由使用技术的利益相关者使用的一组流程,用于确保管理和保护重要的关键数据。……查看详情发布时间:2019.06.28来源:知乎浏览量:50次