数据交换服务组件介绍

发布时间:2020.08.12来源:知乎浏览量:196次标签:数据治理

数据交换服务组件,在遵循一定的交换策略条件下进行数据交换及消息传递,支持数据资源在不同单位、不同区域的快速交换和共享,提供配置工具生成交换节点,此外在数据传输过程中应保证数据完整性、安全性、可靠性和传输性能。

数据交换服务组件

基于统一的数据服务配置出不同的数据交换方式
数据交换服务组件:支持全量、批量、实时的数据交换;支持大数据量的数据交换;支持复杂网络环境下的可靠数据交换;支持跨网段、跨单位的数据交换;支持基于通道、文件的加密传输;支持多种数据接口和传输协议;提供数据交换日志;支持断点续传功能。

(1)异构、异地的数据交换
提供基于流加工技术的数据交换和共享,在一个服务内实现数据库、文件、JSON、XML、传输队列、适配器等之间的相互交换。具有以下交换功能:

支持数据库:Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、FoxPro、Access等;国产数据库:达梦、人大金仓、神州数据库等。
支持SQL语句作为数据源。
No SQL的交换:支持与MongoDB的交换,支持与Hive的交换,支持与HBASE的交换,支持与Elastic Search的交换。
支持文件:文本文件(分隔符、定长等)、Excel文件、DBF文件、MDB文件等。分隔符文件要支持组合分隔符。能可视化配置文件与异构系统的交换。
支持XML, XML可以是文件,也可以是来源消息队列、API、 Web URL等。能可视化配置XML与异构系统的交换。
支持JSON, JSON可以是文件,也可以是来源消息队列、API、 Web URL等。能可视化配置JSON与异构系统的交换。
提供内存对象映射满足API、传输队列数据抽取。可视化定义内存表与异构系统的交换;可视化配置数据采集结果可输出到通道中,实现数据传输服务的绑定。

跨网段的数据交换能力。跨网段是指数据源和数据目标位于不同的网段,每个网段不能访问跨网段的数据库。能配置跨网段的数据交换服务;能实现跨网段的实时联动的数据交换;支持CLob字段、blob字段等。

(2)数据交换过程中的数据加工
数据交换过程中的数据加工,实现如下加工能力:
多种数据转换方法:包括字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换等。
交换过程中的数据质量检查,根据数据逻辑判断规则,将干净的数据装载到目标中,将判断有问题的数据路由到数据库表或者数据文件中。
多种逻辑处理,包括:格式匹配检查(如日期格式、数据格式、身份证格式、自定义格式等)、字符串逻辑检查(包含、以结束、以开始、在列表中、等于等)、内容为空检查、重复记录检查、范围内检查(如在列表内、字典或代码表内、包含、等于)、表表外键关联检查、逻辑检查(=、>、>=、<、<=、为空、非空、<And<、<=And<、<And<=、<=And<=、为真、为假等)、复合逻辑检查(以上逻辑的and、or组合)、自定义逻辑检查等。并能可视化配置。

多种路由策略,路由条件可以是逻辑判断,也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、规则表达、是空、非空、在列表中、包含、开始为、结束为、为真、为假等方法。数据路由也可以是条件的组合,可以是and 也可以是Or。

(3)保证交换的可靠性、性能、实时性
支持断点续传。在数据交换任务运行过程中由于各种不确定原因造成网络中断,网络恢复后重新运行服务后保证数据一致。
支持实时交换。实现通过字符串报文、XML、JSON等格式实时交换数据。
支持通过分析日志捕捉变化数据的实时交换。支持数据库CDC技术,能捕捉指定表的变化数据,增量抽取变化数据,经过转换等处理后按照条件路由到多个数据目标中。
支持数据分组分块平行加工。在一个数据交换服务中实现数据分块及数据并行加工处理,保证加工性能。

(4)提供批量文件交换
提供文件传输服务功能。保证文件的可靠传输,主要实现如下功能:
支持对文件、文件夹、文件夹下指定文件等的传输。
提供变化文件传输功能,实现对文件夹含子文件夹的文件增量传输。
提供文件筛选功能,实现满足条件的文件传输。
提供多节点间文件接力传输功能,实现多节点间文件传输的联动。
实现文件传输过程加密、压缩、断点续传等功能。
支持一对一、一对多,支持同步、异步传输方式。
提供和外部FTP、SFTP的传输服务,方便给外部的FTP/SFTP文件服务器交换文件。
提供FTP文件传输服务,包括文件的上传和下载,支持文件和文件夹传输,支持变化文件传输、删除已传输文件等处理 。
提供SFTP文件传输服务,包括文件的上传和下载,支持文件和文件夹传输。
提供文件清理功能,方便整理文件存储空间主要实现如下功能:能压缩备份给定天数之前的文件,能删除给定天数之前的的文件。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 通过数据治理策略推动业务转型

    通过数据治理策略推动业务转型

    围绕数据制定战略是成功实现数字化转型的关键。除了流行语 - 组织需要了解他们试图通过数字化转型实现什么,以及它如何在行业和竞争优势中发挥……查看详情

    发布时间:2019.02.27来源:亿信华辰浏览量:112次

  • 4+7集采进入大数据时代,科技巨头驱动医药行业大变局

    4+7集采进入大数据时代,科技巨头驱动医药行业大变局

    未来的医疗大数据将影响整个医药产业格局。 根据国家医保局及“4+7”带量采购发布的文件,包括天津、大连、沈阳等城市药品带量采购细则……查看详情

    发布时间:2019.03.28来源:亿信华辰浏览量:104次

  • 如何构建企业安全易用的数据资产?

    如何构建企业安全易用的数据资产?

    在数据治理架构中,数据资产管理位于底层数据和数据管理与应用之间,处于承上启下的重要地位。对上支撑数据安全管理等职能建设以价值发掘为导向的……查看详情

    发布时间:2021.06.02来源:亿信华辰数据治理知识库浏览量:228次

  • 数据治理过程中核心数据界定怎么破?

    数据治理过程中核心数据界定怎么破?

    数据治理过程中,在我们费了九牛二虎之力盘点出企业当前数据资产的家当,形成了数据资产的清单后,同时也会列明这个业务域的核心数据实体,这就碰……查看详情

    发布时间:2019.08.08来源:CSDN浏览量:134次

  • 构建金融大数据标准体系的意义和目标

    构建金融大数据标准体系的意义和目标

    随着政府职能的逐步简政放权,标准作为辅助行业管理、规范行业发展、形成规模化效应的重要手段,将在社会治理体系中发挥更重要的作用。为顺应形势……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:156次

  • 大数据环境下的数据质量管理策略

    大数据环境下的数据质量管理策略

    信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的……查看详情

    发布时间:2019.11.06来源:知乎浏览量:159次

  • 企业何时进行数据治理才是最佳时机

    企业何时进行数据治理才是最佳时机

    找准数据治理的切入点,是关乎数据治理成败的关键。如果将数仓建设分为数仓雏形阶段、数仓迭代阶段和能力沉淀阶段,数据治理应该在哪个阶段切入为……查看详情

    发布时间:2020.06.30来源:知乎浏览量:114次

  • 企业级数据治理面临的挑战与对策

    企业级数据治理面临的挑战与对策

    数据治理是社会深度信息化的产物,显示数据正从独占转为共享、从封闭走向开放、从权力变成资源的趋势。目前国内外对其有多种定义,如数据治理是对……查看详情

    发布时间:2019.08.20来源:知乎浏览量:255次

  • 我国数据资产管理的现状

    我国数据资产管理的现状

    我国数据资产管理市场发展的主要推动来自政府和大型互联网公司。在国家层面上,正在以政务信息和政府数据管理为切入口,由上至下地推动数据资产管……查看详情

    发布时间:2020.09.11来源:知乎浏览量:223次

  • DAMA 数据管理知识体系指南-数据管理方方面面的一部代表性著作

    DAMA 数据管理知识体系指南-数据管理方方面面的一部代表性著作

    本书由DAMA International组织众多数据管理领域的国际级资深专家编著。这是一项里程碑式的工作。数据管理是把业务和信息技术融……查看详情

    发布时间:2018.11.29来源:DAMA浏览量:247次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议