手把手系列:常用数据交换方案之RESTful接口处理

发布时间:2021.01.12来源:知乎浏览量:16次标签:数据治理

随着技术的发展与互联网的普及,除了传统的库表、文件方式之外,API接口也成为一种常用的交换方式。于是乎,越来越多的项目存在这样的接口数据处理需求,而接口形式千差万别常常需要定制开发,项目进度难以保证。有了亿信华辰EsDataExchange数据交换管理平台你就不怕了,它有一套完整的HTTP组件来处理,既支持自定义输入参数形式,如:XML、JSON等格式,也支持将返回值按格式解析后落地到目标库。

下面我们以口行外部数据管理平台为例,进行简单介绍。
一.整体流程
案例整个数据处理流程为:
1、从小微ftp服务器上获取请求接口所需要的参数文件(下载文件保存至本地)
2、参数文件为json格式,需要对其进行解析才能获取到接口需要的入参
3、使用解析完的输入参数请求接口,将接口返回数据进行解析
4、将解析结果数据入库,同时生成对应的文件上传至小微ftp服务器。

二.功能设计
整个处理流程分为以下几个步骤:

1、利用ftp下载组件从小微的ftp服务器上下载参数文件,ftp服务器相关信息可在数据源中进行配置,支持ftp和sftp两种协议。

配置了ftp服务器信息之后,可以使用ftp下载组件下载ftp服务器上的文件,只需要选择指定的ftp服务器,设置好源文件(夹)的路径(ftp服务器)和目标文件夹(本地)即可

2、利用json解析组件解析分析下载的参数文件,并将数据入库(连接表输出)
本组件重要的设置为父级属性名,这个设置的是否正确会直接关系到后续结果的正确性,可根据示例进行调试理解。字段列表根据json中的属性名来提取即可

3、有些接口可能需要对数据进行加密处理,需要用加解密组件来完成,本处理流程需要进行加密处理。组件设置较为简单,选择需要加密的字段,设置算法类型和秘钥,输出字段列表可以拾取前置组件的字段,将其数据完整带到后面

4、利用HTTP接口组件进行接口请求,接口相关信息可以在数据源中进行配置

HTTP接口组件支持header设置,参数设置,参数设置支持使用常量,宏和字段三种方式,同时支持无参数名的参数请求方式(此方式限定输入参数只有一个无参数名的参数),输出字段列表同时可以拾取前置组件字段将其数据带到到后面

5、接口返回的参数也是进行加密的,需要进行解密处理,解密同加密处理,使用加解密组件,方式选择解密即可,输出字段设置同加密操作

6、对接口返回的接口进行解析入库处理,解析使用json解析组件,入库使用表输出,处理操作同解析参数文件(区别在于解析参数文件的json来源是文件,此处 json来源为字段)。

7、将接口返回接口生成指定格式文件,利用groovy脚本组件来处理,根据生成文件格式需要编写脚本代码,生成本地文件

8、将生成的文件上传至小微ftp服务器,使用ftp上传组件,组件设置同ftp下载组件,选择指定ftp服务器,设置ftp服务器路径和本地文件路径

最后的整体处理流程如下:


从上述操作可以看出,对于API接口的数据接入以及加解密处理,EsDataExchange数据交换管理平台有完整且强大的解决方案。接口处理相关组件从最初的的单个HTTP接口组件逐步扩展到现在,功能越来越全面。在之后的开发过程中,还将扩展各种API接口处理组件,功能会更加强大!

除了接口组件,EsDataExchange数据交换管理平台还提供了各种各种的交换处理组件,多达60+种,容纳多种多样数据格式,提供丰富数据处理与交换任务设计,提供可视化数据交换监控,是一款统一、安全、高效的全局数据共享交换平台,欢迎前去官网体验试用。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 主数据管理项目之你的主数据如何做“主”

    主数据管理项目之你的主数据如何做“主”

    主数据的定义已经被我们说了太多,今天这篇文章就不说定义,我们聊聊主数据的项目如何实施,主数据如何做“主”。一、主数据建设的术法道随着企业……查看详情

    发布时间:2020.08.28来源:知乎浏览量:26次

  • 从信息安全角度看大数据管理风险

    从信息安全角度看大数据管理风险

    无论是从企业存储策略与环境来看,还是从数据与存储操作的角度来看,大数据带来的“管理风险”不仅日益突出,而且如果不能妥善解决,将肯定会造成……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:12次

  • 什么是数据工程师?高需求中的分析角色

    什么是数据工程师?高需求中的分析角色

    数据工程师是任何企业数据分析团队的重要成员,负责管理、优化、监督和监控整个组织内的数据检索、存储和分发。 ……查看详情

    发布时间:2019.01.15来源:亿信华辰浏览量:10次

  • 企业数据治理的目的、意义及挑战有哪些?

    企业数据治理的目的、意义及挑战有哪些?

    随着大数据相关技术的不断成熟,数据作为一种资产,得到了越来越多企业机构的重视,为了能够有效的利用数据资产,数据治理成了当下政府和企业重点……查看详情

    发布时间:2022.05.11来源:小亿浏览量:49次

  • 银行数据治理工作的落地面临着众多的困难与挑战

    银行数据治理工作的落地面临着众多的困难与挑战

    数据治理越来越受到银行、监管机构乃至国家层面的重视。银行已经意识到高效的管理体系、统一的数据标准、良好的数据质量才是数据价值实现的基础。……查看详情

    发布时间:2020.07.09来源:小亿浏览量:25次

  • 数据治理成功的预测指标

    数据治理成功的预测指标

    简而言之,数据治理项目在组织内经常遇到的挑战通常与高级管理层和业务中的数据文化状态密切相关。从这两个利益相关方团体获得支持可以显着提高数……查看详情

    发布时间:2019.03.22来源:亿信华辰浏览量:14次

  • 当下企业数据治理有哪些重要性?

    当下企业数据治理有哪些重要性?

    随着大数据相关技术的不断成熟,数据作为一种资产,得到了越来越多企业机构的重视,为了能够有效的利用数据资产,数据治理成了当下政府和企业重点……查看详情

    发布时间:2019.07.18来源:知乎浏览量:6次

  • 数据太多、太乱、太差?你需要这样一套数据治理工具

    数据太多、太乱、太差?你需要这样一套数据治理工具

    为了规范数据处理过程,凸显数据业务价值,需对数据进行综合管理,构建标准化、流程化、自动化、一体化的数据治理体系,确保数据架构规划合理、数……查看详情

    发布时间:2021.07.16来源:亿信数据治理知识库浏览量:28次

  • 如何成功实现一个数据治理项目,大神详细拆解实施要点

    如何成功实现一个数据治理项目,大神详细拆解实施要点

    此文将主要围绕数据治理项目具体阐述实施步骤、工具平台的功能,并基于实践经验,提出数据治理成功的要素。全文有点长,非常实用的干货,建议收藏……查看详情

    发布时间:2021.05.26来源:亿信数据治理知识库浏览量:21次

  • 企业数据标准管理的内容

    企业数据标准管理的内容

    笔者理解:数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换……查看详情

    发布时间:2020.11.13来源:知乎浏览量:10次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议