数据服务交换和服务工具经历三个阶段

发布时间:2020.08.06来源:知乎浏览量:15次标签:数据治理

数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统,它由一个交换中心,若干个应用软件的适配器,以及保证数据传输可靠、安全,稳定的数据邮局(数据邮局)以及系统运行的辅助单元--管理中心构成,数据交换中的各应用软件以适配器作为接口,通过与交换中心的消息和数据交互实现信息交换。

数据服务交换和服务工具经历三个阶段

数据服务交换和服务工具处于第三个阶段,是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段
第一个阶段是比较原始的,缺少工具阶段。通过写脚本、针对项目的开发实现,工具化程度差,项目实施和运维成本高。

第二个阶段多样化的工具阶段,提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足,需要多个工具集成,缺少统一的架构、有孤岛,集成实施成本高,交换过程中面临丢包、系统堵塞等问题,安全稳定性差。

第三个阶段是统一的数据交换和服务平台,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。

二挑战与解决思路
2.1传统的数据交换工具面临挑战
(1)传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换,当一个环节出现问题时易造成数据不一致。
(2)当采用异步交换方式时,异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。
(3)当采用同步的交换方式时,同步交换机制在交换数据量比较大,需要传输或者装载时间比较长时,易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

2.2跨网段情况下的大数据量的数据交换与服务思路
(1)基于统一的数据交换服务实现了端对端的数据交换。
(2)通过事务处理机制保证跨网段交换的数据一致性。
(3)状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通,跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要,提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理能力正在成为互联网+时代城市竞争新优势

    数据治理能力正在成为互联网+时代城市竞争新优势

    新型智慧城市的四个新视角解读 城市服务要以人为中心,但是城市的服务不但以人为中心,还是要做到数据,由于数据为核心,没有好的数据,就没有……查看详情

    发布时间:2019.01.08来源:亿信华辰浏览量:12次

  • 数据管理是真的, 真的需要!

    数据管理是真的, 真的需要!

    数据管理是与控制组织定义,生成和使用数据的方式相关的各种学科。这些学科的例子包括数据建模,数据架构,数据质量,元数据管理,数据互操作性等……查看详情

    发布时间:2018.12.21来源:数据管理浏览量:18次

  • 2019年需要关注的三个治理趋势

    2019年需要关注的三个治理趋势

    通过精心应用RPA,优先考虑数据质量,并迎合不断变化的劳动力构成,数据专业人员可以有效地指导他们的组织进入数据驱动的未来。……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:7次

  • 2018年中国大数据交易产业十大事件

    2018年中国大数据交易产业十大事件

    凡是过去,皆为序章。中国大数据交易产业2018年大事频出,国家大数据(贵州)综合试验区“大数据资源流通”取得新进展,2018第四届中国(……查看详情

    发布时间:2019.02.13来源:亿信华辰浏览量:16次

  • 数据安全事件频发的当下,如何保障数据治理过程中的绝对安全?

    数据安全事件频发的当下,如何保障数据治理过程中的绝对安全?

    在数据治理过程中,如果数据不安全会导致数据治理不到位,甚至是治理好的数据被滥用或盗用。数据安全问题其实说白了通常是由于防范不到位、管理不……查看详情

    发布时间:2020.10.21来源:知乎浏览量:13次

  • 数据治理的定义:什么是数据治理?

    数据治理的定义:什么是数据治理?

    数据治理(DG)是增长最快的学科之一,但在定义数据治理方面,许多组织都在努力。 Dataversity称DG是“有助于确保组织内数据资……查看详情

    发布时间:2018.11.15来源:Zak Cole浏览量:12次

  • 数据标准在数据资产管理中的意义

    数据标准在数据资产管理中的意义

    尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得如何实操数据资产管理、在企业中真正落地的更寥寥无几。笔者有幸参与了国内几个典……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:15次

  • 数据治理——银行将被如何规范?

    数据治理——银行将被如何规范?

    我们认为,此番对数据治理的指引,未来可能会被其他金融监管机构作为范本,约束互联网金融或其他业态的数据治理行为,因此,具有学习和研究价值。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:10次

  • 即使是善意的数据治理策略失败的3个原因

    即使是善意的数据治理策略失败的3个原因

    也许你曾经遇到过这种情况。您打算在您的工作地点创建一个新的数据治理计划。你做你的研究,通知所有必要的团队,建立一个水密的时间表和预算,在……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:12次

  • 加强数据治理 护航数字经济

    加强数据治理 护航数字经济

    目前,我国正处在推动互联网、大数据、人工智能和实体经济深度融合的关键时期,个人数据滥采滥用、企业数据交易纠纷频发、公共数据开放开发滞后、……查看详情

    发布时间:2019.01.04来源:陆峰浏览量:12次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议