数据服务交换和服务工具经历三个阶段

发布时间:2020.08.06来源:知乎浏览量:76次标签:数据治理

数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统,它由一个交换中心,若干个应用软件的适配器,以及保证数据传输可靠、安全,稳定的数据邮局(数据邮局)以及系统运行的辅助单元--管理中心构成,数据交换中的各应用软件以适配器作为接口,通过与交换中心的消息和数据交互实现信息交换。

数据服务交换和服务工具经历三个阶段

数据服务交换和服务工具处于第三个阶段,是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段
第一个阶段是比较原始的,缺少工具阶段。通过写脚本、针对项目的开发实现,工具化程度差,项目实施和运维成本高。

第二个阶段多样化的工具阶段,提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足,需要多个工具集成,缺少统一的架构、有孤岛,集成实施成本高,交换过程中面临丢包、系统堵塞等问题,安全稳定性差。

第三个阶段是统一的数据交换和服务平台,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。

二挑战与解决思路
2.1传统的数据交换工具面临挑战
(1)传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换,当一个环节出现问题时易造成数据不一致。
(2)当采用异步交换方式时,异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。
(3)当采用同步的交换方式时,同步交换机制在交换数据量比较大,需要传输或者装载时间比较长时,易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

2.2跨网段情况下的大数据量的数据交换与服务思路
(1)基于统一的数据交换服务实现了端对端的数据交换。
(2)通过事务处理机制保证跨网段交换的数据一致性。
(3)状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通,跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要,提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据集成的原理

    数据集成的原理

    在Experian Data Quality上多次使用这个类比,但这仅仅是因为它在引用数据标准化时非常有意义。 数据标准化只是构建……查看详情

    发布时间:2018.12.29来源:数据治理浏览量:90次

  • 如今企业面临哪些数据湖管理挑战?

    如今企业面临哪些数据湖管理挑战?

    成功的数据治理方案涉及部署策略、标准和流程,以在整个企业中有效正确地利用高质量数据。如果你的企业具有数据湖环境,并希望从中获得高质量的分……查看详情

    发布时间:2020.04.02来源:知乎浏览量:105次

  • 数据治理为什么成为企业必备?

    数据治理为什么成为企业必备?

    基本概念什么是数据治理?答:又叫”数据管控”。引用《DAMA数据管理知识体系指南》一书给出的定义:数据治理是对数……查看详情

    发布时间:2020.07.29来源:CSDN浏览量:132次

  • 健康的共同依赖:数据管理和数据治理

    健康的共同依赖:数据管理和数据治理

    现在,数据管理和数据治理比以往任何时候都更加重要。数据驱动业务的超竞争特性意味着组织需要比以往更多地从数据中获得更多 - 而且速度更快。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:99次

  • 大数据时代下金融数据治理的问题

    大数据时代下金融数据治理的问题

    数据治理是一套完整的制度、指引和规范,用于统筹人员、流程以及技术等要素,使得商业银行能将数据作为企业的重要资产而有效利用,其核心内容是统……查看详情

    发布时间:2019.10.17来源:知乎浏览量:76次

  • 浅谈企业数据治理的实践

    浅谈企业数据治理的实践

    在大数据时代,数据治理是所有的拥有大量数据的公司的巨大的挑战。没有数据,企业缺乏用于做决策的数据的支持。可是有了越来越多的数据,很多情况……查看详情

    发布时间:2019.09.04来源:知乎浏览量:115次

  • 如何选择合适的企业数据治理工具

    如何选择合适的企业数据治理工具

    清楚了在数据治理工具选择中的应注意的6大问题,才能在着手选择企业数据治理工具之前就可以清楚地知道要如何去做筛选。……查看详情

    发布时间:2021.03.31来源:数据治理研究院浏览量:71次

  • 企业架构组织的创新能力如何?

    企业架构组织的创新能力如何?

    回想一下最新的企业架构文章,博客文章,甚至是你读过的职位描述,并算一下至少一次没有提到“创新”的内容?我猜测,“创新”往往被作为有效企业……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:96次

  • 中小银行行数据治理是否错过最佳建设期?

    中小银行行数据治理是否错过最佳建设期?

    数据治理基础建设缺失、人才匮乏、意识觉醒较晚。目前中小银行数据治理难点有哪些?中小银行行数据治理是否错过最佳建设期。……查看详情

    发布时间:2019.11.28来源:知乎浏览量:76次

  • 数据治理——银行将被如何规范?

    数据治理——银行将被如何规范?

    我们认为,此番对数据治理的指引,未来可能会被其他金融监管机构作为范本,约束互联网金融或其他业态的数据治理行为,因此,具有学习和研究价值。……查看详情

    发布时间:2019.01.18来源:亿信华辰浏览量:103次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议