数据服务交换和服务工具经历三个阶段

发布时间:2020.08.06来源:知乎浏览量:459次标签:数据治理

数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统,它由一个交换中心,若干个应用软件的适配器,以及保证数据传输可靠、安全,稳定的数据邮局(数据邮局)以及系统运行的辅助单元--管理中心构成,数据交换中的各应用软件以适配器作为接口,通过与交换中心的消息和数据交互实现信息交换。

数据服务交换和服务工具经历三个阶段

数据服务交换和服务工具处于第三个阶段,是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段
第一个阶段是比较原始的,缺少工具阶段。通过写脚本、针对项目的开发实现,工具化程度差,项目实施和运维成本高。

第二个阶段多样化的工具阶段,提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足,需要多个工具集成,缺少统一的架构、有孤岛,集成实施成本高,交换过程中面临丢包、系统堵塞等问题,安全稳定性差。

第三个阶段是统一的数据交换和服务平台,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。

二挑战与解决思路
2.1传统的数据交换工具面临挑战
(1)传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换,当一个环节出现问题时易造成数据不一致。
(2)当采用异步交换方式时,异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。
(3)当采用同步的交换方式时,同步交换机制在交换数据量比较大,需要传输或者装载时间比较长时,易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

2.2跨网段情况下的大数据量的数据交换与服务思路
(1)基于统一的数据交换服务实现了端对端的数据交换。
(2)通过事务处理机制保证跨网段交换的数据一致性。
(3)状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通,跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要,提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 预约演示
相关文章推荐
  • 数据治理不仅仅是合规问题,它还是一项好业务

    数据治理不仅仅是合规问题,它还是一项好业务

    由于数据的重要性日益增加以及各种数据法规的实施,有效的数据治理策略对业务至关重要。……查看详情

    发布时间:2019.01.17来源:亿信华辰浏览量:491次

  • 企业怎样建立完整的数据治理体系?

    企业怎样建立完整的数据治理体系?

    大数据智能时代,管理不再是传统的做法,一套完善的数据管理体系是企业长远要生存的必须择决。我们的生活已经离不开大数据,企业的数据管理不仅能……查看详情

    发布时间:2020.03.26来源:知乎浏览量:503次

  • 深度思考:从BERT看大规模数据的无监督利用

    深度思考:从BERT看大规模数据的无监督利用

    在击败 11 个 NLP 任务的 State-of-the-art 结果之后,BERT 成为了 NLP 界新的里程碑, 同时打开了新的思……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:576次

  • 数据治理新挑战:数据要素大规模流动

    数据治理新挑战:数据要素大规模流动

    “我们谈论大数据的时候在谈什么?”“数据生产要素、数据治理、隐私计算……这些都是关键词。”7月24日下午,2020年中国互联网大会“数据……查看详情

    发布时间:2020.07.31来源:知乎浏览量:457次

  • 数据治理标准:数据质量六大评价标准

    数据治理标准:数据质量六大评价标准

    万事万物都有其标准,铁轨有规定的标准宽度,一千克有规定的标准重量。那么在大数据时代,企业中各种各样的数据是否也有统一的数据标准呢?数据标……查看详情

    发布时间:2022.01.20来源:小亿浏览量:5330次

  • 数据仓库应该怎么建立

    数据仓库应该怎么建立

    现在的社会就是一个数据化的社会,大数据已经成为大家讨论的热门话题了,对于每个企业来说,建立自己的数据仓库已经显得非常重要了,尤其是对于新……查看详情

    发布时间:2019.07.17来源:数据仓库小编浏览量:386次

  • 大数据环境下的敏感数据治理

    大数据环境下的敏感数据治理

    随着网络技术的快速发展,大量数据在各种业务活动中产生,数据价值越来越凸显,在商业策略、社会治理和国家战略制定过程中,数据都起到了重要的决……查看详情

    发布时间:2019.08.02来源:安全牛浏览量:517次

  • 了解当今数据驱动型企业的治理核心

    了解当今数据驱动型企业的治理核心

    数据治理不仅涉及风险管理。它是关于深入了解数据的核心,使组织中的每个人都能更轻松地使用和信任数据,从而获得业务优势。良好的数据治理系统不……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:411次

  • 中小银行数据治理工作所面临的问题

    中小银行数据治理工作所面临的问题

    虽然各银行积极响应监管要求,开展数据治理工作,但《中小银行金融科技发展研究报告(2019)》显示中小银行的数据治理基本处于萌芽期,达91……查看详情

    发布时间:2020.07.09来源:小亿浏览量:613次

  • 做好数据治理才能建设大数据平台

    做好数据治理才能建设大数据平台

    大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年的历史,而国内企业数据平台的建设大概从90年代末就开始了,从第一……查看详情

    发布时间:2018.11.28来源:数据治理浏览量:577次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议