数据服务交换和服务工具经历三个阶段

发布时间:2020.08.06来源:知乎浏览量:186次标签:数据治理

数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统,它由一个交换中心,若干个应用软件的适配器,以及保证数据传输可靠、安全,稳定的数据邮局(数据邮局)以及系统运行的辅助单元--管理中心构成,数据交换中的各应用软件以适配器作为接口,通过与交换中心的消息和数据交互实现信息交换。

数据服务交换和服务工具经历三个阶段

数据服务交换和服务工具处于第三个阶段,是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段
第一个阶段是比较原始的,缺少工具阶段。通过写脚本、针对项目的开发实现,工具化程度差,项目实施和运维成本高。

第二个阶段多样化的工具阶段,提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足,需要多个工具集成,缺少统一的架构、有孤岛,集成实施成本高,交换过程中面临丢包、系统堵塞等问题,安全稳定性差。

第三个阶段是统一的数据交换和服务平台,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。

二挑战与解决思路
2.1传统的数据交换工具面临挑战
(1)传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换,当一个环节出现问题时易造成数据不一致。
(2)当采用异步交换方式时,异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。
(3)当采用同步的交换方式时,同步交换机制在交换数据量比较大,需要传输或者装载时间比较长时,易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

2.2跨网段情况下的大数据量的数据交换与服务思路
(1)基于统一的数据交换服务实现了端对端的数据交换。
(2)通过事务处理机制保证跨网段交换的数据一致性。
(3)状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通,跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要,提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 大型传统企业如何利用数据管理系统把握好业务和数据的关系,逐步实现智能化转型?

    大型传统企业如何利用数据管理系统把握好业务和数据的关系,逐步实现智能化转型?

    关于“数据治理”的定义各大研究学派给出的都概念不尽相同,但看了这么多不同的说法小亿翻译成人话,其实就是要搞清楚:数据治理治什么?谁来治?……查看详情

    发布时间:2020.08.31来源:亿信华辰浏览量:179次

  • 数据质量对数据治理的重要性!

    数据质量对数据治理的重要性!

    人常说“失之毫厘,差之千里”,在数据来源多样化的情况下,数据的可靠性和实用性,直接影响到统计分析是否得到正确的结论,所以说数据的质量尤为……查看详情

    发布时间:2019.11.01来源:知乎浏览量:200次

  • 企业应该将数据治理作为加速数字化转型的催化剂

    企业应该将数据治理作为加速数字化转型的催化剂

    随着许多业务系统和应用程序(包括采购,呼叫中心交互,网站访问,移动应用程序使用以及越来越多的物联网传感器和设备)产生的大量客户数据,应该……查看详情

    发布时间:2019.07.04来源:知乎浏览量:176次

  • 未来我国大数据发展还有哪些机遇和挑战?

    未来我国大数据发展还有哪些机遇和挑战?

    随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:186次

  • 数据治理这个事儿啊,不是个事儿

    数据治理这个事儿啊,不是个事儿

    数据治理是一个包含可用性,适用性,完整性和安全性的四向框架。它是由使用技术的利益相关者使用的一组流程,用于确保管理和保护重要的关键数据。……查看详情

    发布时间:2019.06.28来源:知乎浏览量:152次

  • 理解和证明数据治理2.0

    理解和证明数据治理2.0

    过去,证明数据治理的合理性是非常困难的。数据治理1.0的孤岛性质以及缺乏对增值的关注意味着买入率很低。……查看详情

    发布时间:2019.01.25来源:亿信华辰浏览量:281次

  • 大数据治理背景现状以及策略

    大数据治理背景现状以及策略

    随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,根据监测,这个速度在2020 年之前会继续保持下去。这……查看详情

    发布时间:2018.12.07来源:物联网世界浏览量:319次

  • 8 项提高数据完整性的预防性措施

    8 项提高数据完整性的预防性措施

    仅使用一种方法几乎不可能将数据完整性风险降至最低,因此使用多种策略的组合是更好的选择。降低数据完整性风险的一些最有效方法包括8点。……查看详情

    发布时间:2021.07.07来源:亿信华辰数据治理知识库浏览量:714次

  • 大数据治理的核心要素有哪些

    大数据治理的核心要素有哪些

    当今的大型企业,内部分工日趋细化,采购、服务、市场、销售、开发、支持、物流、财务、人力等各个环节,无不每时每刻产生着大量的数据。数据的格……查看详情

    发布时间:2019.10.21来源:知乎浏览量:185次

  • 什么是数据治理

    什么是数据治理

    什么是数据治理数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混……查看详情

    发布时间:2018.09.13来源:浏览量:199次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议