大数据共享交换平台建设方案

数据交换共享平台
数据交换共享平台,随着各行业信息化的发展，各行业系统及数据越来越多，也对IT系统建设提出了互联互通、共享交换、业务协同、数据治理等多方面的要求，针对这些需求，浪潮推出了数据交换共享平台。该平台是集开发、配置、部署、管理、监控、安全于一体的数据交换全生命周期管理的数据交换平台。平台可快速构建、运行和管理分布式应用系统间、云环境下应用系统之间等数据交换共享任务，可满足各种大型应用、各种复杂的网络环境下的业务需求，尤其适用于跨部门、跨地域、跨层级的数据交换共享应用。

传统大数据平台的一些常见问题：
1. 数据孤岛问题
传统方式建设企业系统时，不同部门或团队通常会构建独立的数据库，导致的问题有：同一份数据存在于多个业务系统内且内容不一致，缺少统一的数据标准、数据管理流程及可靠的管理工具，出现质量问题时往往无法有效追溯并修正。

2. 烟囱开发问题
“烟囱”式架构是传统企业系统开发的弊病，不同团队独立建设、独立开发服务和应用，带来安全、运维、升级、部署等通用功能的重复开发和投入问题，这种开发的低复用率带来了巨大资源的浪费，难以形成技术合力，也不利于团队间的研发管控和质量提升。

3. 技术门槛问题
大数据和AI的应用与运维十分昂贵，无论是对于平台建设、团队建设还是业务探索而言都会带来不小的开销。将数据服务化、资产化、在线化，以方便客户、技术开发人员和数据科学家使用，降低技术门槛是当务之急。

数据交换共享平台功能需求
1、统一的资源目录管理：
支持统一的元数据管理，包括元数据的模型设计、模型审核、模型实施、模型验证，以及模型版本管理、关系管理等；
支持资源的检索与定位，便于服务的重用与维护；

2、全面灵活的数据采集：
采用调度中心+决策中心相结合的分布式数据采集处理架构，支持多样化的采集策略和多种抽取、汇总方式；
支持可视化任务编排、配置、规则定义及发布；
针对结构化资源和非结构化资源，以数据映射、数据裁剪、数据过滤的工具化手段进行数据处理；

3、集中式数据质量管控
支持数据质量核查规则配置与管理，在数据采集清洗过程中完成数据质量核查与告警；
支持对数据质量告警的监控和数据质量问题的可视化呈现；
提供知识库管理和查询，支持数据血统分析和影响分析；

4、安全便捷的数据交换共享服务
支持以数据服务的形式封装数据，提供统一的数据开发共享能力；
数据服务封装和开发，支持WebService协议、FTP协议和数据库等各类接口；
支持服务发布、订阅及审核管理，同时支持对服务调用情况进行监控，以确保平台采集管理的数据正常实现交换共享；