数据交换管理—企业数据上链的起点

随着数据体量的增长，大数据处理、大数据应用分析的门槛逐渐提高，社会普遍开始重视数据安全和隐私。目前，数据交换共享平台已成为政府和企业在系统开发建设中的常规需求，制定相关数据规范和信息交换标准正在提上日程，如何结合区块链的技术与管理方式，确保系统之间的互联互通、数据共享，为大数据分析提供数据依据，已成为一个全新的命题。

企业对数据服务的需求日趋迫切，如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。数据交换能够有效集成各业务系统中的结构化数据、半结构化数据、非结构化数据，结合区块链技术与管理方式，能够更有效地对数据进行权属界定与溯源，提升数据质量，对于企业来说，也是数据对外服务可信的起点。

1、数据交换的背景
大部分企业通过多年的信息化建设和运营，已经建立了完善的业务应用系统，有效的支撑了核心业务的创新和发展，但随着应用系统的增多，数据量和数据应用环境增大，在对这些数据进行使用的过程中，数据有效交互和共享问题逐渐凸显，主要表现在数据标准不统一、数据质量参差不齐、核心业务数据无法溯源、数据的准确性和及时性较低等方面。企业急需通过建立底层数据集成交换平台来联系横贯整个企业的异构系统、应用、数据源等，完成在企业内部的ERP、CRM、SCM、数据库、数据仓库，以及其它重要的内部系统之间无缝的共享和交换数据。

2、数据交换过程
数据交换依托于元数据，数据交换的本质是基于元数据的交换。元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息，重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等，而且整个数据交换系统的运行都应该是基于元数据的，是元数据把数据交换系统中各个松散的组件联系起来，组成了一个有机的整体。

通过自动化工具对半结构化和结构化数据自动采集形成技术元数据，在经过业务部门的信息资源梳理，将技术元数据与业务元数据关联，编制部门数据资源目录，摸清信息资源有什么、在哪里，提高信息资源共享程度，建立信息资源共享机制和管理制度。
 
形成数据资源目录的过程需要技术部门与业务部门进行配合完成，企业数据是否有对外应用价值也取决于数据的可信程度，在企业内部进行数据梳理的开端进行数据源、部门职责权属、操作记录等关键信息的上链存储，对内能够有效实现数溯源与关联分析，对外能够更取信用户，实现数据价值的变现。

3、数据交换方式
数据交换的方式一般是根据数据的类型来进行区分，如结构化或半结构化的数据可通过ETL的数据交换方式进行，非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换，而对于一些实时性较高的交换一般采用restfull、webservice等接口形式进行。通过对（半）结构化数据和非结构化数据交换方式的技术分析，区块链完全可以嵌入数据交换这一过程，将数据可信程度进一步提高。

1、（半）结构化数据交换
结构化和半结构化数据交换主要有：时间戳同步（库表中时间戳对比获取源数据库的增量数据）、CDC增量同步（数据库日志信息分析来捕获复制对象的变化序列）、触发器同步（数据库中设置触发器触发获取变化数据）、全文比对同步（不同时间点对比数据表获取差异）、全量同步（一次性直接抽取）。这些同步方式除了全量同步，其他几种都需要业务表有主键，同时也都能够支持断点续传。
 
更进一步，这些同步方式也大都可以嵌入区块链的数据存储方式，时间戳是区块链加密算法中的一部分，日志信息可以进行摘要存储，触发器的原理与智能合约一致，因此，从技术细节与原理上来讲，数据交换与区块链有共通之处，所需改变的是区块链的多节点的存储与管理架构。

2、非结构化数据交换
以前的非结构化的数据交换，常常使用网盘或者FTP传输文件时，尤其是大文件，容易出现中断，严重影响工作效率和业务。当前更多采用数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证、对消息发送者进行身份验证，防止消息在传输过程中被以插入、删除、调换或修改等方式篡改。

这些数据传输方式与区块链分对称加密所能达到的效果基本一致，技术细节也基本统一。
 
3、实时数据交换
打破信息壁垒和信息孤岛，实现统一高效、互联互通、安全可靠的数据资源体系，实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用，同时能够监控外部调用数据的情况提升数据的价值。

4、展 望
随着数据交换在企业中越来越受到重视，企业将不仅仅局限于只对数据进行简单的交换与集成，而是通过数据交换打造出了自己的数据中台和数据共享平台，创建了在各个业务系统之间的数据高速公路使原先的数据孤岛，变成数据仓库、数据集市有效的对数据进行管理和应用，通过对数据的加工、分析和共享提升了数据的价值。
 
但是数据在对外提供应用时，总是会受到客户的数据可信性的质疑，将区块链的技术路线与管理思想与数据交换进行结合，从更底层上为数据打上不可篡改、可追溯的标签，能够为企业数据资产变现提供更多支撑，将数据可信程度向着数据源端更迈进一步。而随着区块链技术的不断发展与应用的成熟，区块链将更加深入地嵌入到原有的数据管理技术体系中，支撑企业数据管理的资产价值变现。