数据交换管理—企业数据上链的起点

发布时间:2020.08.11来源:知乎浏览量:156次标签:数据治理

随着数据体量的增长,大数据处理、大数据应用分析的门槛逐渐提高,社会普遍开始重视数据安全和隐私。目前,数据交换共享平台已成为政府和企业在系统开发建设中的常规需求,制定相关数据规范和信息交换标准正在提上日程,如何结合区块链的技术与管理方式,确保系统之间的互联互通、数据共享,为大数据分析提供数据依据,已成为一个全新的命题。

企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。数据交换能够有效集成各业务系统中的结构化数据、半结构化数据、非结构化数据,结合区块链技术与管理方式,能够更有效地对数据进行权属界定与溯源,提升数据质量,对于企业来说,也是数据对外服务可信的起点。

1、数据交换的背景
大部分企业通过多年的信息化建设和运营,已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中,数据有效交互和共享问题逐渐凸显,主要表现在数据标准不统一、数据质量参差不齐、核心业务数据无法溯源、数据的准确性和及时性较低等方面。企业急需通过建立底层数据集成交换平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。

2、数据交换过程
数据交换依托于元数据,数据交换的本质是基于元数据的交换。元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息,重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等,而且整个数据交换系统的运行都应该是基于元数据的,是元数据把数据交换系统中各个松散的组件联系起来,组成了一个有机的整体。

通过自动化工具对半结构化和结构化数据自动采集形成技术元数据,在经过业务部门的信息资源梳理,将技术元数据与业务元数据关联,编制部门数据资源目录,摸清信息资源有什么、在哪里,提高信息资源共享程度,建立信息资源共享机制和管理制度。
 
形成数据资源目录的过程需要技术部门与业务部门进行配合完成,企业数据是否有对外应用价值也取决于数据的可信程度,在企业内部进行数据梳理的开端进行数据源、部门职责权属、操作记录等关键信息的上链存储,对内能够有效实现数溯源与关联分析,对外能够更取信用户,实现数据价值的变现。

3、数据交换方式
数据交换的方式一般是根据数据的类型来进行区分,如结构化或半结构化的数据可通过ETL的数据交换方式进行,非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换,而对于一些实时性较高的交换一般采用restfull、webservice等接口形式进行。通过对(半)结构化数据和非结构化数据交换方式的技术分析,区块链完全可以嵌入数据交换这一过程,将数据可信程度进一步提高。

1、(半)结构化数据交换
结构化和半结构化数据交换主要有:时间戳同步(库表中时间戳对比获取源数据库的增量数据)、CDC增量同步(数据库日志信息分析来捕获复制对象的变化序列)、触发器同步(数据库中设置触发器触发获取变化数据)、全文比对同步(不同时间点对比数据表获取差异)、全量同步(一次性直接抽取)。这些同步方式除了全量同步,其他几种都需要业务表有主键,同时也都能够支持断点续传。
 
更进一步,这些同步方式也大都可以嵌入区块链的数据存储方式,时间戳是区块链加密算法中的一部分,日志信息可以进行摘要存储,触发器的原理与智能合约一致,因此,从技术细节与原理上来讲,数据交换与区块链有共通之处,所需改变的是区块链的多节点的存储与管理架构。

2、非结构化数据交换
以前的非结构化的数据交换,常常使用网盘或者FTP传输文件时,尤其是大文件,容易出现中断,严重影响工作效率和业务。当前更多采用数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证、对消息发送者进行身份验证,防止消息在传输过程中被以插入、删除、调换或修改等方式篡改。

这些数据传输方式与区块链分对称加密所能达到的效果基本一致,技术细节也基本统一。
 
3、实时数据交换
打破信息壁垒和信息孤岛,实现统一高效、互联互通、安全可靠的数据资源体系,实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用,同时能够监控外部调用数据的情况提升数据的价值。

4、展 望
随着数据交换在企业中越来越受到重视,企业将不仅仅局限于只对数据进行简单的交换与集成,而是通过数据交换打造出了自己的数据中台和数据共享平台,创建了在各个业务系统之间的数据高速公路使原先的数据孤岛,变成数据仓库、数据集市有效的对数据进行管理和应用,通过对数据的加工、分析和共享提升了数据的价值。
 
但是数据在对外提供应用时,总是会受到客户的数据可信性的质疑,将区块链的技术路线与管理思想与数据交换进行结合,从更底层上为数据打上不可篡改、可追溯的标签,能够为企业数据资产变现提供更多支撑,将数据可信程度向着数据源端更迈进一步。而随着区块链技术的不断发展与应用的成熟,区块链将更加深入地嵌入到原有的数据管理技术体系中,支撑企业数据管理的资产价值变现。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 为什么你应该有一个数据治理策略

    为什么你应该有一个数据治理策略

    垃圾进垃圾出。自打孔卡和电传终端以来,这个座右铭一直是真实的。如今,复杂的IT系统同样依赖于高质量的数据,无论是在会计,生产还是商业智能……查看详情

    发布时间:2018.11.22来源:数据治理浏览量:192次

  • 数据科学趋势在2019年

    数据科学趋势在2019年

    在谈到2019年要关注的主要数据科学趋势时,Kaggle的联合创始人兼首席执行官Anthony Goldbloom 预测,很快数据中心将……查看详情

    发布时间:2019.01.04来源:数据治理浏览量:100次

  • 数据质量对区块链的重要性

    数据质量对区块链的重要性

    区块链应该显着提高数据质量。所有这些都与所有权有关,他指出 - 无论是金钱,房地产还是其他任何东西 - 以及它的转移,以及如何记录这些数……查看详情

    发布时间:2019.02.20来源:亿信华辰浏览量:154次

  • 企业数字化转型如何进行数据资源规划?

    企业数字化转型如何进行数据资源规划?

    企业主数据管理,就是将企业的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的清洗和丰富,并且以服务的方式把统一的、……查看详情

    发布时间:2020.04.03来源:知乎浏览量:133次

  • 如何做好数据治理工作-数据治理之“术”

    如何做好数据治理工作-数据治理之“术”

    数据治理是一项长期、复杂的系统工程,要在组织、机制和标准等方面加强统筹谋划。……查看详情

    发布时间:2020.01.03来源:知乎浏览量:155次

  • 数据指标体系和数据治理的管理

    数据指标体系和数据治理的管理

    我们提到过为什么要搭建指标体系,相信大家在看数据相关招聘岗位简介的时候,也经常看到有关搭建指标体系的要求,因此这里简单的给出两点做指标体……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:164次

  • 企业数据治理战略中的重要任务

    企业数据治理战略中的重要任务

    尽管许多企业的数据治理在被不经意间悄悄地忽视了,只有48%的企业拥有明确的规划或计划,但这并不影响数据治理的重要性,它聚焦于三个关键因素……查看详情

    发布时间:2020.07.14来源:知乎浏览量:137次

  • 全球数据质量和数据治理解决方案市场

    全球数据质量和数据治理解决方案市场

    在企业数据管理生态系统中,数据质量是一个广义的术语,指的是数据和/或过程的质量,完整性和一致性等。数据质量还意味着数据准确性和一致性的程……查看详情

    发布时间:2019.07.11来源:知乎浏览量:123次

  • 从数据中台的演进之路看未来发展,你需要是中台吗

    从数据中台的演进之路看未来发展,你需要是中台吗

    随着数据中台越来越火,很多企业纷纷建起了自己的数据中台,数据中台一下子火爆起来,越来越多的人开始了解中台,很多人就会存在疑问,数据中台到……查看详情

    发布时间:2020.08.26来源:小亿浏览量:128次

  • 数据治理新挑战:数据要素大规模流动

    数据治理新挑战:数据要素大规模流动

    “我们谈论大数据的时候在谈什么?”“数据生产要素、数据治理、隐私计算……这些都是关键词。”7月24日下午,2020年中国互联网大会“数据……查看详情

    发布时间:2020.07.31来源:知乎浏览量:161次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议