数据交换管理—企业数据上链的起点

发布时间:2020.08.11来源:知乎浏览量:220次标签:数据治理

随着数据体量的增长,大数据处理、大数据应用分析的门槛逐渐提高,社会普遍开始重视数据安全和隐私。目前,数据交换共享平台已成为政府和企业在系统开发建设中的常规需求,制定相关数据规范和信息交换标准正在提上日程,如何结合区块链的技术与管理方式,确保系统之间的互联互通、数据共享,为大数据分析提供数据依据,已成为一个全新的命题。

企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。数据交换能够有效集成各业务系统中的结构化数据、半结构化数据、非结构化数据,结合区块链技术与管理方式,能够更有效地对数据进行权属界定与溯源,提升数据质量,对于企业来说,也是数据对外服务可信的起点。

1、数据交换的背景
大部分企业通过多年的信息化建设和运营,已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中,数据有效交互和共享问题逐渐凸显,主要表现在数据标准不统一、数据质量参差不齐、核心业务数据无法溯源、数据的准确性和及时性较低等方面。企业急需通过建立底层数据集成交换平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。

2、数据交换过程
数据交换依托于元数据,数据交换的本质是基于元数据的交换。元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息,重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等,而且整个数据交换系统的运行都应该是基于元数据的,是元数据把数据交换系统中各个松散的组件联系起来,组成了一个有机的整体。

通过自动化工具对半结构化和结构化数据自动采集形成技术元数据,在经过业务部门的信息资源梳理,将技术元数据与业务元数据关联,编制部门数据资源目录,摸清信息资源有什么、在哪里,提高信息资源共享程度,建立信息资源共享机制和管理制度。
 
形成数据资源目录的过程需要技术部门与业务部门进行配合完成,企业数据是否有对外应用价值也取决于数据的可信程度,在企业内部进行数据梳理的开端进行数据源、部门职责权属、操作记录等关键信息的上链存储,对内能够有效实现数溯源与关联分析,对外能够更取信用户,实现数据价值的变现。

3、数据交换方式
数据交换的方式一般是根据数据的类型来进行区分,如结构化或半结构化的数据可通过ETL的数据交换方式进行,非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换,而对于一些实时性较高的交换一般采用restfull、webservice等接口形式进行。通过对(半)结构化数据和非结构化数据交换方式的技术分析,区块链完全可以嵌入数据交换这一过程,将数据可信程度进一步提高。

1、(半)结构化数据交换
结构化和半结构化数据交换主要有:时间戳同步(库表中时间戳对比获取源数据库的增量数据)、CDC增量同步(数据库日志信息分析来捕获复制对象的变化序列)、触发器同步(数据库中设置触发器触发获取变化数据)、全文比对同步(不同时间点对比数据表获取差异)、全量同步(一次性直接抽取)。这些同步方式除了全量同步,其他几种都需要业务表有主键,同时也都能够支持断点续传。
 
更进一步,这些同步方式也大都可以嵌入区块链的数据存储方式,时间戳是区块链加密算法中的一部分,日志信息可以进行摘要存储,触发器的原理与智能合约一致,因此,从技术细节与原理上来讲,数据交换与区块链有共通之处,所需改变的是区块链的多节点的存储与管理架构。

2、非结构化数据交换
以前的非结构化的数据交换,常常使用网盘或者FTP传输文件时,尤其是大文件,容易出现中断,严重影响工作效率和业务。当前更多采用数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证、对消息发送者进行身份验证,防止消息在传输过程中被以插入、删除、调换或修改等方式篡改。

这些数据传输方式与区块链分对称加密所能达到的效果基本一致,技术细节也基本统一。
 
3、实时数据交换
打破信息壁垒和信息孤岛,实现统一高效、互联互通、安全可靠的数据资源体系,实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用,同时能够监控外部调用数据的情况提升数据的价值。

4、展 望
随着数据交换在企业中越来越受到重视,企业将不仅仅局限于只对数据进行简单的交换与集成,而是通过数据交换打造出了自己的数据中台和数据共享平台,创建了在各个业务系统之间的数据高速公路使原先的数据孤岛,变成数据仓库、数据集市有效的对数据进行管理和应用,通过对数据的加工、分析和共享提升了数据的价值。
 
但是数据在对外提供应用时,总是会受到客户的数据可信性的质疑,将区块链的技术路线与管理思想与数据交换进行结合,从更底层上为数据打上不可篡改、可追溯的标签,能够为企业数据资产变现提供更多支撑,将数据可信程度向着数据源端更迈进一步。而随着区块链技术的不断发展与应用的成熟,区块链将更加深入地嵌入到原有的数据管理技术体系中,支撑企业数据管理的资产价值变现。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理这项服务

    数据治理这项服务

    我们将再次讨论对有形资产和无形资产进行估值的讨论。……查看详情

    发布时间:2019.01.16来源:亿信华辰浏览量:194次

  • 数据治理与数据质量的关系

    数据治理与数据质量的关系

    单纯从数据层面来看,数据体系包括治理、管理和应用三个部分。治理是负责解决人与人之间的事,管理负责各个职能领域,应用则是价值的实现。不讨论……查看详情

    发布时间:2018.11.29来源:知乎浏览量:262次

  • 读懂工业大数据 这篇文章不得不看

    读懂工业大数据 这篇文章不得不看

    工业大数据是互联网、大数据和工业产业结合的产物,是中国制造2025、工业互联网、工业4.0等国家战略在企业的落脚点。……查看详情

    发布时间:2019.03.27来源:亿信华辰浏览量:171次

  • 数据指标体系和数据治理的管理

    数据指标体系和数据治理的管理

    我们提到过为什么要搭建指标体系,相信大家在看数据相关招聘岗位简介的时候,也经常看到有关搭建指标体系的要求,因此这里简单的给出两点做指标体……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:206次

  • 数据治理的差错

    数据治理的差错

    您是否正在努力成为一个数据驱动的组织并陷入完善数据治理模型的困境?在这种情况下,有太多的组织陷入困境。这妨碍了他们实现企业数据战略的进程……查看详情

    发布时间:2018.12.25来源:亿信华辰浏览量:199次

  • 亿信华辰亮相2018智慧校园广州论坛 共探教育数据治理

    亿信华辰亮相2018智慧校园广州论坛 共探教育数据治理

    近20位行业大咖和领导,来自全国451所学校的1386位教育信息化专家、院校领导及企业负责人参与了此次大会,针对服务治理、数据治理、高等……查看详情

    发布时间:2018.10.15来源:亿信华辰浏览量:157次

  • 数据治理困难,即数据治理之“困”。

    数据治理困难,即数据治理之“困”。

    当前,以人工智能、区块链等为代表的数字技术不断涌现,快速向经济社会各领域融合渗透。以数据为核心的数字化转型已是大势所趋。金融业是数据密集……查看详情

    发布时间:2020.01.03来源:知乎浏览量:147次

  • 企业如何提升数据质量?

    企业如何提升数据质量?

    在这个大数据时代,数据资产逐渐成了构成成企业核心竞争力的关键要素,然后,大数据的应用必须建立在高质量的数据上才有意义,因此提供数据质量是……查看详情

    发布时间:2019.07.26来源:知乎浏览量:152次

  • 企业实现一个数据治理的项目需要注意什么?

    企业实现一个数据治理的项目需要注意什么?

    数据治理是长期、复杂的工程,每个数据治理的领域都可作为一个独立方向进行研究,目前总结的数据治理领域包括但不限于以下内容:数据标准、数据模……查看详情

    发布时间:2020.03.26来源:知乎浏览量:181次

  • 大数据与人工智能有何区别以及哪个技术更好

    大数据与人工智能有何区别以及哪个技术更好

    要想了解大数据与人工智能的区别,首先要从认知大数据和人工智能的概念开始。……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:159次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议