数据交换管理—企业数据上链的起点

发布时间:2020.08.11来源:知乎浏览量:6次标签:数据治理

随着数据体量的增长,大数据处理、大数据应用分析的门槛逐渐提高,社会普遍开始重视数据安全和隐私。目前,数据交换共享平台已成为政府和企业在系统开发建设中的常规需求,制定相关数据规范和信息交换标准正在提上日程,如何结合区块链的技术与管理方式,确保系统之间的互联互通、数据共享,为大数据分析提供数据依据,已成为一个全新的命题。

企业对数据服务的需求日趋迫切,如何有效的管理数据、高效的提供数据服务是目前企业对所面临的关键挑战。数据交换能够有效集成各业务系统中的结构化数据、半结构化数据、非结构化数据,结合区块链技术与管理方式,能够更有效地对数据进行权属界定与溯源,提升数据质量,对于企业来说,也是数据对外服务可信的起点。

1、数据交换的背景
大部分企业通过多年的信息化建设和运营,已经建立了完善的业务应用系统,有效的支撑了核心业务的创新和发展,但随着应用系统的增多,数据量和数据应用环境增大,在对这些数据进行使用的过程中,数据有效交互和共享问题逐渐凸显,主要表现在数据标准不统一、数据质量参差不齐、核心业务数据无法溯源、数据的准确性和及时性较低等方面。企业急需通过建立底层数据集成交换平台来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝的共享和交换数据。

2、数据交换过程
数据交换依托于元数据,数据交换的本质是基于元数据的交换。元数据是关于数据、操纵数据的数据和数据库系统的结构和意义的描述信息,重要目标就是提供数据资源的全面指南。元数据不仅定义了数据交换中的数据模式、来源以及抽取转换规则等,而且整个数据交换系统的运行都应该是基于元数据的,是元数据把数据交换系统中各个松散的组件联系起来,组成了一个有机的整体。

通过自动化工具对半结构化和结构化数据自动采集形成技术元数据,在经过业务部门的信息资源梳理,将技术元数据与业务元数据关联,编制部门数据资源目录,摸清信息资源有什么、在哪里,提高信息资源共享程度,建立信息资源共享机制和管理制度。
 
形成数据资源目录的过程需要技术部门与业务部门进行配合完成,企业数据是否有对外应用价值也取决于数据的可信程度,在企业内部进行数据梳理的开端进行数据源、部门职责权属、操作记录等关键信息的上链存储,对内能够有效实现数溯源与关联分析,对外能够更取信用户,实现数据价值的变现。

3、数据交换方式
数据交换的方式一般是根据数据的类型来进行区分,如结构化或半结构化的数据可通过ETL的数据交换方式进行,非结构化的数据像压缩文件、电影、图片等采用文件传输的方式进行交换,而对于一些实时性较高的交换一般采用restfull、webservice等接口形式进行。通过对(半)结构化数据和非结构化数据交换方式的技术分析,区块链完全可以嵌入数据交换这一过程,将数据可信程度进一步提高。

1、(半)结构化数据交换
结构化和半结构化数据交换主要有:时间戳同步(库表中时间戳对比获取源数据库的增量数据)、CDC增量同步(数据库日志信息分析来捕获复制对象的变化序列)、触发器同步(数据库中设置触发器触发获取变化数据)、全文比对同步(不同时间点对比数据表获取差异)、全量同步(一次性直接抽取)。这些同步方式除了全量同步,其他几种都需要业务表有主键,同时也都能够支持断点续传。
 
更进一步,这些同步方式也大都可以嵌入区块链的数据存储方式,时间戳是区块链加密算法中的一部分,日志信息可以进行摘要存储,触发器的原理与智能合约一致,因此,从技术细节与原理上来讲,数据交换与区块链有共通之处,所需改变的是区块链的多节点的存储与管理架构。

2、非结构化数据交换
以前的非结构化的数据交换,常常使用网盘或者FTP传输文件时,尤其是大文件,容易出现中断,严重影响工作效率和业务。当前更多采用数字签名、时间戳、报文加密的方式对传输的消息进行完整性验证、对消息发送者进行身份验证,防止消息在传输过程中被以插入、删除、调换或修改等方式篡改。

这些数据传输方式与区块链分对称加密所能达到的效果基本一致,技术细节也基本统一。
 
3、实时数据交换
打破信息壁垒和信息孤岛,实现统一高效、互联互通、安全可靠的数据资源体系,实时数据交换是推动信息跨部门跨层级共享共用数据中心的重要环节。实时数据交换适用于对于数据时效要求快速、高频度、少量数据传输的场景。实时数据交换通过将数据中心库中的数据快速的发布出来提供给外部系统共享调用,同时能够监控外部调用数据的情况提升数据的价值。

4、展 望
随着数据交换在企业中越来越受到重视,企业将不仅仅局限于只对数据进行简单的交换与集成,而是通过数据交换打造出了自己的数据中台和数据共享平台,创建了在各个业务系统之间的数据高速公路使原先的数据孤岛,变成数据仓库、数据集市有效的对数据进行管理和应用,通过对数据的加工、分析和共享提升了数据的价值。
 
但是数据在对外提供应用时,总是会受到客户的数据可信性的质疑,将区块链的技术路线与管理思想与数据交换进行结合,从更底层上为数据打上不可篡改、可追溯的标签,能够为企业数据资产变现提供更多支撑,将数据可信程度向着数据源端更迈进一步。而随着区块链技术的不断发展与应用的成熟,区块链将更加深入地嵌入到原有的数据管理技术体系中,支撑企业数据管理的资产价值变现。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 社交网络大数据的应用有多大的价值

    社交网络大数据的应用有多大的价值

    随着互联网技术高速的发展,网民的数量呈指数上升,社交网络进入了强调用户参与和体验的时代。……查看详情

    发布时间:2019.03.13来源:亿信华辰浏览量:2次

  • 企业应该将数据治理作为加速数字化转型的催化剂

    企业应该将数据治理作为加速数字化转型的催化剂

    随着许多业务系统和应用程序(包括采购,呼叫中心交互,网站访问,移动应用程序使用以及越来越多的物联网传感器和设备)产生的大量客户数据,应该……查看详情

    发布时间:2019.07.04来源:知乎浏览量:5次

  • 一文讲透数据治理核心指标

    一文讲透数据治理核心指标

    股份制改革对我国银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分……查看详情

    发布时间:2020.06.19来源:CSDN浏览量:8次

  • 做好数据治理,助力政府治理体系和治理能力现代化

    做好数据治理,助力政府治理体系和治理能力现代化

    当前,数据及其技术的融合应用在政府经济调节、市场监管、社会管理、公共服务、生态环境保护等各项工作中强劲助攻、潜力无限。但由于数据是新型生……查看详情

    发布时间:2020.06.22来源:知乎浏览量:4次

  • 如何制定数据标准

    如何制定数据标准

    企业的数据标准来源非常丰富,有外部的监管要求,行业的通用标准,同时也必须考虑到企业内部数据的实际情况,梳理其中的业务指标、数据项、代码等……查看详情

    发布时间:2020.11.13来源:知乎浏览量:3次

  • 数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    数据治理直击灵魂的四问:治什么?谁来治?怎么治?选哪个?

    国际数据治理研究所(DGI)给出的定义:数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来……查看详情

    发布时间:2020.08.14来源:知乎浏览量:8次

  • 数据治理要“三化”

    数据治理要“三化”

    “数据是新的‘石油’。在智能化、数字化大潮下,只有对大数据进行有效、高质量治理,才能将数据“原油”转变为有价值有质量的数据“石油”,从而……查看详情

    发布时间:2019.11.29来源:知乎浏览量:9次

  • 数据治理在有效合规计划中的作用

    数据治理在有效合规计划中的作用

    有效的合规计划由许多活动部分组成。关键数据来自运行操作所需的各种工具,文档,系统和技术。因此,企业在试图获得任何特定时间的风险状况的完整……查看详情

    发布时间:2018.12.20来源:亿信华辰浏览量:6次

  • 数据资产管理方案之如何让数据化为价值

    数据资产管理方案之如何让数据化为价值

    数据是资产的概念已经成为行业共识。然而现实中,对数据资产的管理和应用往往还处于摸索阶段,数据资产管理面临诸多挑战。主要分为以下三点:1、……查看详情

    发布时间:2020.08.14来源:知乎浏览量:15次

  • 数据治理与数据质量有何不同?

    数据治理与数据质量有何不同?

    当我们听到数据管理这些词时,“ 数据质量 ”和“数据治理” 这两个术语出现了很多,它们应该是因为这些是确保组织以最佳方式利用其信息的重要……查看详情

    发布时间:2019.06.25来源:知乎浏览量:3次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议