数据整理——大数据治理的关键技术

发布时间:2019.11.21来源:CSDN浏览量:120次标签:数据治理

数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面,如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据管理的角度,探讨了数据治理中的一项关键技术:数据整理。介绍了以数据拥有者和直接使用者(行业用户)为核心的数据整理的关键技术,包括数据结构化处理、数据质量评估及数据清洗、数据规范化、数据融合与摘取、数据整理的发布共享等。最后,针对加强数据整理方面的研究提出了一些思考。

大数据作为一种资源,在政府、大型企业和机构中发挥着越来越重要的作用。随着大数据应用的不断推进,与数据资源的价值提炼、保值和增值密切相关的大数据治理越来越引起人们的重视。大数据治理是一项复杂的工程,它需要在国家、行业、企业等多个层面上开展体系化的建设,技术上包含数据资产确权、数据管理、数据开放共享、数据隐私保护等诸多方面。这些技术面临的挑战多、难度大,很多方面还没有形成被广泛认可的系统化的解决方案。本文从数据管理这一关键环节出发,探讨其中的关键支撑技术:数据整理。

数据整理也叫数据准备,是在挖掘提炼数据价值的过程中进行的前期的数据预处理工作。它看似不足轻重,实则非常重要。有调查研究表明,很多大数据分析任务80%以上的工作花费在数据整理上,这给数据分析带来了巨大的人力成本。很多分析设想因为承担不起前期的数据整理工作而最终被放弃。更重要的是,由于缺少系统性和理论性的支撑,数据整理的质量千差万别,这给数据分析的结果带来了很大的不确定性,大大影响了大数据价值的挖掘与提炼。因此,人们很有必要重视数据整理的研究工作,它是整个数据治理环节中一项重要的基础性工作,但是这项工作在学术界和企业界并没有得到应有的重视。



数据整理的核心技术

1.1 数据的结构化处理
很多数据模型和算法是构建在结构化数据基础上的,多源异构数据要更好地与其他数据集融合,结构化处理是必不可少的过程。数据结构化处理首先要对原始数据进行解析,提取出需要的信息,再进一步将其转换成结构化数据。很多非结构化数据、Web数据是以文本形式存在的,需要使用信息抽取技术识别文本中的实体、属性、关系等信息。也有很多数据采用的是结构化强一些的数据模型,如JSO格式,这类数据相对关系型数据更灵活,在结构化转换过程中也需要一些技术上的处理。结构化处理的主要输出形式是二维表或者图数据,它需要用户确定数据在转换过程中采用的规则。

1.2 数据质量评估与数据清洗
结构化处理主要是数据表达形式上的转换,数据结构化之后并不意味着能够直接使用。处理后的数据还要进行质量评估,如果发现数据中存在问题,则采取进一步的数据清洗措施。这个过程称作数据质量评估。一些简单的数据质量问题可以利用自动化的算法发现,因为数据质量问题的多样性和不可预测性,数据可视化技术成为数据质量评估的关键技术。借助可视化技术,对数据语义非常了解的业务人员更容易发现数据存在的质量问题(如缺失、不一致、异常等)。伴随着数据质量问题的发现,用户可以定义一些数据清洗规则,批量化地处理数据中存在的质量问题,提高数据清洗的效率。在数据库研究领域,也有人借助众包的思路提升数据清洗的效率。这种做法也是基于用户在数据清洗过程中发挥的重要作用进行的。在数据清洗过程中,需要多轮次的人机交互,系统的交互界面和交互方式对于数据清洗算法的有效性尤为重要。

1.3 数据规范化
数据清洗还有一项重要的内容是数据规范化,这也是数据准备中常见的问题。规范化有简单的底层数据层面的,如数据类型转换、单位变换、格式表换等,也有较为复杂的数据项规范化处理,如电话号码、邮编、地址等。这类问题的主要成因是自然语言表达上的差异性会造成同一实体存在多种表达形式。比较典型的例子是地址,人们需要对其进行规范化处理,以提升数据的质量。地址的规范化面临的一个比较大的挑战就是粒度的选取,同一个地址可以用不同粒度进行表达。数据的规范化处理需要根据应用的需求特点,确定数据粒度和表达方式。地址规范化处理背后的问题是实体链指问题,即把同一实体的不同表达形式(不同名字)映射到同一个实体名字上,消除实体表达的语义鸿沟,进而通过关联在数据集中不同地方出现的相同语义的实体,达到数据融合的目的。

睿治数据治理平台是亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全生命周期管理应用平台。睿治平台摆脱了传统的一个问题一个工具的局限性,实现了数据治理场景全覆盖,九大核心模块:元数据、数据标准、数据质量、主数据、数据资产、数据安全、数据交换、数据处理、数据生命周期等,所有模块可自由组合,并支持本地或云上使用,全面满足客户各类治理需求。


亿信睿治作为国内少有的覆盖数据全生命周期的数据治理平台,全界面操作,“零”表达式治理,极高的易用性,可高效便捷完成数据从创建到消亡的全过程的监控和治理。一站式数据统一管理,保证了企业的业务数据在采集、汇总、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,从而帮助客户建立起符合自身特征的数据架构和数据治理体系。


亿信睿治平台具备极强的通用性,各模块功能可直接在各行业实施治理,解决常见数据问题。目前已深入服务了金融、制造、地产、电力、政务、卫生等多个行业,并正在高速拓展中。

数据整理需要研究的工作还有很多。如何开展有针对性的研究工作,并系统化地集成各方面的相关研究工作,形成数据整理方面整体上的研究和应用影响力?投入系统化的数据准备工具将更好地应用在实际场景中。这或许是一条较为可行的技术路线。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理准备的五大支柱:倡议赞助

    数据治理准备的五大支柱:倡议赞助

    “Facebook是全球数据治理的核心。”3月19日“华尔街日报”的一篇文章总结了我们所处的位置。在通用数据保护法规(GDPR)生效仅两……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:47次

  • 探索科学有效的数据治理之路

    探索科学有效的数据治理之路

    数据是数字经济的基础性战略资源,数据治理能力是国家竞争力的体现。随着移动互联网、物联网、云计算等信息技术的飞速发展,人们的生产和生活方式……查看详情

    发布时间:2020.07.31来源:知乎浏览量:51次

  • 数据治理治的是“数据”吗?

    数据治理治的是“数据”吗?

    数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。其实在我看来,……查看详情

    发布时间:2020.07.07来源:知乎浏览量:35次

  • 一文讲透什么是数据治理和数据管理

    一文讲透什么是数据治理和数据管理

    数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。此外,每当人们提起数据管理和数据治理……查看详情

    发布时间:2020.07.29来源:今日头条浏览量:35次

  • 解析业务数据的特征——《企业大数据实践路线》

    解析业务数据的特征——《企业大数据实践路线》

    我们今天的内容是解析业务数据的特征。我们已经知道了数据从哪里来,也知道有什么数据,现在我们需要去分析一下这些数据的特征是什么,想想能在这……查看详情

    发布时间:2019.02.26来源:亿信华辰浏览量:33次

  • 大数据时代还需要数据治理吗?

    大数据时代还需要数据治理吗?

    第一个提出大数据时代到来的是全球知名咨询公司麦肯锡,现如今大数据广泛存在于政府,军事,金融,企业,医疗,制造业,电力等行业,备受关注。……查看详情

    发布时间:2019.08.15来源:知乎浏览量:52次

  • 新白皮书提供数据治理计划实施技巧

    新白皮书提供数据治理计划实施技巧

    实施数据治理计划 - 一系列标准化管理实践,以解决数据的创建,使用和报告问题 - 有助于确保医疗保健组织内的大量数据得到质量,可访问性和……查看详情

    发布时间:2018.11.21来源:数据治理浏览量:39次

  • 数据治理的核心价值是什么

    数据治理的核心价值是什么

    数据治理工作的初心与核心目标是解决数据价值路上的这些拦路虎,这是数据治理工作的挑战所在,也是价值所在。……查看详情

    发布时间:2021.04.02来源:数据治理研究院浏览量:71次

  • 建设大数据平台,从“治理”数据谈起

    建设大数据平台,从“治理”数据谈起

    大数据时代还需要数据治理吗?数据平台发展过程中随处可见的数据问题大数据不是凭空而来,1981年第一个数据仓库诞生,到现在已经有了近40年……查看详情

    发布时间:2019.01.11来源:亿信华辰浏览量:45次

  • 银行数据治理怎么做,先了解一下元数据管理在银行业务中的应用

    银行数据治理怎么做,先了解一下元数据管理在银行业务中的应用

    伴随着我国银行信息化建设的发展,银行形成了包括核心系统、数据仓库、风险管理、客户关系管理等在内的多种业务和管理系统。大数据给银行数据处理……查看详情

    发布时间:2020.01.03来源:亿信华辰浏览量:36次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议