数据整理——大数据治理的关键技术

发布时间:2019.11.21来源:CSDN浏览量:59次标签:数据治理

数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面,如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据管理的角度,探讨了数据治理中的一项关键技术:数据整理。介绍了以数据拥有者和直接使用者(行业用户)为核心的数据整理的关键技术,包括数据结构化处理、数据质量评估及数据清洗、数据规范化、数据融合与摘取、数据整理的发布共享等。最后,针对加强数据整理方面的研究提出了一些思考。

大数据作为一种资源,在政府、大型企业和机构中发挥着越来越重要的作用。随着大数据应用的不断推进,与数据资源的价值提炼、保值和增值密切相关的大数据治理越来越引起人们的重视。大数据治理是一项复杂的工程,它需要在国家、行业、企业等多个层面上开展体系化的建设,技术上包含数据资产确权、数据管理、数据开放共享、数据隐私保护等诸多方面。这些技术面临的挑战多、难度大,很多方面还没有形成被广泛认可的系统化的解决方案。本文从数据管理这一关键环节出发,探讨其中的关键支撑技术:数据整理。

数据整理也叫数据准备,是在挖掘提炼数据价值的过程中进行的前期的数据预处理工作。它看似不足轻重,实则非常重要。有调查研究表明,很多大数据分析任务80%以上的工作花费在数据整理上,这给数据分析带来了巨大的人力成本。很多分析设想因为承担不起前期的数据整理工作而最终被放弃。更重要的是,由于缺少系统性和理论性的支撑,数据整理的质量千差万别,这给数据分析的结果带来了很大的不确定性,大大影响了大数据价值的挖掘与提炼。因此,人们很有必要重视数据整理的研究工作,它是整个数据治理环节中一项重要的基础性工作,但是这项工作在学术界和企业界并没有得到应有的重视。



数据整理的核心技术

1.1 数据的结构化处理
很多数据模型和算法是构建在结构化数据基础上的,多源异构数据要更好地与其他数据集融合,结构化处理是必不可少的过程。数据结构化处理首先要对原始数据进行解析,提取出需要的信息,再进一步将其转换成结构化数据。很多非结构化数据、Web数据是以文本形式存在的,需要使用信息抽取技术识别文本中的实体、属性、关系等信息。也有很多数据采用的是结构化强一些的数据模型,如JSO格式,这类数据相对关系型数据更灵活,在结构化转换过程中也需要一些技术上的处理。结构化处理的主要输出形式是二维表或者图数据,它需要用户确定数据在转换过程中采用的规则。

1.2 数据质量评估与数据清洗
结构化处理主要是数据表达形式上的转换,数据结构化之后并不意味着能够直接使用。处理后的数据还要进行质量评估,如果发现数据中存在问题,则采取进一步的数据清洗措施。这个过程称作数据质量评估。一些简单的数据质量问题可以利用自动化的算法发现,因为数据质量问题的多样性和不可预测性,数据可视化技术成为数据质量评估的关键技术。借助可视化技术,对数据语义非常了解的业务人员更容易发现数据存在的质量问题(如缺失、不一致、异常等)。伴随着数据质量问题的发现,用户可以定义一些数据清洗规则,批量化地处理数据中存在的质量问题,提高数据清洗的效率。在数据库研究领域,也有人借助众包的思路提升数据清洗的效率。这种做法也是基于用户在数据清洗过程中发挥的重要作用进行的。在数据清洗过程中,需要多轮次的人机交互,系统的交互界面和交互方式对于数据清洗算法的有效性尤为重要。

1.3 数据规范化
数据清洗还有一项重要的内容是数据规范化,这也是数据准备中常见的问题。规范化有简单的底层数据层面的,如数据类型转换、单位变换、格式表换等,也有较为复杂的数据项规范化处理,如电话号码、邮编、地址等。这类问题的主要成因是自然语言表达上的差异性会造成同一实体存在多种表达形式。比较典型的例子是地址,人们需要对其进行规范化处理,以提升数据的质量。地址的规范化面临的一个比较大的挑战就是粒度的选取,同一个地址可以用不同粒度进行表达。数据的规范化处理需要根据应用的需求特点,确定数据粒度和表达方式。地址规范化处理背后的问题是实体链指问题,即把同一实体的不同表达形式(不同名字)映射到同一个实体名字上,消除实体表达的语义鸿沟,进而通过关联在数据集中不同地方出现的相同语义的实体,达到数据融合的目的。

睿治数据治理平台是亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全生命周期管理应用平台。睿治平台摆脱了传统的一个问题一个工具的局限性,实现了数据治理场景全覆盖,九大核心模块:元数据、数据标准、数据质量、主数据、数据资产、数据安全、数据交换、数据处理、数据生命周期等,所有模块可自由组合,并支持本地或云上使用,全面满足客户各类治理需求。


亿信睿治作为国内少有的覆盖数据全生命周期的数据治理平台,全界面操作,“零”表达式治理,极高的易用性,可高效便捷完成数据从创建到消亡的全过程的监控和治理。一站式数据统一管理,保证了企业的业务数据在采集、汇总、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性,从而帮助客户建立起符合自身特征的数据架构和数据治理体系。


亿信睿治平台具备极强的通用性,各模块功能可直接在各行业实施治理,解决常见数据问题。目前已深入服务了金融、制造、地产、电力、政务、卫生等多个行业,并正在高速拓展中。

数据整理需要研究的工作还有很多。如何开展有针对性的研究工作,并系统化地集成各方面的相关研究工作,形成数据整理方面整体上的研究和应用影响力?投入系统化的数据准备工具将更好地应用在实际场景中。这或许是一条较为可行的技术路线。
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 谷歌首席决策科学家:30篇文章通关数据科学与人工智能

    谷歌首席决策科学家:30篇文章通关数据科学与人工智能

    谷歌首席决策科学家(Chief Decision Scientis)凯西柯兹科夫(Cassie Kozyrkov)在2018年非常高产,……查看详情

    发布时间:2019.01.24来源:亿信华辰浏览量:16次

  • 数据治理术语表

    数据治理术语表

    DGI提供了使用非技术语言解释的网络最佳数据相关术语集。在这里,您将找到不仅需要了解数据治理,还需要了解其他类型的程序和项目所需的信息,……查看详情

    发布时间:2019.03.18来源:亿信华辰浏览量:25次

  • 数据治理的四点好处

    数据治理的四点好处

    大数据现在越来越广泛地应用在我们的日常生活当中,随着企业业务的发展,数据的来源、种类变得越来越多样化,系统改造或重新设计的难度就越大,所……查看详情

    发布时间:2022.02.22来源:小亿浏览量:24次

  • 治理与管理的区别

    治理与管理的区别

    简而言之,董事会负责监督,规划和管理负责日常运营。每个部分的职责和责任细分更为广泛。无论您采用广泛还是狭隘的方法来处理治理和管理之间的差……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:22次

  • 零售商的数据治理势在必行

    零售商的数据治理势在必行

    最好的零售商擅长推销商品。在顶级的实体和电子商务商店,产品组织巧妙,布置精美,色彩鲜明,使客户可以轻松找到他们想要的东西。做得好,商品推……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:21次

  • 数据质量管理方法

    数据质量管理方法

    数据质量闭环管理机制以制定规则、问题发现、质量剖析、数据清理、评估验证、持续监控为核心活动,又结合银行的数据实践进行了定制和优化。……查看详情

    发布时间:2019.11.15来源:知乎浏览量:27次

  • Informatica把AI带到了数据治理、数据治理和数据治理的合规性。

    Informatica把AI带到了数据治理、数据治理和数据治理的合规性。

    随着欧盟制定新隐私规定的最后期限越来越近,企业需要掌握数据的来源。……查看详情

    发布时间:2019.01.09来源:亿信华辰浏览量:12次

  • 金融行业大数据标准体系设计

    金融行业大数据标准体系设计

    金融大数据标准体系可分为基础标准、业务标准、治理标准和技术标准四大类。各类标准之间相互联系、相互约束、相互补充,共同构成完整的统一体。同……查看详情

    发布时间:2019.12.27来源:CSDN浏览量:28次

  • 大数据治理需要具备哪些能力和关键技术?

    大数据治理需要具备哪些能力和关键技术?

    在企业数据建设过程中,大数据治理受到越来越多的重视。从企业数据资产管理和提升数据质量,到自服务和智能化的数据应用,大数据治理的内容在不断……查看详情

    发布时间:2019.11.22来源:CSDN浏览量:66次

  • 如今企业面临哪些数据湖管理挑战?

    如今企业面临哪些数据湖管理挑战?

    成功的数据治理方案涉及部署策略、标准和流程,以在整个企业中有效正确地利用高质量数据。如果你的企业具有数据湖环境,并希望从中获得高质量的分……查看详情

    发布时间:2020.04.02来源:知乎浏览量:20次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议