数据治理:将数据从源头进行清洗

发布时间:2019.06.20来源:简书浏览量:151次标签:数据治理

数据引发的混乱

数据一切都与技术的集中化有关。数据安全地存储在企业大型机上,只有具备导航预处理数据库技能的程序员才能访问它。差不多四十年后,所有这些都与数据民主化和强大的数据治理战略的需求有关。

数据治理

在当天,业务分析师必须与IT部门联手,因为他们不知道如何导航信息管理系统数据库,即使他们可以也不会被授予访问权限,IT部门打印出月度报告并分发它们。


随着个人计算机的出现,权力的平衡从根本上发生了变化。突然之间,商人可以访问电子表格,并可以创建自己的计算和分析,即使数据仍然大部分无法触及。然后是客户端/服务器计算和急于分散数据,带来了新的可能性,但也因为不同部门使用不同版本的数据而产生混淆。分析师争论谁的版本是正确的。分析现在可以由业务分析师完成,但未就数据源的合法性达成一致,随之而来的是混乱。


数据治理带来曙光

IT部门使用数据仓库进行响应,数据仓库会在断开连接的交易系统中收集数据,仅用于分析。出现了聪明的报告工具,可以更容易地操作,加入和汇总原始交易表,甚至可以将它们下载到电子表格中。当然,原始数据仍然存储在不同的应用程序和格式中,但是通过足够的努力,数据仓库可以被用来以理解所有这些,提供客户,产品,资产和位置等维度。但是,要实际生成一致的客户和产品列表,必须解决底层系统的不一致问题。


主数据管理(MDM)诞生了,与此同时,还需要数据治理策略。业务用户被鼓励或哄骗决定哪些客户和产品的分类是“黄金记录”,要在整个企业中高举,哪些将被投入到部门特定的本地术语的荒野中。这是一个经常激烈的过程,不同的部门争论哪个是分类数据的最佳方式。一些公司文化比其他文化更适合这种方法。高度集中的公司习惯于从高度但分散的方式决定结构,并且努力保持在数据治理结构中。这些公司的分析师认为自己是自由战士,而中央办公室的分析人员则认为他们是数据恐怖分子。


很明显,至少在很多公司中,自由战士现在方兴未艾。这标志着数据准备工具的市场不断增长。这些产品能够访问来自各种来源的数据,包括传统数据库,应用程序包,Excel或企业防火墙外的应用程序。它们支持一些数据质量技术,例如分析,并使业务用户能够设置数据转换,并通过可重复的工作流程自动执行此类提取,数据清理和转换。这些工具拥有自己的分析工具,或者可以调用最新的可视化和数据挖掘产品,使分析师能够根据自己的内容处理数据。


如果企业数据仓库和MDM正在开展工作,那么这样的市场就不会存在。数据准备,质量检查和转换正是准备将数据输入数据仓库的准备。问题是公司数据仓库已超出其自然限制。数据现在来自各种各样的来源,其中许多来自企业之外,并且在这样的数量中,传统的数据管理方法正在崩溃。


电子商务系统可以生成如此大小的网络流量日志,使得普通数据库不能处理该处理。车辆和机械上的传感器现在产生大量的流数据:波音787每次飞行产生几乎1TB的数据。在其他行业中也是如此,汽车,家庭智能电表甚至道路上的传感器都会产生大量数据进行分析。所有这些都是传统企业数据的补充,以及来自业务合作伙伴和数据经纪人的数据。有这么多数据出现在你面前,谁有时间讨论不同客户分类层次结构的优点?


公司需要以某种方式收回对这种快速流动的数据流的控制,如果他们要理解它的话。如果没有办法深入了解并深入了解数据湖泊,数据湖泊将成为数据沼泽。数据治理策略可能不是一个感性的主题,但它是需要发生的事情的核心。那些使用新工具构建自己的提取和转换的分析师需要帮助决定如何管理数据,因为如果你不能就底层数据是否值得信任达成一致,所有漂亮的图表和AI工具都没有任何意义。


在没有某种结构的情况下,我们将回到过去,分析师互相争吵,并争论谁的数据是正确的。将数据精灵放回瓶子中将是困难的并且需要纪律,但是在所有太多的组织中,现在感觉混乱而不是管理。它不是要从高层实施规则,而是要在整个组织层面嵌入分析和数据管理规则。否则,可能会忽略有价值的业务见解,并失去竞争优势。

数据治理

WHY→HOW

既然我们已经知道了数据治理对于现在这样一个数据大爆炸的时代有这么重要,那么其实作为企业要想在公司前进的每一步都走得稳走得准,那么就要求公司在每一个决策上面都要做好准备,而决策—这样一个有着太多不确定因素的决定,要想降低其的不稳定性,那么就要将其建立在可靠的数据分析上面。试问利用“浑浊”的数据做出来的数据分析能否支持公司高层,让其做出更安全更有效的决策呢?


答案是否定的!
那么怎么去做数据治理呢?利用公司的研发部门去在很短的时间里面上线一款适合自己公司的数据治理工具吗?这种费时费力的事情不适合大多数公司来进行,因为对于他们来说集中精力于自己公司所属于的方向是极其重要的,那么选择一款适合企业自身的数据治理工具就极其重要了!
(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据湖与数据仓库之间的桥梁

    数据湖与数据仓库之间的桥梁

    数据湖的吸引力和新颖的功能对传统的数据仓库(DWH)系统构成了巨大的威胁。DWH的主要缺点包括与不适应不断发展的数据环境的刚性内部结构相……查看详情

    发布时间:2021.07.26来源:亿信华辰数据治理知识库浏览量:132次

  • 数据治理的坑,你踩过多少?

    数据治理的坑,你踩过多少?

    大数据时代,数据成为社会和组织的宝贵资产,像工业时代的石油和电力一样驱动万物,然而如果石油的杂质太多,电流的电压不稳,数据的价值岂不是大……查看详情

    发布时间:2020.06.29来源:CSDN浏览量:129次

  • 银行的信息科技部门做数据治理的体验

    银行的信息科技部门做数据治理的体验

    银行对于数据治理的态度:从90年代末开始我国银行业信息化之路就已经开启,到了21世纪越来越多的银行开始利用数据进行更为精准的客户营销、提……查看详情

    发布时间:2020.07.31来源:知乎浏览量:132次

  • 数据治理是一种数据管理概念-维基百科

    数据治理是一种数据管理概念-维基百科

    数据治理是一种数据管理概念,涉及使组织能够确保在数据的整个生命周期中存在高数据质量的能力。数据治理的关键重点领域包括可用性,可用性,一致……查看详情

    发布时间:2018.11.12来源:维基百科浏览量:116次

  • 着力提升工业数据资源管理能力,加快工业互联网创新发展步伐

    着力提升工业数据资源管理能力,加快工业互联网创新发展步伐

    工业互联网是第四次工业革命的重要基石,作为数字化转型的关键支撑力量,正在全球范围不断颠覆传统制造模式、生产组织方式和产业形态,推动传统产……查看详情

    发布时间:2019.03.07来源:数据管理浏览量:140次

  • 数据质量监控

    数据质量监控

    数据质量监控可以分为数据质量的事前预防控制、事中过程控制和事后监督控制:……查看详情

    发布时间:2019.12.06来源:知乎浏览量:176次

  • 数据治理中如何做好数据清理与归档

    数据治理中如何做好数据清理与归档

    传统上,数据的清理和归档属于DBA的职责,随着企业数字化转型、数据治理工作的推进,这项工作也被纳入了数据治理工作的重要内容。数据团队定期……查看详情

    发布时间:2022.05.31来源:互联网浏览量:388次

  • 数据交换管理—企业数据上链的起点

    数据交换管理—企业数据上链的起点

    随着数据体量的增长,大数据处理、大数据应用分析的门槛逐渐提高,社会普遍开始重视数据安全和隐私。目前,数据交换共享平台已成为政府和企业在系……查看详情

    发布时间:2020.08.11来源:知乎浏览量:121次

  • 有效数据治理的几个原则

    有效数据治理的几个原则

    一个好的数据中心将利用自己现有的技术和设备,向用户提供服务,尽量减少操作和维护成本,并最大限度地提高利润。如果你经常担心数据的准确性,并……查看详情

    发布时间:2019.10.21来源:知乎浏览量:107次

  • 元数据管理是什么?元数据管理的意义

    元数据管理是什么?元数据管理的意义

    元数据管理是数据治理工作是重中之重,为什么企业内部的数据质量总是不高?其实只要有数据存在就有数据质量问题存在。但是也可以通过一个有效的管……查看详情

    发布时间:2021.08.11来源:亿信华辰数据治理知识库浏览量:956次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议