数据治理、共享交换、数据仓库、数据中心的关系

发布时间:2019.08.07来源:CSDN浏览量:220次标签:数据治理

建数据中心离不开数据,以前设计数据库都是从事务性数据库考虑(做的都是业务系统,思维模式太固定了),没有从数据仓库的角度来统管分析。以下是从数据仓库的角度考虑数据中心的建设:

 

政府的数据中心建设基本就包括这几个步骤:
1、数据源:支持不同部门的各类来源数据,包括文件型、数据库型、Http服务型和JMS消息型,可以读取各类数据
2、数据汇聚:这里是通过软件实现原始数据的读取存储,将不同的数据都存储到各自的数据库;因为保证与每个部门不发生扯皮的问题,所以必须保证读取的原始数据是对的,要独立存储不做任何加工,组织就按照同步的部门科室进行存放;所以就对应数据仓库的ODS层
3、数据处理:这里是对汇聚的原始数据进行初步的ETL处理,实现对数据的清洗、加工,补全各类信息(包括编码字典解释等),这个步骤的目的是实现数据的规范化,这里的数据也是落地存储物理库,作为抽取中间库DWD层
4、数据融合:这里是对规范化的原始数据进行融合处理,建立数据之间的关系模型,比如抽取成独立的人口库模型:

 

数据融合主要是按照一个业务领域进行数据建模。
5、数据集市:是对领域模型数据进行汇总统计分析,将统计分析的结果进行存储,简单解释可以理解为一般业务统计的中间表(提高统计效率,将统计成果进行定期存储),当然这里不止这么点,结合现在时髦的大数据分析,也就是将分析结果在集市层存储,为上层应用提供数据源。
6、最后一个是核心的元数据库,这里的元数据核心要存储以上4个库的表及字段元数据,可以实现整个数据处理过程的追溯。

从以上分析,了解共享交换的同学,可能直接就说了上面的数据汇聚、数据处理不就是传统的交换吗?只是换了一个说法;这个说法也没问题,只是这里是从政府业务和数据仓库的角度来说,传统的交换是直接将原始数据文件读取到后进行了ETL处理,形成交换库;这里是从政府安全追责的角度分析,形成2个步骤;所以数据中心的建设是包括数据交换的,只是交换处理的思路在变化。
从数据处理到数据融合,这里是要创建业务模型,按照业务模型进行数据处理,处理的工具一般也是ETL工具;所以共享交换只是强调了软件技术,没有从整体进行规划,它只是真个数据中心建设里的一个技术工具之一。
从数据融合到数据集市,又有几种形态:1、传统的数据统计,2、数据挖掘,3、大数据分析;这几种技术都可以形成数据集市的数据。

数据治理是一个更大的概念:

 

在数据仓库的基础上,更加强调数据的质量与数据安全;现在的数据治理也是叫大数据治理,是大数据建设的基础,毕竟是强调大数据平台里的核心,数据部分。只有数据是可依靠的,才能用来做大数据分析,否则就是无源之水了,谁也不敢相信。
数据质量,核心就是要依靠元数据的管理;来实现整个数据处理过程的跟踪,知道目标数据的源头可以一步步的追溯到数据的提供者。
数据中心则是一个业务上的叫法,包括机制规范、相关软件、数据、处理过程的构建,都是数据中心建设的步骤。数据中心就是通过数据治理形成可以对外统一提供服务的数据。

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 国内数据治理平台厂商介绍

    国内数据治理平台厂商介绍

    睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情

    发布时间:2019.09.19来源:知乎浏览量:216次

  • 数据虚拟化 实现大数据的有效管理

    数据虚拟化 实现大数据的有效管理

    关于在石油天然气的钻探和出产过程中所发生的数据的价值,并没有太多的争议。尽管数字化油田运动的最初意图,是将与设备的监测和维护相关的使命完……查看详情

    发布时间:2019.03.05来源:亿信华辰浏览量:151次

  • 大数据治理需要具备哪些能力和关键技术

    大数据治理需要具备哪些能力和关键技术

    从企业的数据资产管理和提升数据质量等的数据应用上,大数据治理的内容在不断地发展和完善,在其落地实施的过程中面临着巨大的挑战。我们现在通过……查看详情

    发布时间:2019.08.13来源:知乎浏览量:148次

  • 数据治理寻求未来:平衡数据治理和数据管理

    数据治理寻求未来:平衡数据治理和数据管理

    想要通过快速访问高质量数据,灌输信心并支持数据驱动的决策,为业务合作伙伴创造竞争优势吗?那么这篇文章你一定得看!……查看详情

    发布时间:2019.08.29来源:知乎浏览量:115次

  • 数据治理的伦理 - “数据带来利益和负债”

    数据治理的伦理 - “数据带来利益和负债”

    数据从未像现在这样强大。2018年发现了一些历史上最大的数据泄露事件,包括万豪酒店集团违规行为和剑桥分析公司丑闻,两者都对国际关系产生了……查看详情

    发布时间:2019.03.12来源:亿信华辰浏览量:149次

  • 医疗领域的数据治理

    医疗领域的数据治理

    数据治理将为患者和护理人员实现价值。医疗保健系统和提供者越来越关注使用证据来为临床和运营决策提供信息的需求。这导致他们组装并批判性地评估……查看详情

    发布时间:2018.11.20来源:Lydia Lee浏览量:157次

  • 数据驱动,高效的数据质量管理才是是重中之重

    数据驱动,高效的数据质量管理才是是重中之重

    给领导汇报工作时,你是否对报告的基础数据质量产生过担忧,担心质量不达标呢?大数据时代数据的核心不是“大”,而在于“有价值”,而有价值的关……查看详情

    发布时间:2019.05.06来源:亿信华辰浏览量:205次

  • 企业架构与数据治理:探索链接

    企业架构与数据治理:探索链接

    从公司意义上讲,创新管理是通过采用创新的想法,产品,流程和业务模型,快速有效地实现组织目标。大多数组织开始意识到,为了推动业务增长并保持……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:161次

  • 什么是敏捷数据管理?敏捷数据管理的技术原则

    什么是敏捷数据管理?敏捷数据管理的技术原则

    在大数据的时代,大家都在重视数据存储和大数据相关技术的同时,都开始注重建设数据管理能力。在海量复杂数据的场景下,如果没有有效的管理,那么……查看详情

    发布时间:2022.03.03来源:小亿浏览量:266次

  • 面对如今的数据挑战企业如何有效地进行数据治理

    面对如今的数据挑战企业如何有效地进行数据治理

    数据治理是对数据资产管理行使权力和控制的活动集合,数据治理是识别、管理和解决几种不同类型数据相关问题的手段,包括数据质量问题、数据命名和……查看详情

    发布时间:2019.08.29来源:知乎浏览量:177次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议