数据治理全域解决方案来了:对症下药 各个击破
发布时间:2022.01.22来源:小亿浏览量:773次标签:数据治理
如今数据治理作为数字化转型的基础,成为了数字化变革中的焦点和主战场。不少小伙伴向小亿诉苦,“到底该如何着手做数据治理,能不能先做元数据管理或者主数据管理?”诸多困惑抛过来。
为此,亿信华辰基于多年的项目实施经验、成熟的数据治理产品与丰富的大数据技术能力相结合,精心打磨面向数字化转型不同阶段的数据治理全域解决方案,8大方案覆盖数据资产盘点、数据标准、数据质量、指标建设、数据仓库、数据中心等多个领域,针对所有数据问题,对症下药,各个击破,实现为客户持续赋能、落地见效的目的。
01、十四五迈向全域数治时代
1.全域数治=全域治理X数据治理
“十四五”规划里面,治理这个词一共出现了119次。全域治理是“十四五”提出的重要时代命题。而在数字经济时代,我国政府和企业已进入全社会多层次、多领域、多效能的全域数冶时代。
“全域数治”是什么?有这样一个公式可以完美呈现,即全域数治=全域治理X数据治理。“全域数治”就是借助数字技术,创新治理机制、再造治理流程,并推动治理主体、治理要素、治理领域之间的有效协调,从而实现整体性、系统性和智慧化的治理。可以说,全域数治是在社会全域治理大背景数字经济价值的倍增器。
2.“全”字当头,纵深精耕
全域数治,“全”字当头,归纳总结主要表现为“全要素、全领域、全过程”。以数字赋能为目标,以数据治理为手段,才能以治变创智变。
从国家层面来说:
一是跨部门跨层级跨地区的全要素治理,强调建立跨层级部门的综合协同体系和常规性合作治理机制,破除协同治理的障碍;
二是强调统筹谋划综合性治理体系的全领域治理,纵深协同推进基层政治、经济、社会、文化和生态文明等各方面能力建设;
三是借助平等开放包容的合作平台和载体的全过程治理,实现所有治理要素在整个治理过程中的及时有效流转。
举个例子,目前大众熟知的各类“城市大脑”平台,就是完美的全域数治的例子,通过用数据管理、决策、服务,建立起一系列跨地区、跨部门、跨层级的协同工作平台和相应的管理机制,为大数据时代城市治理体系和治理能力现代化注入了强劲动力。
而在企业层面,
一是涉及“人、财、物、产、供、销、存”的全要素治理,通过对全部要素的优化治理,从而帮助企业实现其成本、收益、风险三者的最优化控制目标;
二是跨企业组织、跨领导层级的全领域治理,从所有职能角色出发,包括但不局限于研发视角、产品视角、业务视角、运营视角等角色清晰确定数据治理涉及的范围,制定可量化、可执行的实施与评估方法;
三是针对企业数字业务全生命周期全流程治理,根据数据价值随时间推移的演化关系从而制定合理的数据治理策略。
现在有一句流行的话语叫做业务数据化、数据资产化。究竟怎么做?首要任务就是把企业端人财物产供销存七要素纳入相关的管理,同时在企业的内部打破层级,跨企业的组织和部门,能够实现全领域治理。针对数据全生命周期,进行数字化管理的相关工作。
02、数据治理全域解决方案
1.大数据治理解决方案
(1)场景介绍
侧重于整个数据治理体系的搭建,包括数据标准管理、元数据管理、质量管理、资产管理、安全管理、数据生命周期管理,更多通过一种管理的视角去打数据地基,把我们的数据管理更加规范化。
(2)方案内容
数据治理工作作为一个管理体系,包括组织、制度、流程、工具,全方位保障数据,改善数据决策,提升数据可信,防范数据风险。方案通过数据治理工作提升数据的价值,为企业实现数字战略夯实基础。
搭建数据治理组织体系
设计专职机构,明确组织目标与定位,定义岗位职责边界,搭建数据治理各领域制度流程。
评估数据治理成熟度
收集企业在信息使用中存在的障碍和挑战,理清企业数据现状和用户需求,评估企业数据治理成熟度级别,确定数据治理目标。
建设数据治理专项能力
从数据标准管理、元数据管理、质量管理、资产管理、安全管理、数据生命周期管理等各个领域完成专项治理工作,从采、存、管、用四大方面解决数据来源杂、关系乱、质量差、安全没保障,实现业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性。
持续优化循环
通过评估各领域建设成效结果,对比治理目标,改进流程,形成新一轮数据治理工作。
2.大数据资产管理解决方案
(1)场景介绍
面向数据价值的视角,更关注数据的增值、利用和应用视角。提供集数据集成、数据治理、资产规划开发、资产运营等场景应用的一站式数据治理和智能数据资产管理服务。
(2)方案内容
数据资产管理平台遵循“全局意识、业务为本、数据为核、分步演进、局部执行”为原则,围绕“1+4+N”模式来建设和开展,助力数据资产管理项目敏捷建设和迭代升级。
1个策略:保障数据资产管理职能落地实施;
4大职能体系:以数据集成、数据治理、资产规划开发、资产运营四大管理职能为支撑;
N项服务:服务N个数据增值应用和数字化应用场景。
数据集成
实现企业中多源异构数据的采集,并进行有效的整合和开发,让数据实现更多的关联和碰撞,确保数据资产的完整性。
数据治理
构建统一可执行的标准,提升数据质量,发掘数据关系,建立数据认责和问责机制,治理后的标准化数据,才能融会贯通到不同的业务领域。
资产规划开发
构建统一、规范的数据资产视角,合适的服务方式,将数据向全业务条线推广,使数据能够更好的反哺企业业务的发展。
资产运营
推广高价值的数据,收集数据资产需求,不断完善、拓展整个数据资产体系,通过运营让数据精准有效、安全合规的被数据消费者使用。
3.主数据管理解决方案
(1)场景介绍
以主数据为视角,做一个专项的主数据工作。用于对实体属性数据(如物资、客商、人员、财务)等各类主数据进行全生命周期管理,保障各业务系统中主数据的一致性、权威性、共享性,提高企业运营效率。
(2)方案内容
方案包括清晰定义主数据、统一主数据的数据来源、主数据标准、加工及流转过程、输出质量等,实现主数据在各个业务系统之间的数据共享和互联互通,最大限度地共享和维护数据的一致性和完整性。
建立主数据管理标准
结合企业现状打造一整套符合自身业务特征的主数据管理标准,提供面向各行业的标准模板库,助力企业从数据标准、服务标准、管控标准等多维度建立一整套权威的主数据模型。
多源异构数据集成
提供多种类型数据源集成方式,实现多源异构数据的集成与整合,从数据集成、数据转换、历史数据清洗、数据整合等方面,从源头把控主数据质量,搭建主数据信息平台。
主数据全生命周期管理
实现对主数据采集、申请、新增、变更、审核、生效、失效、分发等全生命周期管理,支持可自定义的质检方案到整改的全流程主数据质量管控服务,确保主数据的完整性、准确性、一致性、及时性和可获取性。
主数据传输共享
结合企业实际情况,制定合适的分发策略,满足不同业务系统的数据需求。
4.数据标准化及质量管控解决方案
(1)场景介绍
为企业设立数据标准规范,提高并管控数据质量,保证企业数据的准确性、一致性、完整性、合理性、及时性、有效性等,保证业务数据应用及业务决策的正确性。
(2)方案内容
方案以数据检核为依据,以元数据为数据检核对象,编制数据标准、检查并整改数据质量问题、遵循PDCA模型原则,逐步提高数据质量,该方案的框架如下图:
数据标准建立与评估
通过定义符合企业的基础数据标准、指标数据标准、代码数据标准,形成一套企业自身数据需求的应用标准,防止用语的混用,通过标准评估来维持企业数据模型的一贯性,确保数据的正确性及质量。
数据质量管控
通过业务数据质量规范形成质检规则,定期检查业务数据的正确性,监控错误数据整改过程,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。
元数据管理
通过企业的数据需求战略,定义元数据架构,采集、维护、检核、分析元数据,通过元数据变更管控,保证数据抽取、数据服务的正确性,从源头控制数据质量。
5.数据资产盘点解决方案
(1)场景介绍
数据资产盘点就是元数据治理项目,数据资产盘点核心内涵就是盘点企业内部的数据,摸清企业数据资源家底,搭建全域数据分类管理框架,同步构建常态化的数据盘点机制,实现数据资源的全生命周期可视化管理。
(2)方案内容
方案包括元数据摸底、元数据维护、数据资产分类框架、数据资产目录构建。通过盘点数据资产,形成企业级的数据资产目录,为企业数据创新应用打好坚实基础,方案架构如下:
元数据摸查
对接企业业务系统、数据湖或者数据仓库,采集元数据自动获取原始的企业数据字典及数据之间的关系,形成企业元数据地图。
有效性资源标注
制定有效资源判断规则,基于采集的元数据,对全量数据资源进行自动识别,筛选出空表、备份表、临时表等无效资源,并补充辅助理解数据业务含义的信息,形成更完整、有效的资源元数据,为数据资产分类做铺垫。
数据资产编目
按照业务条线、组织架构、数据特性等多个维度构建数据资产分类框架,基于元数据信息完善数据资产目录信息,补充与资产相关的业务、权属信息,形成面向数据消费者的数据资产门户。
数据资产服务
建立数据资产目录与实体资源的映射关系,开发面向不同消费者的数据服务类型,满足业务系统、数据分析师、前台业务人员多样的数据需求。
6.指标体系解决方案
(1)场景介绍
围绕企业的经营指标、指标体系的管理,为了对指标进行统一管理,同时面向业务人员和技术人员,提供一站式智能化指标标准管理、指标分析等服务。
(2)方案内容
方案包括了指标的查找、梳理、管理、应用,并结合了指标管理的最佳实践流程得以实现。
指标管理流程
找指标:帮助企业将指标管理自上而下的展开工作,自下而上的筛选指标;
理指标:梳理指标以建立契合业务的指标体系;
管指标:建立企业常态化管理机制,将指标责任到人;
用指标:规划并建立指标体系在信息化中的应用。
指标管理最佳实践
指标体系建设:通过确定指标范围、识别指标、指标解析、确定指标源头,来确定指标的体系框架;
多源整合:采集多源异构数据,有机整合企业所有系统业务数据,解决信息孤岛,实现数据统一管理;
指标数据落地:通过指标定义、指标建模、指标数据抽取使指标落地到平台中,并采取措施进行有效地管理;
指标分析展现:内置丰富的统计图表,支持全自动的钻取联动,满足业务人员猜想式、探索式的指标挖掘分析。
7.数据仓库及商业智能解决方案
(1)场景介绍
面向数据的增值利用,为企业提供数据仓库和数据集市搭建、外部数据补录、综合指标分析、KPI指标预警及预测等内容的建设,满足日常管理工作,同时也能够为业务决策提供支撑。
(2)方案内容
以数据仓库建设为基础,数据收集、数据分析和商务智能技术为主要手段,通过统一访问门户为用户提供各类数据应用服务,方案的核心内容为:数据仓库建设、数据补录、数据分析展示。
数据仓库建设
基于各业务部门报表需求,对业务数据进行有机整合,实现统一管理。数据仓库建设包括基础数据平台、公共汇总层、数据集市等建设,并通过灵活的ETL调度对作业执行情况监控。
数据源采集与补录
数据源采集对统计的维度指标数据进行录入,数据源补录将明细业务数据补录主题数据层即数据集市层中,作为对原始业务数据的补充校正。
数据分析能力
构建数据仓库时遵循规范的“事实表+维表”的数据库模型,通过OLAP引擎实现下钻、切片、旋转、钻透等操作,使用户能很容易地实现已有的业务需求。
数据分析展现
通过各种分析手段(包括:统计图展现、报表查询、即席分析、报告分析、领导驾驶舱、地图分析等),满足不同分析场景(包括:综合业务查询、KPI指标展现、季度汇报报告、数据自助探查、指挥中心大屏等)。
8.仓湖一体化数据中心解决方案
(1)场景介绍
数据中心是中国五大新基建之一,建一个涵盖仓湖的一体化大数据中心是企业的重要举措。集数据存储、数据集成、数据交换、数据共享等一体,综合数据湖、数据仓库两种技术演进方向,为企业用户提供云原生仓湖一体解决方案。
(2)方案内容
仓湖一体大数据中心平台是基于大数据技术的全新数据应用平台,提供云原生特性、支持存算分离架构、继承RDBMS数据库功能和ACID特性、支持工业级SQL标准、混合MPP+DAG计算引擎等一系列关键技术。帮助企业有效应对大规模、多样化、高时效、智能化的数据应用需求,为企业从BI到AI提供全新的数据基础架构。
数据集成
实现多源异构数据高效入湖,支持批/流/实时数据多种方式接入,快速实现企业应用所需的数据铺底。
数据交换
利用底层整合的信息资源,以实现各部门业务数据在应用层面的互联互通和信息共享,提供增量识别、数据清洗、数据传输、数据压缩、一致性验证等多种手段保证数据的接入,规范数据流转,提升数据共享水平,更加有效发挥数据资产价值,并提供多套数据脱敏方案和加密算法保证数据的安全性。
数据开发
提供可视化数据开发平台,丰富的数据开发组件,全自动的作业调度和监控能力,支持多人在线协同开发,极大地降低了用户使用大数据的门槛,帮助用户快速实现数据加工与处理。
数据存储
支持存算分离架构,统一管理湖仓共享存储,同一份数据和元数据共享多种应用直接访问,分级存储进一步增强了弹性扩展能力,让企业拥有一个高可扩展的统一数据基础设施。
数据治理作为一项长期的工作,将分拆成一个一个的数据治理项目,是不断去迭代、完善的。
亿信华辰8大数据治理方案已成功应用政府、金融、能源、制造、教育等不同行业,以力求为客户提供更简单、更规范、更高效、更智能的数据治理软件产品,以协同化、智能化的产品能力帮助客户企业由“人管数”到“智能化管数”的质变。
-
数据交换管理平台-数据交换的枢纽站
数据交换平台是数据中心与其它应用系统沟通的桥梁,是进行数据交换的枢纽站。数据交换平台负责从各个业务系统采集数据,对数据进行清洗与整合,按……查看详情发布时间:2020.04.23来源:知乎浏览量:90次
-
以数据中台为切入点,场景/应用驱动源头数据治理
数据中台通常是应用驱动构建,所处理的数据是业务关心和使用的数据。在数据中台开发与运营服务的过程中,面临很多源头数据的问题,比如不同系统的……查看详情发布时间:2020.04.01来源:知乎浏览量:104次
-
如何利用元数据管理数据资产
如今,各大企业都在关心数据该如何使用,但大数据应用的前提是有高质量的数据。而很多企业内部数据形态多样,标准不统一,大数据应用往往得从数据……查看详情发布时间:2020.11.05来源:知乎浏览量:87次
-
微软收购BlueTalon以支持数据治理产品
微软今天宣布收购BlueTalon,这是一家总部位于加利福尼亚州雷德伍德市的跨平台数据访问控制解决方案提供商,收购金额不详。Azure ……查看详情发布时间:2019.08.02来源:知乎浏览量:82次
-
如何获得各部门系统的数据?
不少学校在开展数据治理的时候,会遇到部门数据共享的问题。一方面,一些部门不愿意分享所管理的数据,比如,认为拥有某些数据是特权,或担心数据……查看详情发布时间:2020.10.31来源:知乎浏览量:156次
-
如何保证所基于的数据具有高质量?
基于数据决策的前提是数据可靠且相关,数据必须是“真实可信的”,否则“输出将是误导和无效的”。但是学校所收集的数据可能不完全,或者更新不及……查看详情发布时间:2020.10.31来源:知乎浏览量:92次
-
数据资产管理领域重要的三个方向
数据资产管理领域重要的三个方向包括:资产分析、资产治理、资产应用,并需要基于这三个方向的技术研究和实战,将流程、经验、标准和规范等产品化……查看详情发布时间:2020.11.06来源:知乎浏览量:64次
-
数据治理流程中,最重要的3点都在这
数据治理能够带来的好处就在于,更高效地帮助企业将数据价值转化成实际的业务价值。数据“井喷”仍在进行,机器学习、AI等这类十分依赖数据质量……查看详情发布时间:2021.05.10来源:亿信数据治理知识库浏览量:405次