如何成功实现一个数据治理项目,大神详细拆解实施要点
发布时间:2021.05.26来源:亿信数据治理知识库浏览量:525次标签:数据治理
数据作为新型生产要素,只有流动、分享、加工处理才能创造价值。如今数据治理成为数字经济必经之路,怎么实现一个数据治理项目成为大家最关心的问题。此文将主要围绕数据治理项目具体阐述实施步骤、工具平台的功能,并基于实践经验,提出数据治理成功的要素。全文有点长,非常实用的干货,建议收藏。
— 01 —数据治理项目成功的前提
数据治理是体系化非常强的工作,首先需要充分考虑企业内部 IT系统、数据资源以及业务应用的开展现状,同时也要考虑围绕业务开展所设立的人员和组织机构的情况,在此基础上设计一套有针对性的数据治理组织架构、管理流程、管理机制和考核评估办法,通过管理的手段明确“责权利”以保障数据治理工作有序开展。
1.制定战略规划
从管理层、领导层出发,从上向下全局部署数据治理规范从而形成全面的标准规则体系和执行调度流程。战略规划是数据治理项目成为企业战略核心任务应用的重要部分,是数据资产得到一定程度内外部应用的指导蓝图。值得一提的是,越来越多的企业单位在战略规划阶段决议成立专门的数据管理部门,以连通 IT 部门和业务部门。
2.完善组织架构
典型的组织架构主要由数据治理委员会、数据治理管理中心和各业务部门构成。组织架构划分和角色设定如下图所示:
数据治理保障措施-组织架构
为了让组织架构中的各个角色相互配合,各司其职,还需要明确他们相应的职责,让工作职责融入到日常的数据治理和使用工作中。
3.建立制度体系
为了保障活动实施和组织架构正常运转,需要建立一套覆盖数据引入、使用、开放等整个生产运营过程的数据管理规范,从制度上保障数据治理工作有据、可行、可控。数据治理规范包括元数据管理规范、生命周期管理规范、数据质量管理规范以及数据安全管理规范等对应管理职能的具体规范。
4.设置审计机制
为进一步保障数据治理的的执行状况,需有完整的贯穿数据治理整个流程的审计机制。审计方式从审计体系规范建设入手,信息技术审计方法和专职人员审计方法并行。审计对象包括数据权限使用制度及其审批流程、日志留存管理办法、数据备份恢复管理机制、监控审计体系规范以及安全操作方案等体系制度规范以及敏感、重要数据。
5.开展培训宣贯
培训宣贯是企业实施数据治理进程中的重要组成部分,是数据治理理论落地实践、流程执行运作的基础,是数据治理牵头部门在技术部门和业务部门之间顺利开展工作的重要保障。企业需利用现有资源,合理安排员工参与数据治理培训、课程。促进员工有效培训和自我提高,提升人员的职业化水平,强化工作的标准化、规范化。
— 02 —数据治理项目的实施要点
企业构建大数据能力步骤一般是“建立组织架构 →应用需求梳理→数据盘点梳理→引进平台技术→汇聚多源数据治理数据→数据应用→数据运营”等。数据治理以数据质量为导向,分布在大数据能力构建的多个环节。数据成熟度不同的企业或单位开展数据治理的具体步骤和实施内容要根据自身情况制定。
1.实施步骤
数据治理可参考按照“统筹规划→管理实施→稽核检查→资产运营”四个阶段的方法策略执行,每个阶段对应的管理职能如图所示。以业务应用目标为指引,企业可以按照自身数据及管理情况制定不同的实施步骤顺序。
数据治理实施步骤
(1)第一阶段:统筹规划
第一阶段是统筹规划过程,制定数据治理战略规划,明确数据治理目标,涉及建立数据治理组织和制度作为保障措施,盘点数据资产,制定数据资产标准规范等,该阶段成果是后续工作的基础。
一般情况下,数据治理的第一步是建立组织责任体系,根据自身情况,制定数据治理制度规范。需要建立一套独立完整的关于数据治理的组织机构,明确各级角色和职责,确定兼职专职人员,保障数据治理的各项管理办法、工作流程的实施,推进工作的有序开展,并逐步打造管理及技术的专业人才团队。
第一步的主要交付物包括:《数据治理规划》、《数据治理认责机制》、《数据治理工作指引》、《数据治理考核评价办法》。
第二步是结合业务盘点数据资产,评估当前数据管理能力。对基础数据的盘点是开展数据治理工作的前提之一,需要分析企业战略及业务现状,结合当前大数据现状及未来发展,盘点企业内外部数据现状,确立数据治理的目标,并逐渐实施需求调研、盘点资产、采集汇聚等专题任务。与此同时,了解企业数据来源、数据采集手段和硬件设备情况,以定位自身数据治理能力,规划未来数据治理成熟度提升方案。
第二步的主要交付物包括:《数据资产盘点清单》、《数据资产管理现状评估》。
第三步是制定数据资产相关的标准规范。在企业组织架构、制度体系和数据资产盘点的基础上,结合国际标准和行业标准,围绕数据资产全生命周期管理,制定相关的数据规范体系,包括元数据标准、核心业务指标数据标准、业务系统数据模型标准、主数据标准、关键业务稽核规则等,使得数据管理人员在工作中有明确的规则可依,同时,建立参考数据和主数据标准、元数据标准(比如元模型标准)、公共代码标准、编码标准等基础类数据标准,以及基础指标标准、计算指标标准等指标类数据标准和关键业务稽核规则。企业应逐步推动相关数据规范和标准的工作建设,使数据有效汇聚和应用,切实保障数据治理的流畅实现。
第三步的主要交付物包括:《数据标准管理办法》。
(2)第二阶段:管理实施
如果说第一阶段重点还在于对数据资产的定义、规划、梳理,第二阶段就是对第一阶段成果的落地实施。
首先,在搭建大数据管理平台、完成数据汇聚工作的基础上,根据企业自身存量数据基础和增量数据预估,建设或采购必要的数据治理平台或引入第三方工具以支撑管理工作,切实建立起企业数据治理能力。(下文会细讲)
其次,要建立安全管理体系,防范数据安全隐患,执行数据安全管理职能。再次,还需要制定和管理主数据,以明确企业核心业务实体的数据,如客户、合作伙伴、员工、产品、物料单、账户等,从而自动、准确、及时地分发和分析整个企业中的数据,并对数据进行验证。
在第二阶段里,需要从数据治理的相关业务、技术部门日常工作流程入手,切实建立起企业数据资产管控能力,包括从业务角度梳理企业数据质量规则,检测数据标准实施情况,保证数据标准规范在企业信息系统生产环境中真正得到执行。针对关键性数据治理工作,可以借助管理工具,建立数据资产的管理流程,保证相关事情都有专人负责。
同时,企业应加强数据资产服务和应用的创新,可以围绕降低数据使用难度、扩大数据覆盖范围、增加数据供给能力等几个方面开展。通过数据可视化、搜索式分析、数据产品化等降低数据使用难度;通过数据“平民化”(如打造数据应用商店)扩大数据覆盖范围,让一线业务人员接触到更多的数据,让数据分布更加均衡;通过数据消费者、数据生产者之间灵活的角色转变,增加数据的供给能力(如形成数据众筹众享模式)。
第二阶段的工作目标主要是为企业打造核心的管理数据资产的能力,同时为企业内数据治理部门形成数据管理的工作环境,概括起来,就是企业数据资产可管理、可落地。
第二阶段主要交付物包括:《数据治理办法》、《数据治理实施细则》(包括数据标准管理、数据质量管理、元数据管理、主数据管理、数据安全管理、数据应用管理等)。
(3)第三阶段:稽核检查
稽核检查阶段是保障数据治理实施阶段涉及各管理职能有效落地执行的重要一环。这个阶段包括检查数据标准执行情况、稽核数据质量、监管数据生命周期等具体任务。这个阶段需要抓好三个“常态化”:
数据标准执行情况检查的常态化
数据标准管理的检查主要从标准制定和标准执行两个方面检查。标准制定的检查主要围绕同国家标准、行业标准的一致性,同时参考与本地标准、数据模型的结合性,包括数据命名规范、数据类别等。标准执行的检查主要围绕标准的落地情况,包括数据标准的创建和更改流程的便捷性、数据标准使用的广泛性、数据标准与主数据的动态一致性等。
数据质量稽核的常态化
应对数据质量问题,首先要提升数据质量意识。其次,建立一套良性循环、动态更新的数据质量管理流程,制定符合业务目标的数据质量稽核规则,明确在数据全生命周期管理各环节的数据质量提升关键点,持续评估和监督数据质量与数据质量服务水平。
灵活配置数据存储策略的常态化
数据生命周期管理,其目标是以完全支持企业业务目标和服务水平的需求,根据数据对企业的价值进行分类分级,形成数据资产目录,然后制定相应的策略,确定最优服务水平和最低成本,将数据转移到相应的存储介质上,争取以最低的成本提供适当级别的保护、复制和恢复。
数据资产安全检查的常态化
企业应通过建立对数据资产及相关信息系统进行保护的体系,合规采集数据、应用数据,依法保护客户隐私,提高数据安全意识,定期进行数据资产安全检查,保证数据的完整性、保密性、可用性。
第三阶段主要交付物包括:《数据治理稽核办法》、《数据治理问题管理办法》。
(4)第四阶段:资产运营
通过前三个阶段,企业已经能够建立基本的数据治理能力,在此基础上,还需要具备以实现业务价值为导向,以用户为中心,为企业内外部不同层面用户提供数据价值的能力。资产运营阶段是数据治理实现价值的最终阶段,该阶段包括开展数据资产价值评估、数据资产内部共享和运营流通等。
数据资产价值评估能够以合理的方式管理内部数据和提供对外服务。在大数据时代,数据运营企业关于数据价值的实现是体现在数据分析、数据交易层面。只有对数据资产价值进行合理的评估,才能以更合理的方式管理内部数据和提供数据对外服务。
数据资产内部共享和运营流通需要加强管理运营手段和方式方法,促进数据资产对内支撑业务应用,对外形成数据服务能力,打造数据资产综合运营能力。
第四阶段主要交付物包括:《数据资产价值评估方法》、《数据资产成本管理方法》、《数据资产共享流通管理办法》。
2.实践模型
数据治理在“统筹规划→管理实施→稽核检查→资产运营”四个阶段的方法策略执行参照下,还可以根据两个思考维度,选择一些常用的实践模式。其一是组织方式,有自上而下的顶层设计模式和自下而上的各个击破模式两种类型;其二是建设策略,有生产系统优先和数据系统优先两种类型。
(1)数据治理的建设策略
企业数据治理的建设策略主要包括自上而下和自下而上两种方式。
如果企业将数据治理纳入战略规划,且企业的高层拥有较大的决策权,可以采用自上而下的建设策略,结合企业业务发展目标制定长远的数据治理规划。
如果企业的数据管理部门具有一定的独立性,并且具备专业技能和相关经验,可以采用自下而上的建设 策略,以探索数据治理需求为驱动力,通过问题导向,推动企业数据治理的逐步完善。
数据治理自上而下建设策略的显著特点是“规范、标准先行”,项目开展通常由数据治理咨询项目开头,这种模式通常有以下几项重要活动:调研数据资产分布现状、评估数据治理水平、建设数据治理体系。
数据治理自下而上建设策略的显著特点是“问题导向、系统建设先行、快速见效”。以解决各业务部门和业务系统数据管理中的问题为出发点,通过使用成熟的数据治理工具,快速搭建数据治理平台,实现问题的逐个击破,并逐渐探索出全面的解决方案。
(2)数据治理的切入方式
在建设策略方面,一般从生产系统入手或数据系统入手。从生产系统入手的常用建设模式包括企业数据模型建设模式以及主数据建设模式。从数据系统入手的常用建设模式包括统一数据平台模式和数据集市模式。
企业在选择不同建设策略的时候,可以考虑数据对于企业的重要性以及企业目前对于数据的管理水平。如果数据是企业重要的业务资源,同时企业已经具备了一定的数据管理专业水平和经验,可以通过从数据系统入手的实施方式,通过修复数据管理漏洞、提升数据服务应用水平,推进数据管理能力建设。如果企业的数据管理水平并不成熟,那么选择直接从数据管理系统入手有些冒险,而从业务系统入手则较为稳妥,也易见成效。
— 03 —数据治理实践离不开数据治理软件工具
数据治理实践实施过程中,需要依托具体的软件工具来执行。而且随着技术的发展,软件工具的自动化、智能化程度不断地提高,在数据治理中的作用越来越大。
目前针对上述管理职能,业界很多厂商都开发了相关数据治理工具,但多是单独功能呈现的软件,而亿信华辰睿治数据治理平台是由元数据管理、数据标准管理、数据质量管理、数据集成管理、主数据管理、数据交换管理、数据资产管理、数据安全管理、数据生命周期管理9大产品模块组成的功能齐全的数据治理工具:
睿治数据治理平台架构图
睿治数据治理平台功能全解
01元数据管理
端到端的自动化采集,一键元数据分析,快速理清数据资源,了解数据来龙去脉,构建数据地图。
02数据标准管理
提供全面完整的数据标准管理流程及办法,用于决定和建立单一、准确、权威的事实来源。
03数据质量管理
通过向导化、可视化等简易操作手段,将质量评估、质量检核、质量整改与质量报告等工作环节进行流程整合,形成完整的数据质量管理闭环。
04数据集成管理
实现跨部门数据的传输、加载、清洗、转换和整合,支持自定义调度和图形化监控,实现统一调度、统一监控。
05主数据管理
对需要共享的数据建立统一视图和集中管理,为各业务系统数据调用提供黄金数据。
06数据交换管理
将若干个业务子系统之间进行数据或者文字的传输和共享,集数据采集、处理分发、交换传输于一体。
07数据资产管理
丰富的服务接口拓展,支撑数据资产的多渠道应用,如数据共享、决策支持等,最终实现数据资产价值最大化。
08数据安全管理
提供对隐私数据的加密、脱敏、模糊化处理、数据库授权监控等多种数据安全管理措施,全方位保障数据的安全运作。
09数据生命周期管理
记录数据从创建和初始存储,到过时被删除的整个流动过程,对数据进行近线归档、离线归档、销毁和全生命周期监控。
睿治数据治理平台的九大产品模块可灵活组合使用,通过有型的产品支撑和实施方法论,解决大企业面临的数据孤岛、数据维护混乱、数据价值利用低的问题,依据企业特有的业务和架构,构建一套源源不断地把数据变成资产并服务于业务的、可持续让企业数据用起来的机制,让数据可见、可懂、可用、可运营。
— 04 —结语
数据在实现价值的过程中需要充分依托技术,但更离不开结合自身业务与应用,合理规划。同时,数据治理是一项持之以恒的工作,不可能一蹴而就,需要一个循序渐进的过程分阶段进行。要做好充分地长期作战准备,就一定要加强数据合规操作,避免安全漏洞,及时风险风控。
-
数据安全治理所遵循的三大原则
搞清楚数据安全要解决哪些问题、大数据时代下解决这些问题所面临的主要挑战,就可以梳理数据安全治理的核心思路了。简单说,数据安全治理可以遵循……查看详情发布时间:2019.05.23来源:知乎浏览量:55次
-
什么是主数据管理,主数据管理平台有哪些功能?
企业主数据指企业内一致并共享的业务主体。主数据具有准确性、一致性、集成性、共享性/可重用性和高价值的特点。它是能够在各个业务部门、业务系……查看详情发布时间:2022.05.27来源:小亿浏览量:146次
-
大数据时代企业数据治理应该怎么做?
大数据不是凭空而来的,1981年第一个数据仓库诞生,到现在已经有近40年的历史了,而国内的企业数据平台的建设是从90年代末才开始的,从第……查看详情发布时间:2019.08.01来源:知乎浏览量:92次
-
数据治理——精细科学的政策平衡
数据泄露、滥用、歧视这些负面事件如同天空中的阴霾,不断加深着人们对数据治理的悲观情绪。 的确,这一年被数据泄露贯穿始终,规模日……查看详情发布时间:2019.01.08来源:亿信华辰浏览量:75次
-
什么是数据治理,为什么重要?
没有有效的数据治理,组织中不同系统中的数据不一致可能无法解决。例如,在销售,物流和客户服务系统中,客户名称可能会以不同的方式列出。……查看详情发布时间:2021.04.01来源:浏览量:108次
-
用于指导金融行业开展大数据基础平台建设技术类标准
技术类标准用于指导金融行业开展大数据基础平台建设。大数据技术本身涉及内容广泛,既包含大数据平台本身的基础软件和各类功能组件,又包括基于业……查看详情发布时间:2019.12.27来源:CSDN浏览量:95次
-
11个顶级数据治理平台
虽然许多组织更加重视他们的数据治理计划,但“大多数企业都会在企业数据治理方面遇到困难,而他们最初只关注客户,供应商或产品,”MDM研究所……查看详情发布时间:2018.11.16来源:David Weldon浏览量:367次