数据治理理论

发布时间:2019.08.27来源:知乎浏览量:284次标签:数据治理

1、什么是数据治理
数据治理是对数据资产的管理行使权力和控制的活劢集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

2、开展数据治理的背景和价值
2.1 背景
–企业数据仓库/BI建设
–数据集成/SOA
–大数据
–数据质量问题和影响
主数据管理
–公共业务术语
–合规问题
–安全问题
–兼并收购
2.2 价值
–提升数据质量(80.2%)
–为共享数据建立清晰的决策规则和决策流程(65.6%)
–提升数据资产的价值(59.4%)
–提供解决数据问题的机制(56.8%)
–促进IT和非IT人员共同参与决策(55.7%)
–促进部门和业务单元之间的协同和互相依赖(46.9%)
–为共享数据建立共同责任制(45.3%)
–其他(8.8%)

3、数据治理的组织架构
 数据治理
3.1 数据管理专员制度
数据管理与员制度是为数据资产管理分配的、委托的业务职责和正式的认责
–是数据管理工作在业务方面的职责,对应的还有IT数据丏业人员的职责。
3.2 数据管理与员(Data stewards)定义和监视数据的定义、质量、访问和保留
–数据治理——对“如何管理数据”进行决策
–定义业务数据的名称、业务含义
–定义和维护参考数据值
–定义业务数据需求
–识别和解决数据问题
–定义数据质量需求和度量指标
–定义主数据管理和数据衍生计算的业务规则
–定义某些数据安全和访问规则
–定义某些数据保留规则和规程
–监视数据质量

4、数据架构
数据架构应该与业务、流程、应用、技术等架构相匹配一致
 数据架构

5、主数据和参考数据管理
主数据是关于关键业务实体的权威的、最准确的数据。主数据值被认为是“黄金”数据。
–当事人(Parties):用户画像;
–产品(Products):统一产品SKU;
–财务结构(Financial structures):会计科目;
–位置(Locations):省、城市、地址等。
确保多系统的数据一致性

主数据管理系统架构
 主数据管理

6、元数据管理
6.1 元数据分类
 

6.2 元数据管理系统架构
从分散的系统中获取元数据,为业务和技术人员提供统一的数据地图
数据可追溯、数据质量有保障
 

7、数据质量管理
7.1 定义数据质量需求
数据质量需求:
–数据质量需求通常隐含在业务政策之中,描述数据是否符合“适用性”(Fitness for Purpose)需求。
数据质量维度包括:
–准确性(Accuracy)
–完整性(Completeness)
–一致性(Consistency)
–时效性(Currency)
–精确度(Precision)
–隐私(Privacy)
–合理性(Reasonableness)
–参照完整性(Referential Integrity)
–及时性(Timeliness)
–唯一性(Uniqueness)
–有效性(Validity)

剖析、分析和评估数据质量
记录的填充率;
每个数据属性中填充的数值的数量;
频繁出现的数值;
可能的异常值
同一张表中字段的关系;
跨表的关系。

7.2 数据质量管理首要工作:开发和提升数据质量意识
数据质量意识:
–包括能够将数据质量问题不其实质影响联系起来,向监管者保证系统化的数据质量管理方法和对组织内数据质量的全面洞察,还包括传达一种“数据质量问题丌能仅仅依靠技术手段解决”的理念。
开发和提升数据质量意识步骤:
–提供一些数据质量核心概念的培训。
–为数据质量建立数据治理框架。
–创建数据质量管理委员会(Data Quality Oversight Board),与各级数据治理角色建立汇报层级关系。

8、数据的生命周期管理
将各项数据治理与管理手段贯穿始终
- 企业管理数据资产,就是管理数据的生命周期。
- 数据先被创建戒获得,然后存储、维护和使用,最终被销毁。
-有效的数据管理,数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。
 

9、常见数据治理工具的功能
–原则和政策管理
–业务规则和标准管理
–组织管理
–工作流(问题和审计)
–数据字典
–企业搜索
–文档管理
–指标收集、整合和展示
–与工作流和其他方法论集成
–培训和合作功能

10、大数据治理的要点
•大数据:4V;社交数据,机器数据等
•大数据对传统数据治理框架带来扩展
–政策/流程:应覆盖大数据的获取、处理、存储、安全等环节
–数据管理与员制度:为大数据设置数据管理丏员
–数据集成:大数据与MDM的集成,需要统一元数据标准,对大数据做定义
–数据生命周期管理:数据存储、保留、归档、处置;大数据保存时间与存储空间平衡
–数据质量:大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。
–元数据和数据定义:大数据需要与内容相关的元数据,需与传统数据定义标准保持一致;术语字典应包含大数据的术语;需要为非结构化数据提供分类、语义支持;Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理
–隐私:应考虑社交数据的隐私保护需求,制定政策
–风险:大数据治理与内外部风险管控需求建立联系

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 浅谈数据治理的发展趋势

    浅谈数据治理的发展趋势

    随着大数据技术的飞速发展,大数据已经融入到了各行各业,为了能让各企业的数据资产得到充分的利用,数据治理非常重要,如今数据治理已经逐渐成为……查看详情

    发布时间:2019.07.17来源:知乎浏览量:105次

  • 数据质量包括那些方面

    数据质量包括那些方面

    数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。……查看详情

    发布时间:2020.04.09来源:百度浏览量:167次

  • 数据治理在有效合规计划中的作用

    数据治理在有效合规计划中的作用

    有效的合规计划由许多活动部分组成。关键数据来自运行操作所需的各种工具,文档,系统和技术。因此,企业在试图获得任何特定时间的风险状况的完整……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:93次

  • 保险行业怎样打造数据治理闭环?

    保险行业怎样打造数据治理闭环?

    今天给大家分享一下保险行业数据治理的心得,个人认为保险行业的数据治理可以作为标杆了。根据以下3点我们来了解下保险行业是如何打造数据治理的……查看详情

    发布时间:2022.01.23来源:互联网浏览量:114次

  • 数据分析加数据治理-让数据清澈如水

    数据分析加数据治理-让数据清澈如水

    在如今数据大浪潮下,如果您的业务很多,那么它就会大量堆积并且产生新的问题。我们生活在一个数据驱动的世界里。数据推动了我们从不同地方获得的……查看详情

    发布时间:2019.08.30来源:浏览量:140次

  • 数据治理到底应该怎么治?

    数据治理到底应该怎么治?

    数据到底怎么治,这确实是一个宽泛的话题,首先是要明确治理的内容。针对不同的治理内容采取不同的数据治理策略。关于小数据和大数据的治理侧重点……查看详情

    发布时间:2020.07.07来源:知乎浏览量:121次

  • 数据治理如何释放信息的力量来解决实际的业务问题

    数据治理如何释放信息的力量来解决实际的业务问题

    数字商务永远改变了零售业的面貌。广泛的产品选择,快速交付和简单易用的搜索功能,也推荐相关产品,提高了标准。……查看详情

    发布时间:2019.08.02来源:知乎浏览量:118次

  • 数据治理框架:它是什么,我已经拥有它?

    数据治理框架:它是什么,我已经拥有它?

    由于第一个人在第一台计算机上打开了电源开关,IT和业务部门已决定如何处理由技术使用和创建的数据。虽然您不再提交穿孔卡或存档磁带(可能),……查看详情

    发布时间:2018.12.27来源:数据治理浏览量:139次

  • 建设数据中台,企业数字化转型的最佳入口

    建设数据中台,企业数字化转型的最佳入口

    以数据驱动的数字化,将帮助企业全面了解用户的需求变化,也能为企业在营销、产品、业务等各个环节提供支撑,进一步提升企业的经营效率。 但在开……查看详情

    发布时间:2021.01.22来源:头条浏览量:125次

  • 企业数据治理的坑你遇到过哪些?

    企业数据治理的坑你遇到过哪些?

    在这些年的数据治理实践当中有成功的经验,当然也经历过很多失败的教训,有些教训反反复复的出现…笔者一直在思考怎么避免这些问题,所以今天就跟……查看详情

    发布时间:2019.09.12来源:知乎浏览量:114次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议