数据治理理论

发布时间:2019.08.27来源:知乎浏览量:278次标签:数据治理

1、什么是数据治理
数据治理是对数据资产的管理行使权力和控制的活劢集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

2、开展数据治理的背景和价值
2.1 背景
–企业数据仓库/BI建设
–数据集成/SOA
–大数据
–数据质量问题和影响
主数据管理
–公共业务术语
–合规问题
–安全问题
–兼并收购
2.2 价值
–提升数据质量(80.2%)
–为共享数据建立清晰的决策规则和决策流程(65.6%)
–提升数据资产的价值(59.4%)
–提供解决数据问题的机制(56.8%)
–促进IT和非IT人员共同参与决策(55.7%)
–促进部门和业务单元之间的协同和互相依赖(46.9%)
–为共享数据建立共同责任制(45.3%)
–其他(8.8%)

3、数据治理的组织架构
 数据治理
3.1 数据管理专员制度
数据管理与员制度是为数据资产管理分配的、委托的业务职责和正式的认责
–是数据管理工作在业务方面的职责,对应的还有IT数据丏业人员的职责。
3.2 数据管理与员(Data stewards)定义和监视数据的定义、质量、访问和保留
–数据治理——对“如何管理数据”进行决策
–定义业务数据的名称、业务含义
–定义和维护参考数据值
–定义业务数据需求
–识别和解决数据问题
–定义数据质量需求和度量指标
–定义主数据管理和数据衍生计算的业务规则
–定义某些数据安全和访问规则
–定义某些数据保留规则和规程
–监视数据质量

4、数据架构
数据架构应该与业务、流程、应用、技术等架构相匹配一致
 数据架构

5、主数据和参考数据管理
主数据是关于关键业务实体的权威的、最准确的数据。主数据值被认为是“黄金”数据。
–当事人(Parties):用户画像;
–产品(Products):统一产品SKU;
–财务结构(Financial structures):会计科目;
–位置(Locations):省、城市、地址等。
确保多系统的数据一致性

主数据管理系统架构
 主数据管理

6、元数据管理
6.1 元数据分类
 

6.2 元数据管理系统架构
从分散的系统中获取元数据,为业务和技术人员提供统一的数据地图
数据可追溯、数据质量有保障
 

7、数据质量管理
7.1 定义数据质量需求
数据质量需求:
–数据质量需求通常隐含在业务政策之中,描述数据是否符合“适用性”(Fitness for Purpose)需求。
数据质量维度包括:
–准确性(Accuracy)
–完整性(Completeness)
–一致性(Consistency)
–时效性(Currency)
–精确度(Precision)
–隐私(Privacy)
–合理性(Reasonableness)
–参照完整性(Referential Integrity)
–及时性(Timeliness)
–唯一性(Uniqueness)
–有效性(Validity)

剖析、分析和评估数据质量
记录的填充率;
每个数据属性中填充的数值的数量;
频繁出现的数值;
可能的异常值
同一张表中字段的关系;
跨表的关系。

7.2 数据质量管理首要工作:开发和提升数据质量意识
数据质量意识:
–包括能够将数据质量问题不其实质影响联系起来,向监管者保证系统化的数据质量管理方法和对组织内数据质量的全面洞察,还包括传达一种“数据质量问题丌能仅仅依靠技术手段解决”的理念。
开发和提升数据质量意识步骤:
–提供一些数据质量核心概念的培训。
–为数据质量建立数据治理框架。
–创建数据质量管理委员会(Data Quality Oversight Board),与各级数据治理角色建立汇报层级关系。

8、数据的生命周期管理
将各项数据治理与管理手段贯穿始终
- 企业管理数据资产,就是管理数据的生命周期。
- 数据先被创建戒获得,然后存储、维护和使用,最终被销毁。
-有效的数据管理,数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。
 

9、常见数据治理工具的功能
–原则和政策管理
–业务规则和标准管理
–组织管理
–工作流(问题和审计)
–数据字典
–企业搜索
–文档管理
–指标收集、整合和展示
–与工作流和其他方法论集成
–培训和合作功能

10、大数据治理的要点
•大数据:4V;社交数据,机器数据等
•大数据对传统数据治理框架带来扩展
–政策/流程:应覆盖大数据的获取、处理、存储、安全等环节
–数据管理与员制度:为大数据设置数据管理丏员
–数据集成:大数据与MDM的集成,需要统一元数据标准,对大数据做定义
–数据生命周期管理:数据存储、保留、归档、处置;大数据保存时间与存储空间平衡
–数据质量:大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。
–元数据和数据定义:大数据需要与内容相关的元数据,需与传统数据定义标准保持一致;术语字典应包含大数据的术语;需要为非结构化数据提供分类、语义支持;Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理
–隐私:应考虑社交数据的隐私保护需求,制定政策
–风险:大数据治理与内外部风险管控需求建立联系

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 数据治理,人工智能和医疗保健:令人兴奋的健康新世界

    数据治理,人工智能和医疗保健:令人兴奋的健康新世界

    随着AI变得越来越普遍,对数据治理的需求也在增加。这是一个由政府确定的问题,因为它最近宣布了一个监督大量数据集的道德小组。2017年1月……查看详情

    发布时间:2019.03.06来源:亿信华辰浏览量:169次

  • 企业数据标准管理的内容

    企业数据标准管理的内容

    笔者理解:数据标准是一套由管理制度、管控流程、技术工具共同组成的体系,是通过这套体系的推广,应用统一的数据定义、数据分类、记录格式和转换……查看详情

    发布时间:2020.11.13来源:知乎浏览量:112次

  • 数据治理(R)演变

    数据治理(R)演变

    数据治理继续发展 - 并且很快。……查看详情

    发布时间:2019.02.15来源:亿信华辰浏览量:104次

  • 2021基层政府数据治理的必要性

    2021基层政府数据治理的必要性

    政府数据治理是指为高效发挥数据价值、达到治理能力现代化的目标,以政府为主导、社会共同负责的多元主体,运用各种可行手段对重要数据资源各个生……查看详情

    发布时间:2021.04.26来源:亿信数据治理知识库浏览量:192次

  • 在数字时代管理数据

    在数字时代管理数据

    人类生活在数据时代。今天生成的数据比人类历史上5000年的数据还要多 - 每天大约有2.5亿个字节的数据。……查看详情

    发布时间:2019.04.04来源:亿信华辰浏览量:117次

  • 数据治理运营:团队

    数据治理运营:团队

    这是关于数据治理运作的两部分系列的第二部分。“ 数据治理运作:差距 ”系列的第一部分讨论了需求是如何产生的,数据治理运营所需的一些主要原……查看详情

    发布时间:2018.11.14来源:Jayakumar Rajaretnam浏览量:110次

  • 数据中台和传统的数据系统出发点不一样

    数据中台和传统的数据系统出发点不一样

    原来的数据平台也好,数据湖也好,数据仓库也好,它们的出发点很多时候有局限性,应该说更是一个支撑性的技术系统,即一定要去考虑我先有什么数据……查看详情

    发布时间:2021.01.23来源:知乎浏览量:109次

  • 数据资产管理直面企业痛点

    数据资产管理直面企业痛点

    企业日常经营活动中积累的大量数据,除了支持业务流程运转之外,越来越多地被用于帮助企业提升管理决策效率、实现价值挖掘和业务创新。企业日常经……查看详情

    发布时间:2020.09.11来源:知乎浏览量:100次

  • 什么是数据治理及其为什么对您的业务至关重要?

    什么是数据治理及其为什么对您的业务至关重要?

    数据治理如何影响他们:由于您没有雇用一组全新的理事会成员,因此DGC数据治理的最大影响将是与数据和数据策略相关的额外工作。如果或出现问题……查看详情

    发布时间:2018.11.26来源:数据治理浏览量:147次

  • 数据治理、数据管理、数据管控

    数据治理、数据管理、数据管控

    数据治理、数据管理、数据管控这三个名词在一定程度上的确是有所重叠的,容易混为一谈,所以就造成了在实际使用中,经常将这三个词语“混着用”、……查看详情

    发布时间:2021.03.06来源:知乎浏览量:161次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议