数据治理理论

发布时间:2019.08.27来源:知乎浏览量:400次标签:数据治理

1、什么是数据治理
数据治理是对数据资产的管理行使权力和控制的活劢集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

2、开展数据治理的背景和价值
2.1 背景
–企业数据仓库/BI建设
–数据集成/SOA
–大数据
–数据质量问题和影响
主数据管理
–公共业务术语
–合规问题
–安全问题
–兼并收购
2.2 价值
–提升数据质量(80.2%)
–为共享数据建立清晰的决策规则和决策流程(65.6%)
–提升数据资产的价值(59.4%)
–提供解决数据问题的机制(56.8%)
–促进IT和非IT人员共同参与决策(55.7%)
–促进部门和业务单元之间的协同和互相依赖(46.9%)
–为共享数据建立共同责任制(45.3%)
–其他(8.8%)

3、数据治理的组织架构
 数据治理
3.1 数据管理专员制度
数据管理与员制度是为数据资产管理分配的、委托的业务职责和正式的认责
–是数据管理工作在业务方面的职责,对应的还有IT数据丏业人员的职责。
3.2 数据管理与员(Data stewards)定义和监视数据的定义、质量、访问和保留
–数据治理——对“如何管理数据”进行决策
–定义业务数据的名称、业务含义
–定义和维护参考数据值
–定义业务数据需求
–识别和解决数据问题
–定义数据质量需求和度量指标
–定义主数据管理和数据衍生计算的业务规则
–定义某些数据安全和访问规则
–定义某些数据保留规则和规程
–监视数据质量

4、数据架构
数据架构应该与业务、流程、应用、技术等架构相匹配一致
 数据架构

5、主数据和参考数据管理
主数据是关于关键业务实体的权威的、最准确的数据。主数据值被认为是“黄金”数据。
–当事人(Parties):用户画像;
–产品(Products):统一产品SKU;
–财务结构(Financial structures):会计科目;
–位置(Locations):省、城市、地址等。
确保多系统的数据一致性

主数据管理系统架构
 主数据管理

6、元数据管理
6.1 元数据分类
 

6.2 元数据管理系统架构
从分散的系统中获取元数据,为业务和技术人员提供统一的数据地图
数据可追溯、数据质量有保障
 

7、数据质量管理
7.1 定义数据质量需求
数据质量需求:
–数据质量需求通常隐含在业务政策之中,描述数据是否符合“适用性”(Fitness for Purpose)需求。
数据质量维度包括:
–准确性(Accuracy)
–完整性(Completeness)
–一致性(Consistency)
–时效性(Currency)
–精确度(Precision)
–隐私(Privacy)
–合理性(Reasonableness)
–参照完整性(Referential Integrity)
–及时性(Timeliness)
–唯一性(Uniqueness)
–有效性(Validity)

剖析、分析和评估数据质量
记录的填充率;
每个数据属性中填充的数值的数量;
频繁出现的数值;
可能的异常值
同一张表中字段的关系;
跨表的关系。

7.2 数据质量管理首要工作:开发和提升数据质量意识
数据质量意识:
–包括能够将数据质量问题不其实质影响联系起来,向监管者保证系统化的数据质量管理方法和对组织内数据质量的全面洞察,还包括传达一种“数据质量问题丌能仅仅依靠技术手段解决”的理念。
开发和提升数据质量意识步骤:
–提供一些数据质量核心概念的培训。
–为数据质量建立数据治理框架。
–创建数据质量管理委员会(Data Quality Oversight Board),与各级数据治理角色建立汇报层级关系。

8、数据的生命周期管理
将各项数据治理与管理手段贯穿始终
- 企业管理数据资产,就是管理数据的生命周期。
- 数据先被创建戒获得,然后存储、维护和使用,最终被销毁。
-有效的数据管理,数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。
 

9、常见数据治理工具的功能
–原则和政策管理
–业务规则和标准管理
–组织管理
–工作流(问题和审计)
–数据字典
–企业搜索
–文档管理
–指标收集、整合和展示
–与工作流和其他方法论集成
–培训和合作功能

10、大数据治理的要点
•大数据:4V;社交数据,机器数据等
•大数据对传统数据治理框架带来扩展
–政策/流程:应覆盖大数据的获取、处理、存储、安全等环节
–数据管理与员制度:为大数据设置数据管理丏员
–数据集成:大数据与MDM的集成,需要统一元数据标准,对大数据做定义
–数据生命周期管理:数据存储、保留、归档、处置;大数据保存时间与存储空间平衡
–数据质量:大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。
–元数据和数据定义:大数据需要与内容相关的元数据,需与传统数据定义标准保持一致;术语字典应包含大数据的术语;需要为非结构化数据提供分类、语义支持;Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理
–隐私:应考虑社交数据的隐私保护需求,制定政策
–风险:大数据治理与内外部风险管控需求建立联系

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 医疗保健数据治理:预测是什么?

    医疗保健数据治理:预测是什么?

    医疗保健数据治理已经远超过应用程序只是满足合规性标准。医疗费用始终是讨论的主题,健康保险状况和“平价医疗法案”(ACA)等政策也是如此。……查看详情

    发布时间:2018.12.03来源:迈克尔帕斯托雷浏览量:244次

  • 为什么营销人员应该关心数据治理

    为什么营销人员应该关心数据治理

    如果没有适当的数据治理,您就会面临两个巨大问题的风险:低效率和违反客户信任。有了它,您的业务就是一台信息灵通,运行良好的机器。简而言之,……查看详情

    发布时间:2019.03.15来源:亿信华辰浏览量:228次

  • 数据质量问题根因分析

    数据质量问题根因分析

    说到数据质量问题的原因,做过BI或数仓项目的小伙伴肯定都知道,这是一个业务和技术经常扯来扯去、互相推诿的问题。在很多情况下,企业都会把数……查看详情

    发布时间:2019.12.06来源:CSDN浏览量:426次

  • 一文讲透数据治理核心指标

    一文讲透数据治理核心指标

    股份制改革对我国银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分……查看详情

    发布时间:2020.06.19来源:CSDN浏览量:197次

  • 为什么数据治理?

    为什么数据治理?

    数据治理曾经是一件好事,但由于数据和分析的重点和重要性日益增加,它已成为帮助推动整个企业数据管理的必要条件。……查看详情

    发布时间:2018.12.21来源:亿信华辰浏览量:200次

  • 当前企业的数据治理之困

    当前企业的数据治理之困

    只有确保数据的标准化、规范化、可信可用,才能进一步通过数据运营、数据应用帮助企业实现数据资产管理、发现内部数据问题、发掘数据价值,进而实……查看详情

    发布时间:2020.06.28来源:知乎浏览量:263次

  • 实施数据治理项目是企业数字化转型的基础

    实施数据治理项目是企业数字化转型的基础

    企业数字化转型趋势是“数据”引领业务变革,数据集中管控成为大势所趋,如何做好数据共享和数据分析、如何发挥数据资产价值最大化是我们信息化工……查看详情

    发布时间:2019.10.22来源:知乎浏览量:214次

  • 数据治理加速企业数字化转型

    数据治理加速企业数字化转型

    现在大家都在说一个概念,银行有3.0时代,数据也有3.0时代,3.0时代在不同地域里都有不同的诉求,数字3.0时代是什么?概念并不新,从……查看详情

    发布时间:2019.08.02来源:企业网浏览量:176次

  • 2019年IT关注的重点:大数据分析的存储架构

    2019年IT关注的重点:大数据分析的存储架构

    存储行业的技术专家和分析师预测,IT组织将专注于改进其存储架构,以便在2019年更好地利用数据分析、人工智能和物联网。并指出,改进大数据……查看详情

    发布时间:2019.03.26来源:亿信华辰浏览量:127次

  • 技术最热门的新趋势:数据治理

    技术最热门的新趋势:数据治理

    什么是信息技术最热门的新趋势?如果你说“人工智能”,给自己部分功劳,因为AI肯定很热。但对于商业领域的技术决策者来说,有一些更大的问题就……查看详情

    发布时间:2019.02.28来源:亿信华辰浏览量:174次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议