数据治理理论

发布时间:2019.08.27来源:知乎浏览量:322次标签:数据治理

1、什么是数据治理
数据治理是对数据资产的管理行使权力和控制的活劢集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

2、开展数据治理的背景和价值
2.1 背景
–企业数据仓库/BI建设
–数据集成/SOA
–大数据
–数据质量问题和影响
主数据管理
–公共业务术语
–合规问题
–安全问题
–兼并收购
2.2 价值
–提升数据质量(80.2%)
–为共享数据建立清晰的决策规则和决策流程(65.6%)
–提升数据资产的价值(59.4%)
–提供解决数据问题的机制(56.8%)
–促进IT和非IT人员共同参与决策(55.7%)
–促进部门和业务单元之间的协同和互相依赖(46.9%)
–为共享数据建立共同责任制(45.3%)
–其他(8.8%)

3、数据治理的组织架构
 数据治理
3.1 数据管理专员制度
数据管理与员制度是为数据资产管理分配的、委托的业务职责和正式的认责
–是数据管理工作在业务方面的职责,对应的还有IT数据丏业人员的职责。
3.2 数据管理与员(Data stewards)定义和监视数据的定义、质量、访问和保留
–数据治理——对“如何管理数据”进行决策
–定义业务数据的名称、业务含义
–定义和维护参考数据值
–定义业务数据需求
–识别和解决数据问题
–定义数据质量需求和度量指标
–定义主数据管理和数据衍生计算的业务规则
–定义某些数据安全和访问规则
–定义某些数据保留规则和规程
–监视数据质量

4、数据架构
数据架构应该与业务、流程、应用、技术等架构相匹配一致
 数据架构

5、主数据和参考数据管理
主数据是关于关键业务实体的权威的、最准确的数据。主数据值被认为是“黄金”数据。
–当事人(Parties):用户画像;
–产品(Products):统一产品SKU;
–财务结构(Financial structures):会计科目;
–位置(Locations):省、城市、地址等。
确保多系统的数据一致性

主数据管理系统架构
 主数据管理

6、元数据管理
6.1 元数据分类
 

6.2 元数据管理系统架构
从分散的系统中获取元数据,为业务和技术人员提供统一的数据地图
数据可追溯、数据质量有保障
 

7、数据质量管理
7.1 定义数据质量需求
数据质量需求:
–数据质量需求通常隐含在业务政策之中,描述数据是否符合“适用性”(Fitness for Purpose)需求。
数据质量维度包括:
–准确性(Accuracy)
–完整性(Completeness)
–一致性(Consistency)
–时效性(Currency)
–精确度(Precision)
–隐私(Privacy)
–合理性(Reasonableness)
–参照完整性(Referential Integrity)
–及时性(Timeliness)
–唯一性(Uniqueness)
–有效性(Validity)

剖析、分析和评估数据质量
记录的填充率;
每个数据属性中填充的数值的数量;
频繁出现的数值;
可能的异常值
同一张表中字段的关系;
跨表的关系。

7.2 数据质量管理首要工作:开发和提升数据质量意识
数据质量意识:
–包括能够将数据质量问题不其实质影响联系起来,向监管者保证系统化的数据质量管理方法和对组织内数据质量的全面洞察,还包括传达一种“数据质量问题丌能仅仅依靠技术手段解决”的理念。
开发和提升数据质量意识步骤:
–提供一些数据质量核心概念的培训。
–为数据质量建立数据治理框架。
–创建数据质量管理委员会(Data Quality Oversight Board),与各级数据治理角色建立汇报层级关系。

8、数据的生命周期管理
将各项数据治理与管理手段贯穿始终
- 企业管理数据资产,就是管理数据的生命周期。
- 数据先被创建戒获得,然后存储、维护和使用,最终被销毁。
-有效的数据管理,数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。
 

9、常见数据治理工具的功能
–原则和政策管理
–业务规则和标准管理
–组织管理
–工作流(问题和审计)
–数据字典
–企业搜索
–文档管理
–指标收集、整合和展示
–与工作流和其他方法论集成
–培训和合作功能

10、大数据治理的要点
•大数据:4V;社交数据,机器数据等
•大数据对传统数据治理框架带来扩展
–政策/流程:应覆盖大数据的获取、处理、存储、安全等环节
–数据管理与员制度:为大数据设置数据管理丏员
–数据集成:大数据与MDM的集成,需要统一元数据标准,对大数据做定义
–数据生命周期管理:数据存储、保留、归档、处置;大数据保存时间与存储空间平衡
–数据质量:大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。
–元数据和数据定义:大数据需要与内容相关的元数据,需与传统数据定义标准保持一致;术语字典应包含大数据的术语;需要为非结构化数据提供分类、语义支持;Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理
–隐私:应考虑社交数据的隐私保护需求,制定政策
–风险:大数据治理与内外部风险管控需求建立联系

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 应用程序组合管理:优化您的投资组合

    应用程序组合管理:优化您的投资组合

    过程的第四个也是最后一个阶段是优化您的投资组合,在这里您必须开始检查其他应用程序和项目之间的依赖关系。您还必须在每个应用程序中添加成本和……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:151次

  • 国内数据治理平台厂商介绍

    国内数据治理平台厂商介绍

    睿治数据治理平台是北京亿信华辰软件有限责任公司完全自主研发的一站式综合数据治理整体解决方案,是一款面向全用户角色的、智能的、敏捷的数据全……查看详情

    发布时间:2019.09.19来源:知乎浏览量:216次

  • 高等教育中的数据治理架构

    高等教育中的数据治理架构

    在过去5到10年中,企业架构在高等教育(或继续教育)领域获得了动力,许多大学和学院机构建立了EA实践,以帮助掌握不断变化和复杂的IT战略……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:173次

  • 美国政府开放数据的元数据标准对我国的启示

    美国政府开放数据的元数据标准对我国的启示

    从 2012 年至今,我国已相继上线近 20 个地方政 府开放数据的门户网站,国家层面的统一数据门户 网站 www.data.gov.c……查看详情

    发布时间:2019.08.27来源:大连海事大学交通运输管理学院浏览量:195次

  • 使用知识图技术实现数据治理2.0

    使用知识图技术实现数据治理2.0

    当您使用Google,从Netflix挑选电影,与Siri或Alexa交谈,或在Facebook上寻找您的侄子时,您将从知识图谱技术中受……查看详情

    发布时间:2019.02.21来源:亿信华辰浏览量:169次

  • 加强数据治理 护航数字经济

    加强数据治理 护航数字经济

    目前,我国正处在推动互联网、大数据、人工智能和实体经济深度融合的关键时期,个人数据滥采滥用、企业数据交易纠纷频发、公共数据开放开发滞后、……查看详情

    发布时间:2019.01.04来源:陆峰浏览量:108次

  • Gartner 2019年十大数据和分析技术趋势:增强型分析成为重要卖点

    Gartner 2019年十大数据和分析技术趋势:增强型分析成为重要卖点

    处于数据和分析位置的领导人必须审视这些趋势对业务带来的潜在影响,并相应调整业务模式和运营,否则就有可能失去竞争优势。 ……查看详情

    发布时间:2019.02.25来源:亿信华辰浏览量:151次

  • 数据治理—设计利用数据

    数据治理—设计利用数据

    围绕数据使用创建系统和流程是一回事,但企业需要确保其基础架构和团队随时可以利用可用信息。……查看详情

    发布时间:2019.04.04来源:亿信华辰浏览量:133次

  • 如何制定数据标准

    如何制定数据标准

    一般来说,对于政府,会有国家或地方政府发文的数据标准管理办法,其中会详细规定相关的数据标准。所以在此主要讲企业如何制定数据标准。……查看详情

    发布时间:2019.12.20来源:知乎浏览量:124次

  • 数据交换如何“主动出击”?

    数据交换如何“主动出击”?

    传统的数据交换,一般说来是用户根据自身的数据抽取需求,配置好相关的设置,定义好数据抽取时间来进行数据交换。这是一种被动式的数据交换,如果……查看详情

    发布时间:2020.09.27来源:头条浏览量:128次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议