数据治理理论

发布时间:2019.08.27来源:知乎浏览量:61次标签:数据治理

1、什么是数据治理
数据治理是对数据资产的管理行使权力和控制的活劢集合(规划、监控和执行)。数据治理职能指导其他数据管理职能如何执行。

2、开展数据治理的背景和价值
2.1 背景
–企业数据仓库/BI建设
–数据集成/SOA
–大数据
–数据质量问题和影响
主数据管理
–公共业务术语
–合规问题
–安全问题
–兼并收购
2.2 价值
–提升数据质量(80.2%)
–为共享数据建立清晰的决策规则和决策流程(65.6%)
–提升数据资产的价值(59.4%)
–提供解决数据问题的机制(56.8%)
–促进IT和非IT人员共同参与决策(55.7%)
–促进部门和业务单元之间的协同和互相依赖(46.9%)
–为共享数据建立共同责任制(45.3%)
–其他(8.8%)

3、数据治理的组织架构
 数据治理
3.1 数据管理专员制度
数据管理与员制度是为数据资产管理分配的、委托的业务职责和正式的认责
–是数据管理工作在业务方面的职责,对应的还有IT数据丏业人员的职责。
3.2 数据管理与员(Data stewards)定义和监视数据的定义、质量、访问和保留
–数据治理——对“如何管理数据”进行决策
–定义业务数据的名称、业务含义
–定义和维护参考数据值
–定义业务数据需求
–识别和解决数据问题
–定义数据质量需求和度量指标
–定义主数据管理和数据衍生计算的业务规则
–定义某些数据安全和访问规则
–定义某些数据保留规则和规程
–监视数据质量

4、数据架构
数据架构应该与业务、流程、应用、技术等架构相匹配一致
 数据架构

5、主数据和参考数据管理
主数据是关于关键业务实体的权威的、最准确的数据。主数据值被认为是“黄金”数据。
–当事人(Parties):用户画像;
–产品(Products):统一产品SKU;
–财务结构(Financial structures):会计科目;
–位置(Locations):省、城市、地址等。
确保多系统的数据一致性

主数据管理系统架构
 主数据管理

6、元数据管理
6.1 元数据分类
 

6.2 元数据管理系统架构
从分散的系统中获取元数据,为业务和技术人员提供统一的数据地图
数据可追溯、数据质量有保障
 

7、数据质量管理
7.1 定义数据质量需求
数据质量需求:
–数据质量需求通常隐含在业务政策之中,描述数据是否符合“适用性”(Fitness for Purpose)需求。
数据质量维度包括:
–准确性(Accuracy)
–完整性(Completeness)
–一致性(Consistency)
–时效性(Currency)
–精确度(Precision)
–隐私(Privacy)
–合理性(Reasonableness)
–参照完整性(Referential Integrity)
–及时性(Timeliness)
–唯一性(Uniqueness)
–有效性(Validity)

剖析、分析和评估数据质量
记录的填充率;
每个数据属性中填充的数值的数量;
频繁出现的数值;
可能的异常值
同一张表中字段的关系;
跨表的关系。

7.2 数据质量管理首要工作:开发和提升数据质量意识
数据质量意识:
–包括能够将数据质量问题不其实质影响联系起来,向监管者保证系统化的数据质量管理方法和对组织内数据质量的全面洞察,还包括传达一种“数据质量问题丌能仅仅依靠技术手段解决”的理念。
开发和提升数据质量意识步骤:
–提供一些数据质量核心概念的培训。
–为数据质量建立数据治理框架。
–创建数据质量管理委员会(Data Quality Oversight Board),与各级数据治理角色建立汇报层级关系。

8、数据的生命周期管理
将各项数据治理与管理手段贯穿始终
- 企业管理数据资产,就是管理数据的生命周期。
- 数据先被创建戒获得,然后存储、维护和使用,最终被销毁。
-有效的数据管理,数据的生命周期开始于数据获取之前,企业先期制定数据规划、定义数据规范,以期获得实现数据采集、交付、存储和控制所需的技术能力。
 

9、常见数据治理工具的功能
–原则和政策管理
–业务规则和标准管理
–组织管理
–工作流(问题和审计)
–数据字典
–企业搜索
–文档管理
–指标收集、整合和展示
–与工作流和其他方法论集成
–培训和合作功能

10、大数据治理的要点
•大数据:4V;社交数据,机器数据等
•大数据对传统数据治理框架带来扩展
–政策/流程:应覆盖大数据的获取、处理、存储、安全等环节
–数据管理与员制度:为大数据设置数据管理丏员
–数据集成:大数据与MDM的集成,需要统一元数据标准,对大数据做定义
–数据生命周期管理:数据存储、保留、归档、处置;大数据保存时间与存储空间平衡
–数据质量:大数据量大,因此应识别对业务有关键影响的数据元素,检查和保证数据质量。
–元数据和数据定义:大数据需要与内容相关的元数据,需与传统数据定义标准保持一致;术语字典应包含大数据的术语;需要为非结构化数据提供分类、语义支持;Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理
–隐私:应考虑社交数据的隐私保护需求,制定政策
–风险:大数据治理与内外部风险管控需求建立联系

(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 政务数据治理平台案例:佛山某大区政务服务数据管理局

    政务数据治理平台案例:佛山某大区政务服务数据管理局

    睿治数据治理平台,应用于政务数据治理领域:通过元数据采集业务数据元数据信息,协助数统局梳理政务系统,了解数据含义。通过数据标准,定义政务……查看详情

    发布时间:2021.04.25来源:亿信华辰浏览量:66次

  • 2句话告诉你什么是数据治理

    2句话告诉你什么是数据治理

    数据治理是实践和流程的集合,有助于确保组织内数据资产的正式管理。数据治理通常包括其他概念,例如数据管理,数据质量等,以帮助企业更好地控制……查看详情

    发布时间:2021.04.28来源:亿信数据治理知识库浏览量:41次

  • 美国数据治理有何新动向?

    美国数据治理有何新动向?

    大数据时代,美国高度重视数据资源的战略价值,相继出台国家战略,落实配套措施,系统推动本国大数据发展。通过加强数据安全保护,完善个人信息和……查看详情

    发布时间:2018.10.10来源:中国信息通信浏览量:32次

  • 元数据管理101:什么,为什么以及如何

    元数据管理101:什么,为什么以及如何

    元数据管理已逐渐成为成功的数字化计划战略的最重要实践之一。随着大数据和云等分布式体系结构的兴起,可以创建孤立的系统和数据,元数据管理对于……查看详情

    发布时间:2018.12.19来源:数据治理浏览量:33次

  • 数据中台对企业的价值在哪里?

    数据中台对企业的价值在哪里?

    原来我们在做一张报表,或者是在业务系统里面需要查询一个数据结果的时候,它的过程是比较麻烦的,而且它的测试往往也是比较复杂的,因为业务系统……查看详情

    发布时间:2021.01.23来源:知乎浏览量:38次

  • 敏捷/精益数据治理最佳实践

    敏捷/精益数据治理最佳实践

    数据治理 的目标 是确保组织内的质量,可用性,完整性,安全性和可用性。你对此的看法取决于你。许多传统的数据治理方法似乎在实践中都很困难,……查看详情

    发布时间:2018.12.18来源:数据治理浏览量:38次

  • 外部管理数据集的政府数据可靠性

    外部管理数据集的政府数据可靠性

    当我在退伍军人事务部工作时,我联系了许多人 - 联邦政府以外的人 - 他们希望在联邦政府开放数据工作时帮助清理,使用和改进公共数据集。当……查看详情

    发布时间:2019.03.08来源:亿信华辰浏览量:34次

  • 如何有效的进行数据治理和数据管控

    如何有效的进行数据治理和数据管控

    大数据时代的到来,让政府、企业看到了数据资产的价值,并快速开始探索应用场景和商业模式、建设技术平台。但是,如果在大数据拼图中遗忘了数据治……查看详情

    发布时间:2019.01.03来源:数据改变生活浏览量:49次

  • 金融行业数据治理的问题与对策

    金融行业数据治理的问题与对策

    银行数据治理工作不是个别部门或少数人员能够妥善完成的,而是需要各部门之间、各层级之间的相互支持与协作,尤其需要加强科技部门与业务部门之间……查看详情

    发布时间:2019.10.16来源:知乎浏览量:52次

  • 企业数字化转型关键 ,数据治理需要关注什么?

    企业数字化转型关键 ,数据治理需要关注什么?

    2019年我国数字经济规模为35.8万亿元,产业数字化占数字经济的比例达到80.2%。新经济领域的高度数字化,通过传导至传统产业的转型升……查看详情

    发布时间:2020.11.08来源:知乎浏览量:55次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议