数据治理理论

1、什么是数据治理
数据治理是对数据资产的管理行使权力和控制的活劢集合（规划、监控和执行）。数据治理职能指导其他数据管理职能如何执行。

2、开展数据治理的背景和价值
2.1 背景
–企业数据仓库/BI建设
–数据集成/SOA
–大数据
–数据质量问题和影响
–主数据管理
–公共业务术语
–合规问题
–安全问题
–兼并收购
2.2 价值
–提升数据质量（80.2%）
–为共享数据建立清晰的决策规则和决策流程（65.6%）
–提升数据资产的价值（59.4%）
–提供解决数据问题的机制（56.8%）
–促进IT和非IT人员共同参与决策（55.7%）
–促进部门和业务单元之间的协同和互相依赖（46.9%）
–为共享数据建立共同责任制（45.3%）
–其他（8.8%）

3、数据治理的组织架构
 
3.1 数据管理专员制度
数据管理与员制度是为数据资产管理分配的、委托的业务职责和正式的认责
–是数据管理工作在业务方面的职责，对应的还有IT数据丏业人员的职责。
3.2 数据管理与员（Data stewards）定义和监视数据的定义、质量、访问和保留
–数据治理——对“如何管理数据”进行决策
–定义业务数据的名称、业务含义
–定义和维护参考数据值
–定义业务数据需求
–识别和解决数据问题
–定义数据质量需求和度量指标
–定义主数据管理和数据衍生计算的业务规则
–定义某些数据安全和访问规则
–定义某些数据保留规则和规程
–监视数据质量

4、数据架构
数据架构应该与业务、流程、应用、技术等架构相匹配一致
 

5、主数据和参考数据管理
主数据是关于关键业务实体的权威的、最准确的数据。主数据值被认为是“黄金”数据。
–当事人(Parties)：用户画像；
–产品(Products)：统一产品SKU；
–财务结构(Financial structures)：会计科目；
–位置(Locations)：省、城市、地址等。
确保多系统的数据一致性

主数据管理系统架构
 

6、元数据管理
6.1 元数据分类
 

6.2 元数据管理系统架构
从分散的系统中获取元数据，为业务和技术人员提供统一的数据地图
数据可追溯、数据质量有保障
 

7、数据质量管理
7.1 定义数据质量需求
数据质量需求：
–数据质量需求通常隐含在业务政策之中，描述数据是否符合“适用性”（Fitness for Purpose）需求。
数据质量维度包括：
–准确性（Accuracy）
–完整性（Completeness）
–一致性（Consistency）
–时效性（Currency）
–精确度（Precision）
–隐私（Privacy）
–合理性（Reasonableness）
–参照完整性（Referential Integrity）
–及时性（Timeliness）
–唯一性（Uniqueness）
–有效性（Validity）

剖析、分析和评估数据质量
记录的填充率；
每个数据属性中填充的数值的数量；
频繁出现的数值；
可能的异常值
同一张表中字段的关系；
跨表的关系。

7.2 数据质量管理首要工作：开发和提升数据质量意识
数据质量意识：
–包括能够将数据质量问题不其实质影响联系起来，向监管者保证系统化的数据质量管理方法和对组织内数据质量的全面洞察，还包括传达一种“数据质量问题丌能仅仅依靠技术手段解决”的理念。
开发和提升数据质量意识步骤：
–提供一些数据质量核心概念的培训。
–为数据质量建立数据治理框架。
–创建数据质量管理委员会（Data Quality Oversight Board），与各级数据治理角色建立汇报层级关系。

8、数据的生命周期管理
将各项数据治理与管理手段贯穿始终
- 企业管理数据资产，就是管理数据的生命周期。
- 数据先被创建戒获得，然后存储、维护和使用，最终被销毁。
-有效的数据管理，数据的生命周期开始于数据获取之前，企业先期制定数据规划、定义数据规范，以期获得实现数据采集、交付、存储和控制所需的技术能力。
 

9、常见数据治理工具的功能
–原则和政策管理
–业务规则和标准管理
–组织管理
–工作流（问题和审计）
–数据字典
–企业搜索
–文档管理
–指标收集、整合和展示
–与工作流和其他方法论集成
–培训和合作功能

10、大数据治理的要点
•大数据：4V；社交数据，机器数据等
•大数据对传统数据治理框架带来扩展
–政策/流程：应覆盖大数据的获取、处理、存储、安全等环节
–数据管理与员制度：为大数据设置数据管理丏员
–数据集成：大数据与MDM的集成，需要统一元数据标准，对大数据做定义
–数据生命周期管理：数据存储、保留、归档、处置；大数据保存时间与存储空间平衡
–数据质量：大数据量大，因此应识别对业务有关键影响的数据元素，检查和保证数据质量。
–元数据和数据定义：大数据需要与内容相关的元数据，需与传统数据定义标准保持一致；术语字典应包含大数据的术语；需要为非结构化数据提供分类、语义支持；Hadoop、NoSQL数据库的技术元数据需要纳入元数据存储库管理
–隐私：应考虑社交数据的隐私保护需求，制定政策
–风险：大数据治理与内外部风险管控需求建立联系