大数据治理的语义方法
发布时间:2019.03.05来源:亿信华辰浏览量:121次标签:数据治理
对数据治理的基于标准的语义方法的需求日益增长。它负责将组织后台的语义技术发送到一些最普遍的数据应用程序的最前沿,以及它们在当今整个企业中的相关性。
大数据及其民主化有助于向组织展示语义的实用价值,使其能够维护和改进治理原则而不是非结构化的非结构化和半结构化数据。通过展示识别意义的数据元素之间的切实关系,基于标准的本体模型,词汇表和术语系统是以可持续方式实施大数据治理的重要手段。
“治理在很大程度上取决于保留意义,” TopQuadrant联合创始人,CMO和专业服务副总裁Robert Coyne反映道。“在这些复杂的系统,数据和人员生态系统中,通过不同应用程序和交易部分中的事物关系来保持意义和关联意义是非常困难的。语义标准提供了一种有助于保护意义的可操作方式。“
常用术语
语义技术在治理的关键方面发挥着关键作用 - 表示在业务部门或整个企业本身使用的通用术语和定义。通过分类法增强的词汇表可以通过阐明这些术语的含义以及拼写中的众多差异点和通用定义的参考来填充这些术语的存储库,同时填写这些术语的存储库。
根据Franz首席执行官Jans Aasman的说法:“对于内部合规和政府合规,你真的想用同样的话来做同样的事情。很多时候,不同的部门会对同一事物使用不同的名称。更糟糕的是,他们对不同的事情使用相同的词语。“
最重要的是,分类法的使用(关于术语的分类或原则)可以解释非结构化和半结构化数据的包含,并且仍然提供统一的,组织范围的意义,以区别对情绪分析和其他形式的大词中的术语的引用。数
据。根据Aasman的说法,这种能力对于在特定业务流程或功能之后启动的程序中实施治理策略特别有用,这种情况经常发生在“现实世界”中。
大数据建模
本体模型提供数据元素的描述,并且能够以最终用户容易辨别的可视方式表达它们之间的关系。“这个想法是让人类处于一个更强大的环境中,他们能够很好地插入和通知,并拥有一个可以导航的丰富系统,”Coyne评论道。
在基于标准的环境中,这些模型为管理数据治理标志(如元数据,参考数据和业务词汇表映射)的可访问方式提供了基础。由于本体的粒度特性,它们的定义以及它们所阐明的关系(特别是在语义图环境中),它们促进了各种模型之间的集成和互操作性,否则这些模型将无法实现,或者消耗太多的时间和资源来实现。
组织可以将所有各种形式的元数据(业务,技术,安全,治理)与几乎任何类型的本体模型集成,同时仍然确保元数据和语义一致性。根据Aasman的说法:“数据治理既涉及模式,也涉及数据。当你谈到模式时,你实际上更多地谈论了本体论思想,关于构建数据。但是数据更自由,数据是你可以用词汇表和术语系统以及分类法捕获的。“
元关系等等
“元关系与元数据同样重要,因为意义在于事物之间的关系,”TopQuadrant联合创始人兼执行副总裁兼TopBraid Technologies董事Ralph Hodgson说。
除了促进元数据一致性之外,本体模型还通过与其他数据的关系产生有关数据含义的信息。元关系被霍奇森定义为“事物之间的联系”,并与元数据和词汇结合,以提供源和使用之间的良好治理的数据集成。这种方法更适用于通过包含语义技术的治理解决方案来管理元数据的丰富选项,而不是那些。
使用语义方法,组织可以将其元数据与特定业务功能相关联。利用本体模型进行元数据,参考数据和其他数据类型的基本治理,也有一定程度的自助服务。最终用户能够链接不同的此类数据集,随意添加有关它们的属性和元数据,并在不同系统中同时更新它们。“基于标准的本体模型是系统的一部分; 他们住在系统中。他们是可以进化,查询和扩展的运行时模型,“Coyne评论道。
法规遵从性
除了大数据的出现之外,语义方法与大数据治理的当代相关性的关键驱动因素之一是许多行业中的合规性规则的冲击 - 特别是财务和医疗保健 - 其中“避免”的治理目标混乱和降低风险“Aasman指出是至关重要的。本体可以通过完全基于特定法规创建模型来直接解决合规性问题,这些法规可以根据法规轻松地与元数据和合规性的其他方面集成。
此外,这些模型可用于实施许多关键控制以促进合规性。这些模型的自助服务性质所赋予的自主权受到治理解决方案的限制,这些解决方案根据治理程序在有序的实施方式之前提供沙箱以便立即试验变更。此外,根据治理委员会根据针对三元组的指令所规定的角色和职责,授予和限制访问权限,这可以说是语义的基础。以同样的方式,也促进了可追溯性和数据的来源。
安全
除了通过基于角色的数据访问来促进内部安全之外,基于标准的语义方法对于为外部威胁提供安全性也很有用。当与必要的体系结构和大数据分析相结合时,可以创建本体模型来检测漏洞的意识。此外,组织可以将它们与业务功能联系起来以应对突发事件 根据Aasman的说法,元数据还可以提供对安全问题的深入了解。
“你必须查看试图侵入你的IP号码的元数据,”他说。“你会遇到什么样的应用程序?什么样的包?它经常发生在你身上?这家伙是否与那个人有关......语义图数据库的图数据库性质使得使用网络[安全]更容易。“
实施大数据治理
语义技术可以极大地激发组织在使用术语及其定义,元数据和建模方面保持一致的能力,从而实现法规遵从的目标。此外,无论系统如何,它们对于确定关系和确定其背景和意义至关重要。但是,它们只能增强而不是取代数据治理的基础:企业数据所依据的角色,职责和规则。
正如Coyne所说:“数据治理正在成长为一套实践,软件和系统是其中不可或缺的一部分。但他们只是其中的一部分。您在更高层次上拥有的是实践和政策社区。这些事情对于规范谁在组织内被授权进行变革非常关键。“
-
用大数据守护绿水青山,铸就“智慧环保”
为了打破数据壁垒,基于亿信华辰的睿治数据治理平台和实时大数据平台PetaBase-s搭建A市生态环境大数据管理平台。……查看详情发布时间:2021.05.07来源:亿信华辰浏览量:70次
-
数据治理|如何做好数据质量管理
数据质量管理是一个集方法论、管理、技术和业务为一体,对数据在每个阶段里可能引发的各类数据质量问题进行识别、度量、监控、预警等一系列管理过……查看详情发布时间:2022.03.18来源:小亿浏览量:274次
-
数据科学的下一个「超能力」:模型可解释性
很多人重视重视模型的预测能力,却忽略了模型可解释性的重要性,只知其然而不知其所以然。为什么说模型的可解释性这么重要呢?作者就 5 个方面……查看详情发布时间:2019.03.28来源:亿信华辰浏览量:92次
-
企业数据治理的重点和难点在那里?
企业数据治理的重点和难点主要体现在以下4点:.需要企业高层支持,将数据治理工作放在企业重点工作中,保证对数据治理项目人力物力的投入,提高……查看详情发布时间:2019.09.18来源:知乎浏览量:186次
-
数据整理——大数据治理的关键技术
数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面,如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据……查看详情发布时间:2019.11.21来源:CSDN浏览量:180次
-
赞成谷歌的建议允许数据治理的巴尔干化
数据管理公司Immuta的首席隐私官和法律工程师表示,这只是一项建议,仍需要由法院作出最终裁决。……查看详情发布时间:2019.01.17来源:数据治理浏览量:72次
-
企业适用的数据标准管理平台
数据标准化的过程其实就是在数据整合平台实现数据标准,并将各个系统产生的数据通过清洗、转换加载到整合平台的数据模型中,实现数据标准化的过程……查看详情发布时间:2020.05.08来源:知乎浏览量:117次
-
数据中台不等于大数据平台-数据中台价值
数据中台不等于大数据平台,数据中台的核心工作也并不是将企业的数据全部收集起来做汇总就够了。数据中台的使命是利用大数据技术、通过全局规划来……查看详情发布时间:2020.11.21来源:知乎浏览量:162次