8 项提高数据完整性的预防性措施
发布时间:2021.07.07来源:亿信华辰数据治理知识库浏览量:555次标签:数据治理
对于企业而言,了解数据完整性为何必不可少,这一点至关重要。数据完整性不仅结合了数据质量和安全性元素,而且是数据和数据驱动流程的一致重用所必需的。因此,公司必须学习如何最大程度地降低数据完整性风险。
关于企业遭遇数据泄露的新闻报道很常见。它们准确地说明了数据完整性的重要性——以及破坏性的数据完整性风险。我们将准确解释数据完整性的含义,识别常见的数据完整性风险,并说明降低组织数据完整性风险的几种方法。
一、表征数据完整性风险
为了正确理解各种形式的数据完整性风险,有必要定义术语本身。数据完整性是数据的整体准确性、可靠性、完整性和一致性,以及数据对于法规遵从性和安全性问题的安全性。FDA 开发了首字母缩写词ALCOA来定义数据完整性标准:
A — 可归因:可归因数据意味着组织应该知道数据是如何创建或获取的,以及由谁创建或获取
L — 清晰:清晰的数据意味着组织应该能够阅读和理解数据,并且记录是永久性的
C — 同期:这部分数据完整性意味着组织应该知道数据在其初始状态是如何出现的,以及在其生命周期的不同阶段发生了什么
O — 原始:数据完整性的这一方面意味着对数据源系统的理解以及将源数据保持在其原始状态的能力
A — 准确:准确的数据是无错误的,并且符合使用它的应用程序的协议。
二、常见的数据完整性风险
当其定义的任何部分出现问题时,数据完整性就会受到损害。安全漏洞是许多组织遇到的常见数据完整性风险。由于安全漏洞对业务的影响极其严重,因此组织经常不得不为客户提供补贴——例如,Equifax为客户购买身份保护包——从而导致成本增加。组织还必须应对其企业声誉和客户群受到的损害——这可能会增加客户流失率。
不遵守法规是另一个相当常见的数据完整性风险。无法满足GDPR等法规要求的组织将面临巨额罚款。在某些情况下,他们可能会因为这些高额费用而被起诉。但总的来说,无论具体的监管机构如何,不遵守法规对组织来说都是代价高昂的。反复违反合规性甚至可能使公司破产。
也许最常见的数据完整性风险是不可靠的数据,这会降低效率和生产力。不可靠的数据包括重复的记录、不准确的数据和无法识别的数据来源。无论数据集如何变得不可靠,它都会阻止组织做出准确的决策并导致运营成本增加。
三、降低数据完整性风险的 8 种方法
由于数据出现完整性问题会对组织和数据驱动的流程会适得其反,因此有必要实施许多战略措施来减少这些威胁。但是,仅使用一种方法几乎不可能将数据完整性风险降至最低,因此使用多种策略的组合是更好的选择。降低数据完整性风险的一些最有效方法包括:
1. 弘扬诚信文化
促进完整性文化以多种方式降低数据完整性风险。它有助于让员工对自己的工作以及他人的努力保持诚实。处于基于数据完整性的文化中的员工也更有可能报告其他人在数据完整性的许多不同方面走捷径或未履行其职责的情况。
2. 实施质量控制措施
质量控制措施包括为验证员工是否根据安全和数据治理政策处理数据而实施的特定人员和流程。例如,数据管理员可以监控数据源的数据沿袭。IT 人员可以监控安全系统的数据完整性。
3. 创建审计跟踪
审计跟踪是一种用于最小化数据完整性风险的特别有效的机制。审计跟踪是了解数据在整个生命周期不同阶段发生了什么的关键,包括数据来自何处以及如何转换或使用。了解这些细节可以确保合规性。
4. 为所有关键数据制定流程图
为关键数据开发流程图是管理数据如何使用、由谁使用以及在何处使用的一个关键方面。通过映射这些流程——最好是在数据投入使用之前——组织可以更好地控制他们的数据资产。这些地图也是实施适当的安全和法规遵从措施的基础。
5. 消除已知的安全漏洞
必须消除安全漏洞,以帮助最大程度地降低与保护数据资产相关的数据完整性风险。这种降低风险的方法需要专业知识来确定已知的安全漏洞并实施消除它们的措施。它还需要安全补丁等技术来实际执行这项工作。
6. 遵循软件开发生命周期
遵循软件开发生命周期是在整个企业的过程中管理数据的基本方法。这些开发生命周期对于理解根据监管和安全要求管理数据所需的各种治理协议非常重要。这种方法是了解数据的位置和部署方式的一个不可或缺的步骤,然后使用这些知识作为创建可持续实践的基础。
7. 验证您的计算机系统
如果不定期测试、验证和重新验证 IT 系统和员工是否按照这些程序运行,规划、映射和规定数据应该发生的事情是没有用的。例如,IT 团队的任务可能是根据之前使用的映射构造的元数据将源字段映射到目标系统。确定是否执行此过程的唯一方法是测试和验证这些过程中涉及的计算机系统,以查看信息是否支持员工的行动。
8. 实现错误检测软件
错误检测软件和异常检测服务可以帮助监控和隔离异常值,确定错误发生的原因,并说明将来如何避免它们。整个过程对于将数据完整性风险保持在可管理的水平至关重要。
四、数据完整性解决方案
组织可以依靠具有内置数据治理和数据管理功能的云集成平台来及时了解这些数据完整性风险。此类综合解决方案可加速大数据的集成、实施数据湖治理措施并自动化元数据管理的关键方面。他们还制定了对法规遵从性、安全性和数据质量至关重要的数据管理方面的故障排除和监控方面的措施。
睿治数据治理平台是终极数据完整性平台,通过内置的数据治理和数据质量功能提供数据集成速度和可信、准确的数据。您是否希望随时访问您可以信任的数据?下载免费试用版以提高您组织的数据完整性。
-
大数据在应急管理中的应用——亿信华辰
随着互联网、社交媒体和人工智能的技术发展和应用普及,大数据在应急管理中发挥的作用将越来越重要,是应急管理未来发展的重要方向之一。……查看详情发布时间:2019.02.25来源:亿信华辰浏览量:87次
-
企业数据治理的目的、意义及挑战有哪些?
随着大数据相关技术的不断成熟,数据作为一种资产,得到了越来越多企业机构的重视,为了能够有效的利用数据资产,数据治理成了当下政府和企业重点……查看详情发布时间:2022.05.11来源:小亿浏览量:424次
-
大数据必备知识:数据的分类方式
数据分类在收集、处理和应用数据过程中非常重要。数据的分类方式很多,每种方式都有特别的作用。数据工作中不同角色往往需要理解和掌握不同的分类……查看详情发布时间:2019.03.12来源:亿信华辰浏览量:83次
-
云端世界数据治理的12步指南
数据治理是任何大数据战略的关键组成部分。随着公司越来越多地转向数据来影响他们的决策,数据所有者必须了解跨越应用程序,内部部署设施和云的数……查看详情发布时间:2018.11.19来源:Joey Jablonski浏览量:85次
-
大数据时代地方政府大数据治理战略
全球各地的组织正在投资于能够以先前无法想象的方式容纳和处理数据的系统。在某些情况下,企业甚至会根据这些新系统重新构建现有的IT环境。这些……查看详情发布时间:2019.08.15来源:浏览量:81次
-
最终有人把数据治理的元数据、主数据等概念讲明白了
数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和……查看详情发布时间:2022.06.24来源:小亿浏览量:203次
-
数据是超乎想象的商业资产 - 这就是为什么(以及在哪里)
说数据是商业资产几乎变得尴尬,应该被视为一个(信息也是如此)。 “数据是资产”或“数据是商业资产”消息并不新鲜。它可以追溯到二十年……查看详情发布时间:2018.12.20来源:数据治理浏览量:94次
-
数据质量监控步骤及方法
随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。而且,数据质量是数据分析和数据挖……查看详情发布时间:2020.08.31来源:CSDN浏览量:139次
-
简述数据资产管理方案必须注意的6点
“数据资产管理”一词,在国内首次由DAMS(中国数据资产管理峰会)组委会正式提出。首届“中国数据资产……查看详情发布时间:2020.08.14来源:知乎浏览量:98次