深度思考:从BERT看大规模数据的无监督利用

发布时间:2019.02.20来源:亿信华辰浏览量:14次标签:数据治理

在击败 11 个 NLP 任务的 State-of-the-art 结果之后,BERT 成为了 NLP 界新的里程碑, 同时打开了新的思路: 在未标注的数据上深入挖掘,可以极大地改善各种任务的效果。数据标注是昂贵的,而大量的未标注数据却很容易获得。

在分类中,标签表示训练示例所属的类; 在回归中,标签是对应于该示例的实值响应。 大多数成功的技术,例如深度学习,需要为大型训练数据集提供 ground truth 标签;然而,在许多任务中,由于数据标注过程的高成本,很难获得强有力的监督信息。 因此,希望机器学习技术能够在弱监督下工作。

这不可避免地导致我们重新考虑弱监督学习的发展方向。 弱监督学习的主要目标是仅使用有限量的标注数据,和大量的未标注数据,来提升各项任务的效果。

弱监督最大的难点在于如何用少量的标注数据,和为标注数据来有效地捕捉数据的流形。目前的一些解决方案在面对复杂的数据时,比较难准确地还原数据的流形。但是 BERT 通过大量的预训练,在这方面有着先天的优势。

因而,BERT 凭借对数据分布的捕获是否足以超越传统半监督的效果?又或者,BERT 能否有与半监督方法有效地结合,从而结合两者优势?

弱监督

通常,有三种类型的弱监督。第一种是不完全监督,即只有一个(通常很小的)训练数据子集用标签给出,而其他数据保持未标注。 这种情况发生在各种任务中。 例如,在图像分类中,ground truth 标签由人类注释者给出;很容易从互联网上获取大量图像,而由于人工成本,只能注释一小部分图像。

第二种类型是不精确监督,即仅给出粗粒度标签。 再次考虑图像分类任务。 期望使图像中的每个对象都注释;但是,通常我们只有图像级标签而不是对象级标签。

第三种类型是不准确监督,即给定的标签并不总是真实的。 出现这种情况,例如当图像注释器粗心或疲倦时,或者某些图像难以分类。

对于不完全监督,在这种情况下,我们只给予少量的训练数据,并且很难根据这样的小注释来训练良好的学习 然而,好的一面是我们有足够的未标注数据。 这种情况在实际应用中经常发生,因为注释的成本总是很高。

通过使用弱监督方法,我们尝试以最有效的方式利用这些未标注的数据。有两种主要方法可以解决这个问题,即主动学习和半监督学习。两者的明确区别在于前者需要额外的人为输入,而后者不需要人为干预。

主动学习(Active Learning)

主动学习假设可以向人类从查询未标注数据的 ground truth。目标是最小化查询的数量,从而最大限度地减少人工标签的工作量。换句话说,此方法的输出是:从所有未标注的数据中,找到最有效的数据点,最值得标注的数据点然后询问 ground truth。

例如,可能有一个距离决策边界很远的数据点,具有很高的正类可信度,标注这一点不会提供太多信息或改进分类模型。但是,如果非常接近分离阈值的最小置信点被重新标注,则这将为模型提供最多的信息增益。

更具体地说,有两种广泛使用的数据点选择标准,即信息性和代表性。信息性衡量未标注实例有助于减少统计模型的不确定性,而代表性衡量实例有助于表示输入模式结构的程度。

关于信息性,有两种主要方法,即不确定性抽样(Uncertainty sampling)和投票机制(query-by-committee)。 前者培训单个分类器,然后查询分类器 confidence 最低的未标注数据。 后者生成多个分类器,然后查询分类器最不相同的未标注数据。

关于代表性,我们的目标是通常通过聚类方法来利用未标注数据的聚类结构。

半监督学习(Semi-Supervised Learning)

另一方面,半监督学习则试图在不询问人类专家的情况下利用未标注的数据。 起初这可能看起来反直觉,因为未标注的数据不能像标注数据一样,直接体现额外的信息。

然而,未标注的数据点却存在隐含的信息,例如,数据分布。新数据集的不断增加以及获得标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。

半监督学习的最主要假设:数据分布中有可以挖掘的的信息。

总结

在深入了解弱监管的历史和发展之后,我们可以看到这一研究领域的局限性和改进潜力。数据标签成本总是很昂贵,因为需要领域专业知识并且过程非常耗时,尤其是在 NLP 中,文本理解因人而异。但是,我们周围存在大量(几乎无限量)未标注的数据,并且可以很容易地提取。

因此,我们始终将持续利用这种丰富资源视为最终目标,并试图改善目前的监督学习表现。从 ULMFiT 等语言模型到最近的 BERT,迁移学习是另一种利用未标注数据的方法。通过捕获语言的结构,本质上是另一种标签形式。在这里,我们建议未来发展的另一个方向 - 将迁移学习与半监督学习相结合,通过利用未标注的数据进一步提高效果。


(部分内容来源网络,如有侵权请联系删除)
立即免费申请产品试用 免费试用
相关文章推荐
  • 亿信华辰&东芝|拥抱智能制造,实现生产数据实时采集

    亿信华辰&东芝|拥抱智能制造,实现生产数据实时采集

    在《中国制造2025》战略实施后,“制造业数字化、网络化、智能化”被定义为新工业革命的核心技术。离开生产数据采集,生产管理部门不能及时、……查看详情

    发布时间:2019.05.10来源:亿信华辰浏览量:1次

  • 数据资产管理是做什么的?

    数据资产管理是做什么的?

    随着大数据的持续升温,数据资产管理近年来成为政府和企业领导层特别关注的领域。尽管出现了很多专家和专著,但真正理解这个概念的人并不多,懂得……查看详情

    发布时间:2019.12.19来源:知乎浏览量:9次

  • 四说大数据时代“神话”:从大数据到深数据

    四说大数据时代“神话”:从大数据到深数据

    为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?……查看详情

    发布时间:2019.02.14来源:亿信华辰浏览量:11次

  • 企业怎样建立完整的数据治理体系?

    企业怎样建立完整的数据治理体系?

    大数据智能时代,管理不再是传统的做法,一套完善的数据管理体系是企业长远要生存的必须择决。我们的生活已经离不开大数据,企业的数据管理不仅能……查看详情

    发布时间:2020.03.26来源:知乎浏览量:6次

  • 金融数据治理的特征与趋势

    金融数据治理的特征与趋势

    大数据时代下金融数据治理的特征(一)金融数据治理目标双核化进入“大数据时代”,不仅更多的金融业态被催生出来,数据……查看详情

    发布时间:2019.01.04来源:亿信华辰浏览量:1次

  • 大数据环境下我国政府数据开放及应用研究

    大数据环境下我国政府数据开放及应用研究

    在当前政府各项工作开展过程中, 政府数据管理属于十分重要的一项任务及内容, 对于政府各项政务工作的开展均具有十分重要的作用及意义。……查看详情

    发布时间:2019.02.19来源:亿信华辰浏览量:8次

  • 探索数据生命周期管理的五个阶段

    探索数据生命周期管理的五个阶段

    企业并不总是需要所有数据 - 特别是当数据被认为过时时。但是,诉讼,审计或其他突发事件可以使其快速检索变得至关重要。考虑到这种可能性,许……查看详情

    发布时间:2018.12.21来源:数据治理浏览量:11次

  • 如何选择正确的数据治理工具

    如何选择正确的数据治理工具

    通过选择和利用具有嵌入式质量控制的智能和工作流驱动的自助数据治理工具,您可以实施可扩展的信任系统。让我们探索一些方法来为您的团队找到合适……查看详情

    发布时间:2021.06.16来源:亿信数据治理知识库浏览量:10次

  • 企业数字化转型中数据中台建设面临的挑战

    企业数字化转型中数据中台建设面临的挑战

    当前全球经济进入数字化转型时期,数字化转型已成为传统企业必须付诸行动必选题。基于企业业务数字化要求,企业可利用数据中台提供的大数据能力,……查看详情

    发布时间:2020.04.01来源:知乎浏览量:4次

  • 数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下5个指标

    数据质量评估体系主要参考以下指标:,针对不同的信息系统做出定量的数据质量评估,也可根据实际情况,在评估执行中进行取舍。……查看详情

    发布时间:2019.11.07来源:知乎浏览量:11次

相关主题
您点击 “提交”,表明您已理解并同意接受本网站隐私政策和用户协议