在预训练NLP模型上测量性别相关性

mxs 2020-10-26

在过去的几年中,自然语言处理(NLP)取得了长足的进步,诸如BERT,ALBERT,ELECTRA和XLNet等预训练语言模型在各种任务中均取得较高的准确性。预训练语言模型以Wikipedia这样的大型文本语料库为训练集,通过遮掩一些单词并对它们进行预测来学习嵌入表示,即遮掩语言建模。实验结果表明,通过这样的方式,可以对不同概念(如外科医生和手术刀)间的丰富语义信息进行编码。训练完成后,经过微调就可使模型适用特定任务的训练数据,通过预训练嵌入实现分类等特定任务。鉴于这样的预训练表示在不同NLP任务中得到广泛采用,作为从业者,我们需要了解预训练模型如何对信息编码以及学习到怎样的相关性,这些又会怎样影响下游应用性能,这样才不至于偏离我们的AI原则。

在“Measuring and Reducing Gendered Correlations in Pre-trained Models”,我们对BERT及精简版的ALBERT进行实例研究,讨论了性别相关性,并为预训练语言模型的实践应用提供参考。我们在学术任务数据集进行实验,并将结果与一些常用模型做了对比,以验证模型实用性,并为进一步的研究提供参考。我们后续会发布一系列checkpoints,从而可以在保持NLP任务准确性的情况下减少性别相关性。

相关性衡量

为了解预训练表征中的相关性如何影响下游任务,可以使用多种评估指标来研究性别表征。在这里,我们采用共指消解讨论测试结果,该方法旨在使模型能够理解句子中给定代词的正确先行词, 例图示句子中,模型要识别出他指护士而不是患者。

在预训练NLP模型上测量性别相关性

OntoNotes(Hovy等,2006)是最常用得标准验证数据集,同时F1分数用来衡量模型在共指消解中的准确性(Tenney等。2019)。由于OntoNotes仅表示一种数据分布,因此我们还使用WinoGender基准测试,该基准提供了一些其他数据,通过该基准可以判别性别和职业何时会产生错误的共指消解。WinoGender的得分较高(接近1),表明模型基于性别与职业间的关联(如将护士与女性而不是男性关联)进行决策;当性别和职业之间没有一致的关联时(得分为零),此时模型决策基于句子结构或语义等其他信息。

在预训练NLP模型上测量性别相关性

BERT和ALBERT在OntoNotes(准确性)和WinoGender(性别关联)上的表现。WinoGender的值越低,表示模型在推理中较少关注性别信息。

研究发现,BERT或ALBERT在WinoGender上都没有零得分,而在OntoNotes上获得了极高的准确性(接近100%)。实验表明,在一些情况下,模型在推理决策中会考虑性别相关性。这符合我们的预期,模型可以使用多种线索来理解文本,可以只采用其中的一种或是选择全部线索。当然,在实际应用中我们还是要谨慎,不能寄希望于模型根据先验的性别相关性进行预测,其他可用信息对于预测也非常重要。

实践指南

鉴于预训练模型嵌入中的隐式关联有可能影响下游任务,因此在开发新的NLP模型时,我们要考虑可以采取哪些措施来减轻这种风险?

  • 隐式相关性的衡量非常重要:虽然可以使用准确性度量来评估模型质量,但是这样度量方式仅从单一角度评估模型,在测试数据与训练数据分布相同时其不足尤为显著。例如,BERT和ALBERT检查点的准确度相差1%以内,但使用性别相关性进行共指解析的相对偏差为26%。这意味着,对于某些任务,这样的差异尤为重要。在处理一些反固定思维的文本时(如男护士),选择WinoGender分数较低的模型更加合理。
  • 更改任何模型配置时都要谨慎,哪怕看似影响不大:神经网络模型训练由许多超参数控制,一般通过选择合理的超参数以最大化训练目标。尽管某些参数选择看似不会对模型产生什么影响,但我们却发现,它们可能会导致性别相关性发生重大变化。例如,Dropout正则化用于避免模型的过度拟合,当我们在BERT和ALBERT训练过程中增大Dropout参数,即使进行微调,性别相关性还是会显着降低。这意味着微小的配置更改就可以影响训练模型,从而降低相关性风险,但同时也表明,在对模型配置进行任何更改时,我们应该谨慎行事、仔细评估。

在预训练NLP模型上测量性别相关性

在BERT和ALBERT训练过程中增大Dropout参数的影响

相关性的缓解:前文以介绍了Dropout对性别相关性的影响,据此,我们进一步推论得到通过这样的方式可能减少额外的相关性:通过增加dropout参数,我们可以改进模型对WinoGender的推理方式,而无需手动指定任何内容,甚至不需要更改微调阶段。然而,随着dropout的增加,OneNotes的准确性也会开始下降(见BERT的结果),但我们认为可以在预训练阶段避免这种情况,通过更改dropout改进模型,而无需针对特定任务进行更新。在论文中,我们基于反事实数据增强,提出了另一种具有差异化权重的缓解策略。

展望

我们认为,以上这些实践指南为开发强大的NLP系统提供了参考,从而使其适用于更广泛的语言和应用范围。当然,由于技术本身的不足,难以捕获和消除所有潜在的问题。因此,在现实环境中部署的任何模型都应经过严格测试,即尝试不同方法,并通过一些保护措施以确保符合道德规范,如Google的AI原则。我们期待评估框架与数据取得更进一步的发展,使语言模型适用于各种任务,为更多人提供优质服务。

相关推荐