你的模型够可靠么？关键词掩码的模型可靠性提升方法探索

©PaperWeekly 原创 · 作者｜张琨

学校｜中国科学技术大学博士生

研究方向｜自然语言处理

论文标题：

MASKER: Masked Keyword Regularization for Reliable Text Classification

论文链接：

https://arxiv.org/abs/2012.09392

代码链接：

https://github.com/alinlab/MASKER

动机

文本分类是自然语言处理中一个基础但应用广泛的任务，而伴随着预训练模型的被提出，模型在文本分类任务上的效果也在不断被提升。虽然现有的预训练模型确实对文本分类的提升做出了突出贡献，但是利用文本分类模型进行微调存在一个可靠性问题。

模型会更过的依赖那些关键词，从而忽略了周围的上下文信息，模型会更过的依赖那些关键词，从而忽略了周围的上下文信息，试集中的数据分布是不同的，可能在训练集中某些关键词和某一类紧密关联，但在测试集中不是这样的，那么过渡依赖关键词的话，模型就会做出错误的判断。

除此之外，还有一个跨领域泛化的问题，在源域有效的关键词可能在目标域就不存在，这样模型在目标域的泛化就存在很大问题了。

比如下图，如果原域中 apple 指的就是苹果公司，那么当出现 OOD 的 apple 这个词的时候，模型应该能判断出来这已经不是在相同的域了，这时的 apple 就可能不再是关键词了。为了解决这个问题，本文在预训练模型的基础上提出了一个改进方案，主要用于增加模型的可靠性，尤其是在微调阶段的可靠性。

方法

在这里主要分为两个部分，关键词的选择和通过掩码关键词的约束。

2.1 关键词选择

已经有一些工作，通过认真选择数据或者设计特定的结构，从而减轻或消除数据中的这种有偏（单靠一些关键词判断正确的类别）对模型的影响。但这些方法都需要有偏的监督信号，因此存在一定的局限性，本文就选择使用一种非监督的方法来选择关键词，思路很简单：

基于频率：即通过统计整个文档中的词频实现对关键词的选择，这里使用的是 TF-IDF，主要通过以下公式计算：

需要说明的是该方法是不依赖于模型的，针对任何模型都是使用的，同时本文选择的 TF-IDF 是不依赖类别的，是直接选择出整个数据中的关键词。优点是简单易行，缺点是无法反应词对最终结果的贡献。

基于注意力得分：这部分相对来说就要复杂一些了，即使用模型中的注意力得分对数据中的词进行选择，这里为了体现词对结果的影响使用的就是原始的 loss 来训练模型，然后找到模型更关注那些关键词，具体选择的注意力分数计算如下：

通过这两种方式得到具体的关键词之后，作者又提出了两种利用掩码关键词进行约束的任务。

2.2 掩码关键词约束

掩码关键词的重构：

在该任务中，作者首先按照一定概率选择一些关键词，将这些关键词进行掩码，然后将遮盖住关键词的文档送给模型，模型需要对被遮盖的内容进行重构，该过程可以由下图表示：

对应的损失可以由以下公式表示：

作者也选择了利用遮盖后的文档直接进行分类，但结果是非常差的，通过这样的实验证明了对遮盖内容的重构是必须的。

掩码之后的熵正则：

这个任务主要是对上下文内容进行遮盖，具体可以理解为：正常情况下，我们希望通过让模型更多的关注上下文，从而真正理解语义，而不是靠一些简单的关键词进行分类预测。

因此模型需要充分理解上下文。当我们把上下文遮盖住之后，模型应该无法准确理解语义，无法做出判断，因此输出的概率分布应该是均匀概率分布。基于这样一个想法，就设计了这个任务。该过程可以表示为：

对应的损失可以由如下公式表示：

整个模型的损失：

有了以上两个任务之后，整个模型的损失可以表述为：

实验

在实验中，作者更多的关注模型是否能够判断出 OOD 的情况以及在 cross-domain 情况下模型的表现。具体而言，本文以一些预训练模型为 baseline（BERT, RoBERTa，ALBERT），然后对比模型在原始情况以及考虑了本文提出的方法的情况下在这两个任务上的表现，部分实验结果如图：