代码

原文地址

预备知识：

1.什么是标记索引（token indices）？

2.什么是交替段落标记索引（alternating segment token indices）？

3.什么是Spacy?

摘要

1 Introduction

2 Background

2.1 Problem Formulation

给定一个文档

，它由一组句子


和一组实体

组成。每个实体

都有一个属于

的类型，并且在

中至少出现了一次，用


表示它的所有提及。对于任意一对头实体和尾实体

，DocRE的任务是根据

和

的某些提及在

中是否表达了某种属于

的关系

，来判断它们之间是否存在这种关系。这里，

和

分别是预定义的实体类型集合和关系类型集合。另外，对于

和它们之间的任意一种有效关系

，证据检索（ER）的任务是找出

中的一个子集

，它包含了表达

的足够信息。

2.2 Related Work

3 Supervising Intermediate Steps

3.1 Document Encoding

为了利用预训练语言模型（PLM）在各种下游任务中的优势，本文使用PLM对文档进行编码。具体来说，对于一个文档

，在每个句子

的首尾分别添加一个分类器标记“[CLS]”和一个分隔符标记“[SEP]”。还用一对实体标记“*”标注出每个提及

的位置。接着，将文档，以及每个句子的交替段落标记索引（
Liu和Lapata, 2019
），输入到一个PLM中，得到：

其中，

是词嵌入，

是跨词注意力。

是PLM的最后一个Transformer层中所有注意力头的平均值。

是

中的词数，

是PLM的嵌入维度。把每个提及或句子前的“*”或“[CLS]”对应的嵌入作为该提及或句子的嵌入。

3.2 Coreference Resolution (CR)

作为一个案例研究，
Yao等人(2019)
报告了在DocRED数据集中，有17.6%的关系实例需要进行共指消解。因此，在对文档进行编码后，本文使用CR模块来将重复的上下文提及映射到同一个实体。具体来说，对于一对提及

，通过将它们的嵌入

和

输入一个分组双线性层来计算它们是否指代同一个实体的概率。该层将嵌入分成

个等大小的组，即

，对

同理，并在每个组内应用双线性变换，参数为

：

其中

，

是sigmoid函数。

其中

表示

和

指代同一个实体，否则为0。类别权重

与

的频率成反比，

是一个超参数。

3.3 Entity Typing (ET)

在一对实体中，类型信息可以用来过滤掉不可能的关系。为了保证实体嵌入能够反映类型信息，本文通过ET模块来对实体嵌入进行正则化。具体来说，首先利用logsumexp池化来融合实体

的各个提及

的嵌入：

由于实体

可以出现在实体对的头部或尾部，本文分别用两个线性层来生成头部实体嵌入

和尾部实体嵌入

：

其中



。

无论实体

出现在实体对的哪个位置，它的头部和尾部嵌入都应该包含

的类型信息。因此，通过将

（

）输入一个线性层来预测实体

的类型概率：

其中

，

是softmax函数。

表示实体

属于类型

，否则为0。

3.4 Pooled Evidence Retrieval (PER)

为了更好地理解文本中的上下文信息，本文使用 PER 模块来显式地让 PLM 关注每个实体对之间的关联句子。也就是说，目标是找出文档

中对于实体对

有用的证据句子集合

，而不考虑每个句子

所表达的具体关系。在这种情况下，给定一个实体对

，首先根据公式1中的交叉词注意力机制来计算一个独特的上下文嵌入

：

上式中，

表示元素级的乘法。

是

对文档中所有词的注意力（即，

的提及级注意力的平均值）。

同理。然后通过将实体对

的上下文嵌入

和句子

的嵌入

送入一个分组双线性层来计算句子

是否属于证据句子集合

的概率：

其中

和

。

其中

，类别权重

与

的频率成反比，

是一个超参数。

3.5 Fine-grained Evidence Retrieval (FER)

为了进一步提高模型的可解释性，不仅要对实体对进行PER，还要对每个实体对和关系的三元组进行FER，从而恢复它们的特定上下文证据。具体来说，给定一个三元组

，首先将

和

的关系嵌入

通过一个线性层融合成一个三元组嵌入

：

其中

表示连接，而

是从 PLM 的嵌入矩阵中获取的。

然后，使用一个分组双线性层来计算一个句子

是否属于三元组的细粒度证据集合

的概率：

其中

和

。

由于 FER 只针对有有效关系的实体对，所以这里的类别不平衡问题比 PER 要小一些。因此，定义

，并使用标准的二元交叉熵损失函数：

3.6 Relation Extraction (RE)

根据上述四个互补任务，本文对每个实体对

的相关上下文

进行编码，并保留它们的实体类型信息

和

。然后，通过两个独立的线性层从

中提取出头实体和尾实体所需的上下文：

其中

接下来，使用一个分组双线性层来计算头实体

和尾实体

之间是否存在关系

的对数几率：

其中



。

正如前文所述，只有少数实体对之间有有效的关系，而且一个实体对之间可能有多个关系。因此，为了处理多标签不平衡分类的问题，本文参考
Zhou等人 (2021)
的方法，引入了一个阈值关系类

，并采用了一个自适应阈值损失函数：

这个损失函数的目的是提高有效关系

的对数几率，降低无效关系

的对数几率，两者都相对于

。

总之，为了提高模型的 RE 性能，本文设计了四个任务来显式地监督模型在各个中间步骤的输出，从而更好地捕捉实体类型信息和文本上下文。在附录 A 中展示了整个流程

，并通过最小化多任务学习目标函数来整合所有的任务：

其中

。

是用来平衡不同任务权重的超参数。

在使用当前流程

进行推理时，通过比较其对数几率和阈值对数几率 (即

) 来判断一个三元组

是否有效 (即实体对

之间是否有关系

)。对于每个预测的三元组

，通过比较

和

来判断一个句子

是否属于证据集

，其中

是一个阈值。

4 Augmenting Intermediate Steps

4.1 When to Augment Intermediate Steps

FER 预测的证据是每个三元组

唯一的。但是，所有可能的三元组的总数太多了（在 DocRED 的开发集中约有 4000 万个），如果要用每个三元组的证据来增强推理结果，计算量太大，不现实。

因此，本文采用了选择性预测的思想 (
El-Yaniv等人, 2010
)，
从所有的三元组中选出一个子集

，这个子集里的三元组是模型对原始流程

的关系预测最不确定的
。

具体来说，用

来衡量模型对

的置信度，然后把置信度最低的

的三元组放入不确定集

。对于

中的三元组，
放弃原来的关系预测，而是用基于证据的数据增强来提高性能
（详见第 4.2 节）。

为了确定拒绝率

（注意

不是一个超参数），先按照绝对置信度

对开发集中的所有三元组进行排序。当

增加时，不在

中的三元组的风险（即不准确率）会降低，反之亦然。

本文既想降低关系预测的风险，又想降低拒绝率，这样才能减少数据增强的计算成本。为了平衡这两个目标，选择使

达到最小的

。如图 2 所示，在 DocRED 的开发集中找到

。在实践中，还可以限制每个实体对的拒绝三元组数不超过 10，这样就能把

的大小缩小到 DocRED 开发集中所有三元组的 1.5%。

4.2 How to Augment Intermediate Steps

考虑一个三元组

，它表示实体

和

之间存在关系

。为了验证这个三元组是否有效，需要根据第 3.5 节的方法，计算给定的句子

是否属于关系

的证据集合

，即计算

的值。基于这个概率，本文提出了两种基于证据的数据增强方法，分别是：

（1）基于伪文档的方法（

）：从文本中选取一些满足

的句子，将它们拼接成一个伪文档，然后输入到原始的模型中，得到三元组的置信度

。

（2）基于注意力掩码的方法（

）：根据

的值生成一个注意力掩码

，用它来调整上下文嵌入


，其中

是文本的隐藏状态，

和

是实体的注意力权重。保持模型的其他部分不变，得到三元组的置信度

。

为了综合这两种方法的优势，本文参考了Eider的工作，使用一个混合参数

对每个关系

的

，

和原始置信度

进行加权平均，得到：

通过最小化开发集上的

的二元交叉熵损失来训练混合参数：

其中

表示三元组

是有效的，否则为 0。在测试阶段，对于每个

，只有当它的混合置信度

大于 0 时，才认为它是有效的三元组。

这种方法可以在模型对原始预测不确定时利用证据信息提高关系抽取的性能，在模型对原始预测有信心时节省计算成本。在附录 B 中给出了基于证据的数据增强和集成推理的总体步骤

。
这些步骤只在

的训练之后执行，因此对计算成本的影响可以忽略不计。