我们提出的句法增强图卷积网络(SEGCN)模型概述(gydF4y2B一个 图2gydF4y2B一个)由三部分组成:编码器、特征处理器和分类器。编码器包含语法结构特征，特征处理器处理包含结构信息的特征。gydF4y2B一个

我们使用ON-LSTM [gydF4y2B一个 13gydF4y2B一个在浅层句法信息中获取句法结构。ON-LSTM在对神经元分层编码的同时引入句法结构信息。就整体框架而言，它与LSTM类似。这里，我们用数学方法说明ON-LSTM是如何结合句法结构特征的。gydF4y2B一个

给定一个句子gydF4y2B一个 年代gydF4y2B一个＝gydF4y2B一个 xgydF4y2B一个_{1gydF4y2B一个}、……gydF4y2B一个 xgydF4y2B一个_{ngydF4y2B一个},在那里gydF4y2B一个 xgydF4y2B一个_{我gydF4y2B一个}代表了gydF4y2B一个 我gydF4y2B一个th词。我们写过gydF4y2B一个 hgydF4y2B一个＝gydF4y2B一个 hgydF4y2B一个_{1gydF4y2B一个}、……gydF4y2B一个 hgydF4y2B一个_{ngydF4y2B一个}对于句子的结构输出gydF4y2B一个 hgydF4y2B一个 RgydF4y2B一个^{n×gydF4y2B一个 dgydF4y2B一个} ,在那里gydF4y2B一个 hgydF4y2B一个 _{我gydF4y2B一个} RgydF4y2B一个 ^{dgydF4y2B一个} 表示gydF4y2B一个 我gydF4y2B一个-单词的隐藏状态gydF4y2B一个 dgydF4y2B一个维度。一个细胞gydF4y2B一个 cgydF4y2B一个_{tgydF4y2B一个}用于记录的状态gydF4y2B一个 hgydF4y2B一个 _{tgydF4y2B一个} ;控制gydF4y2B一个 hgydF4y2B一个 _{tgydF4y2B一个} ，这是输入和输出之间的数据流，一个遗忘门gydF4y2B一个 fgydF4y2B一个_{tgydF4y2B一个} ，输出门gydF4y2B一个 ogydF4y2B一个_{tgydF4y2B一个}还有一个输入门gydF4y2B一个 我gydF4y2B一个_{tgydF4y2B一个} 在韦茅斯的总部工作。在哪里gydF4y2B一个 WgydF4y2B一个 _{xgydF4y2B一个} ，gydF4y2B一个 UgydF4y2B一个 _{xgydF4y2B一个} ,gydF4y2B一个 bgydF4y2B一个_{xgydF4y2B一个} (xgydF4y2B一个f, I, o, c)为模型参数gydF4y2B一个 cgydF4y2B一个_{0gydF4y2B一个}是一个填零向量:gydF4y2B一个

它与LSTM的不同之处在于，它使用一个新函数来替换单元格状态的更新函数gydF4y2B一个 cgydF4y2B一个_{tgydF4y2B一个} ．通过替换更新函数对内部神经元进行特定排序，允许将句法结构集成到LSTM中。更新规则如下。gydF4y2B一个

我们使用softmax预测神经元的层序，然后用cs计算累积和。最后,gydF4y2B一个 f᷉gydF4y2B一个_{tgydF4y2B一个} 和gydF4y2B一个 我᷉gydF4y2B一个_{tgydF4y2B一个} 包含的层顺序信息gydF4y2B一个 cgydF4y2B一个_{tgydF4y2B一个 1gydF4y2B一个}和gydF4y2B一个 cgydF4y2B一个_{tgydF4y2B一个} ，两者的交点为gydF4y2B一个 ωgydF4y2B一个_{tgydF4y2B一个} ．累积和方程如下:gydF4y2B一个

根据累积和的属性，主遗忘门gydF4y2B一个 f᷉gydF4y2B一个_{tgydF4y2B一个} 值从0到1变化，而主输入门gydF4y2B一个 我᷉gydF4y2B一个_{tgydF4y2B一个} 具有从1到0单调递减的值。的重叠gydF4y2B一个 f᷉gydF4y2B一个_{tgydF4y2B一个} 和gydF4y2B一个 我᷉gydF4y2B一个_{tgydF4y2B一个} 是用两个主门的乘积来表示的吗gydF4y2B一个 ωgydF4y2B一个_{tgydF4y2B一个} ．gydF4y2B一个

最后是单元格状态gydF4y2B一个 CgydF4y2B一个被分层顺序信息分割，融合句法结构在模型中融合。gydF4y2B一个

为了获得最终的分类表示，我们将句子和实体表示结合起来，并将它们输入到前馈神经网络中。gydF4y2B一个

HgydF4y2B一个_{发送gydF4y2B一个}，gydF4y2B一个 HgydF4y2B一个 _{年代gydF4y2B一个} ,gydF4y2B一个 HgydF4y2B一个 _{ogydF4y2B一个} 分别表示句子、主语和宾语的表示。最后，逻辑回归分类器使用gydF4y2B一个 HgydF4y2B一个_{最后gydF4y2B一个}作为一种象征。gydF4y2B一个

对于交叉句子任务，我们使用了3种模型作为基线:(1)基于特征的分类器[gydF4y2B一个 15gydF4y2B一个基于所有实体对的最短依赖路径;(2)图结构LSTM方法，包括双向有向无环图(DAG) LSTM (Bidir DAG LSTM) [gydF4y2B一个 5gydF4y2B一个]，图状态LSTM (GS LSTM)和图LSTM [gydF4y2B一个 4gydF4y2B一个-这些方法扩展了LSTM来编码从输入短语创建的依赖边生成的图;(3)修剪过的GCNs [gydF4y2B一个 6gydF4y2B一个]包括注意力引导型GCN (AGGCN) [gydF4y2B一个 14gydF4y2B一个]及LFGCN (LFGCN) [gydF4y2B一个 11gydF4y2B一个]。这些方法使用GCNs对具有依赖边的图进行剪枝。此外，我们增加了双向编码器表示从变形金刚(BERT)预训练模型，以补充实验模型。用星号标记的结果是基于原始模型的重新实现。gydF4y2B一个

在多类关系提取任务中(最后2列)gydF4y2B一个 表1gydF4y2B一个)，我们的SEGCN模型在所有实例上的准确率分别为81.7和80.2，优于所有基线(Cross)。在三元和二元关系中，我们的SEGCN模型比表现最好的图结构LSTM模型(GS LSTM)分别高出10.0和8.5分，与GCN模型相比，我们的模型比表现最好的LFGCN模型高出1.8和2.6分。gydF4y2B一个

在二元类关系提取任务中，我们的SEGCN模型的性能也优于所有基线gydF4y2B一个 表1gydF4y2B一个)。该任务被扩展为跨句子(Cross)和句子级(Single)子任务。在跨句级三元和二元分类中，我们的模型分别获得88.2和87.5分。我们的模型在句子级别的三元和二元分类中分别获得88.5分和87.2分。gydF4y2B一个

这些实验表明，我们的模型比之前的GS LSTM和GCN模型等丢弃浅层语法信息的模型取得了更好的结果。我们将模型的结果归因于引入浅语法信息和均衡过程。最后，为了与最新的方法进行比较，我们尝试引入BERT预训练。我们发现，经过BERT预训练后，任务的结果略有改善。我们认为BERT在预训练过程中也捕获了一些浅层句法信息。gydF4y2B一个

使用CPR的句子级任务的结果[gydF4y2B一个 11gydF4y2B一个]及PGR [gydF4y2B一个 16gydF4y2B一个]数据集见表。我们的模型与两种类型的模型进行了比较:(1)基于序列的模型，包括随机初始化的扩展和深度可分离卷积神经网络(Random-DDCNN) [gydF4y2B一个 9gydF4y2B一个]，它使用解析器，这是一个通过随机初始化和微调的关系预测模型;基于注意的多层门控循环单元[gydF4y2B一个 17gydF4y2B一个]，它将注意力机制叠加在递归门控单元之上;麸皮(gydF4y2B一个 18gydF4y2B一个]，它使用双仿射自我注意模型来捕捉句子的相互作用;生物医学文本挖掘中变压器的双向编码器表示[j]gydF4y2B一个 19gydF4y2B一个]，这是一个医学文献的预训练语言表征模型;(2)基于依赖的模型，基于单一依赖树，包括基于生物本体的长短期记忆网络[gydF4y2B一个 20.gydF4y2B一个]和GCN。也有基于依赖森林的模型，包括边缘图循环网络(GRN) [gydF4y2B一个 8gydF4y2B一个]，其修剪得分大于阈值;kBest-GRN [gydF4y2B一个 8gydF4y2B一个]，其中包括合并k-最佳树进行预测;ForestFT-DDCNN [gydF4y2B一个 9gydF4y2B一个]，它构建了一个可学习的依赖分析器;及AGGCN及LFGCN [gydF4y2B一个 11gydF4y2B一个]，它将多头关注与依赖特性联系起来。gydF4y2B一个

中句子级任务的结果显示gydF4y2B一个 表2gydF4y2B一个在多类数据集CPR和二分类数据集PGR上，我们的模型的F1得分分别为65.4和91.3，均取得了最好的表现。具体来说，我们的模型在CPR和PGR数据集上分别比之前基于最先进依赖性的模型(LFGCN)高出1.2和1.5个点。我们发现该模型的改进幅度小于交叉句水平任务。我们认为，在句子级任务中，浅层句法信息对短句长度的影响较小，而在跨句任务中，浅层句法信息对长句长度的影响更大。gydF4y2B一个

我们在PGR数据集上验证了模型的不同模块，包括BERT预训练、矩阵树修剪层和特征捕获层。gydF4y2B一个 表3gydF4y2B一个显示了这些结果。我们可以看到，去掉任何一个模块后，模型的有效性都会降低。这三个模块都可以帮助模型学习更准确的特征表示。特征捕获层和矩阵树剪枝层分别提高了2.4和2.5个点，表明浅层语法信息和均衡处理导致了模型的提升。相比之下，流行的BERT预训练方法并不适合该模型。gydF4y2B一个

烧蚀实验表明，浅层句法信息和均衡处理方法可以显著提高模型性能。我们认为这两种方法是通过处理句子中的交互信息来发挥作用的。浅层句法信息补充了句子的非局部相互作用，均衡化过程平衡了句子的局部和非局部相互作用。gydF4y2B一个

我们通过对比实验考察了浅层句法信息的引入对不同句子长度的影响。gydF4y2B一个 图3gydF4y2B一个A为3个模型在不同句子长度下的F1得分。基于句子长度有3个类别((0,25)，[25,50]，>50)。总的来说，我们的SEGCN在所有3个长度类别中都优于ForestFT-DDCNN和LFGCN。此外，性能差距随着实例长度的增加而扩大。这些结果表明，添加浅层句法信息，特别是在长句子中，可以显著改善我们的模型。我们将此归因于我们的模型通过引入浅层句法信息来补充句子的非局部相互作用。因为他们更多地依赖于非局部相互作用，较长的句子得到了更高的F1分数。gydF4y2Ba

为了证明我们的模型在句法增强方面的优越性，我们将模型与加入预训练的模型进行了比较。经过BERT预训练后，3个模型的F1分数见gydF4y2B一个 图3gydF4y2B一个B为不同的句子长度。基于句子长度有3个类别((0,25)，[25,50]，>50)。总的来说，BERT预训练对不同句子长度的模型显示出了微小的改进。它支持了我们的假设，即神经网络模型获得的句法特征不足。此外，我们发现没有BERT的SEGCN仍然比其他有BERT的模型运行得更好。这些结果表明，我们的模型在使用语法特征方面优于BERT。gydF4y2B一个

为了证明我们的方法对句子交互的影响，我们比较了从不同模型层获得的特征。gydF4y2B一个 图4gydF4y2B一个显示了模型不同层上例句的注意权值。我们决定使用热图来表示注意力权重。每个点的颜色代表交互信息的权重。颜色越深，权重越大。为了更直观，我们省略了权重较小的点。另外，多头注意层纳入浅层句法信息前后的输出分别用矩阵A和B表示。矩阵C表示均衡处理矩阵B的输出。gydF4y2Ba

如图所示gydF4y2B一个 图4gydF4y2B一个，矩阵中的权值分布gydF4y2B一个 一个gydF4y2B一个更集中于对角线分布。相比之下，矩阵B和矩阵C的非对角权重分布明显多于矩阵a。这支持了我们的观点，即包含浅层句法信息的模型逐渐关注句子中的非局部相互作用。此外，通过比较矩阵B和C，我们看到均衡的矩阵C更加公平地关注模型的权重(颜色越相似，权重越接近)。我们认为，通过平衡对局部和非局部相互作用的关注，可以提高模型的性能。这些结果进一步证明了我们的模型如何利用句法信息进行句法增强。gydF4y2B一个

本研究首次提出在医学关系提取中加入浅层句法信息来增强句法。此外，我们还设计了一种新的剪枝方法来平衡模型中的句法交互。对3个医疗数据集的结果表明，我们的方法可以改善和平衡句法交互，显著优于以前的模型。烧蚀实验证明了这两种方法的有效性。未来，我们将继续研究浅句法信息与句子交互之间的关系。gydF4y2B一个