中医实体识别的多层次表示学习:模型开发与验证

简介

背景

电子病历(EMRs)包含病人的健康信息。充分利用电子病历中的可用信息可以提高诊断的准确性。医学实体识别(ER)是医学自然语言处理(NLP)的基本任务，通常被视为序列标记问题[1］．如图1，其中疾病、药物和治疗三个预定义的实体类别，当使用BIO(名词短语开头、名词短语中间、非名词短语)标签模式标记中文emr时，候选标签集包含7种类型:B-Dis(疾病)、I-Dis、B-Med(药物)、I-Med、B-Tre(治疗)、I-Tre和O。

‎ 查看此图

一般来说，ER的方法可以分为两类。第一类利用规则和字典来表示语言特征和领域知识来识别临床实体[2］．第二类是基于传统的机器学习和神经网络[3.-8];这种方法极大地提高了ER模型的性能，但在模型参数训练过程中需要大量的标记数据。在医学领域，标注数据集的创建受到专业知识和法律法规的限制，缺乏标注语料库成为最大的技术挑战之一。目前，为了提高现有方法的表示学习能力，ER受到了业界的广泛关注。研究表明，使用嵌入技术可以帮助解决NLP任务中缺少监督数据的问题，包括全局向量(GloVe)的因式分解方法[9]， word2vec的神经方法[10fastText [11]，以及最近考虑到上下文的动态方法，如来自语言模型的嵌入(Embeddings from Language Models, ELMo) [12]和OpenAI生成预训练变压器(GPT) [13］．这些嵌入技术可以在无监督数据中捕获语义的上下文，并在不同的上下文情况下生成相同单词的不同向量表示。

其中，变压器双向编码器表示法(BERT) [14]集成了许多语言模型的顶级思想，并给出了特别突出的性能。Transform-block是一个特征提取器，学习不同类型的抽象粒度信息。对多层信息进行层层迭代，生成嵌入表示。在实际的训练过程中，大多数下游任务都将BERT的最后一个嵌入向量作为模型的输入。然而，研究发现不同的NLP任务具有不同的需求特征。因此，将任务特征组合到语言模型中，可以减少特征提取器提取信息的损失，提高语言模型的利用率。例如，彼得斯等人[12]明确表明，下层适合局部语义关系，上层适合较长范围的关系，最后一层专门用于语言模型。彼得斯等[15]也表明，结合所有语义内部状态模型，使用加权和方法表示单词的向量，可以丰富单词在学习深度上下文化嵌入表示时的特征。由于中文ER任务侧重于字粒度信息，因此这是使用从底层表示中提取的信息的一种直接方式。

在这项工作中，我们使用BERT语言模型处理表示法。我们的目标是使用特征提取器提取每一层语义信息。为了实现信息的最优整合，我们构建了一个多层次表示学习模型。我们的贡献可归纳如下:

1. 针对ER任务，我们手工标注了一个新的中文EMR语料库。此外，我们提出了一个多层次表示学习模型来挖掘隐藏表示。
2. 所提出的模型利用多头注意力机制来整合来自每一层的更合适的信息，并且可以在两个临床文本数据集上作为最先进的方法执行。
3. 实验在CEMR语料库上取得了82.11%的最佳F1分数，在CCKS (China Conference on Knowledge Graph and Semantic Computing) 2018基准数据集上取得了显著改善。

中文电子病案数据集:一个新构建的语料库

大型标记数据集并不总是容易获得。为促进我国emr的ER任务研究和未来相关课题的开展，我们构建了一个新的人工标注CEMR数据集。标注过程的规范化是指大量的标注指南[16］．所有病历均来自中国甘肃省三级甲等医院，14个科室共8万份病历。手工标注4000份病历，为ER实验提供数据。表1显示了14个医院科室的数据分布。CEMR语料库包含六种类型的实体:疾病(Dis)、症状(Sym)、测试、治疗(Tre)、药物(Med)和异常检查结果(Abn)。分类定义如下:

1. 疾病:指特定的异常病理状况。这种不正常的生活状态是由自我调节障碍引起的，如糖尿病。
2. 症状:指患者所描述的主观感受或外界观察到的客观事实，如腹胀。
3. 测试:包括检查程序、项目和设备，以收集和确认有关疾病或症状的更多信息，如心电图。
4. 治疗:指治疗疾病或缓解症状的治疗方案或干预措施，如神经营养治疗。
5. 医学:指用于预防和治疗疾病或增强身体和改善精神状态的化学物质，如胰岛素。
6. 异常检查结果:是指医生或检查设备观察到的异常变化或检查结果，如痰声轻微。

在标记数据之前，emr中删除了私人信息，如患者姓名、地址和医院id。在标注样本的过程中，标注工具是专门针对ER任务开发的。此外，还开发了一些策略来创建高质量的带注释的数据。例如，注释样本将随时随机检查。

方法

概述

ER任务的目标是为模型提供EMR及其语义类型，以便它可以提取文本中的所有字符并对其进行分类。所提出的模型由三个堆叠层组成:输入层、特征提取层和输出层。

如图2，该模型首先使用BERT语言模型提取语义表示。然后，利用多头注意机制自动从每一层提取更深层次的语义信息。最后，利用多层表示提取的语义信息作为每个标记的最终语义上下文嵌入，并输入到softmax层预测实体标签。输入的句子记为C = (C₁c₂c_3.、……c_n)，其中c_n代表了n中文EMR的C句中的第一个字符。对应地，输出句子预测的标签序列记为Y = (Y₁y₂y_3..．.y_n)，其中y_n属于其中一个集合:B-Dis, I-Dis, B-Sym, I-Sym, B-Test, I-Test, B-Tre, I-Tre, B-Med, I-Med, B-Abn, I-Abn，或o。在下面的文本中，我们介绍了BERT语言模型，并描述了所提出的多层次表示学习模型。

‎ 查看此图

来自变压器的双向编码器表示

BERT被设计为通过联合调节所有层中的左右上下文来学习深度双向表示。它基于多层双向编码器变压器，可用于不同的架构。当给定一个字符级序列C = (C₁c₂c_3.、……c_n)， BERT的公式如下:

h₁＝E_令牌+E_段+E_位置(1）

h_l＝Trm（h_{l - 1}) (2)

Y^伯特＝Softmax（w_Oh_l+b_O) (3)

在哪里h₁表示序列的输入嵌入，由E_令牌，E_段,E_位置，分别表示句子的标记、段和位置。BERT杠杆变压器是特征提取器。Trm是一个转换块，包括自我注意、全连接层和输出层。当前的l层隐藏状态来自上层l - 1层和l是最后一层。Y^伯特表示预测序列标签的输出层。在上式中，w_O表示函数权值和b_O是函数偏差。转换块的所有参数都是使用屏蔽语言模型在大型文档级语料库上预先训练的，并通过使用输出层预测特定于任务的标签进行微调，以最大限度地提高正确标签的log-概率。

实体识别的多级表示学习

基于ER的多级表示学习模型(Multi-Level Representation Learning for ER model, Multi-Level ER)能够自动整合特征提取器各层的更深层次语义信息，完成ER任务。该语言模型利用了多头注意机制。多头注意是一种特殊的注意类型，它使模型能够关注子空间表示信息的不同位置，并可以了解更多内部元素之间的联系。图3给出了多头注意机构在计算变换块输出知识权值时的计算过程。计算转换块中的查询(Q)、键(K)和值(V)。Q, K, V的获取过程可以写成:

H＝Concat（h₁，h₂，h_3.、……h_l) (4)

问＝w_问h_l+b_l(5)

K＝w_KH+b_K(6)

V＝w_VH+b_V(7）

在哪里h_l表示转换块的最后一层的隐藏状态。的参数w_问，w_K,w_V是权重矩阵。的参数b_l，b_K,b_V是偏倚矩阵。注意函数计算如下:

头_我＝Softmax（问_lK^T/√d）V（8）

在哪里头_我意味着我th头。问_l查询键值是最后一个吗l层。√d是用来控制计算结果的数量级和d捐赠的维度K向量。在这项工作中，我们使用了多头注意，如下式所示:

E＝Concat（头₁，头₂，头_3.、……头_l）w_h+b_h（9)

在哪里w_h是用来平衡头部重量的。对于网络的最后一层，我们用softmax函数将结果传递到全连接层，如下所示:

Y^{多层次的呃}＝Softmax（w_OE+b_O) (10)

在哪里w_O输出权值矩阵和b_O是输出层的偏置。

‎ 查看此图

实验

该模型得到了多组对比实验的支持。每组实验重复三次，以排名居中的结果作为最终结果。

数据集和评价标准

我们在两个数据集上评估了所提出的模型:CCKS 2018数据集和CEMR数据集。CCKS 2018数据集采用CCKS中文EMR ER任务，包含1000份录取记录。在实验中，600条记录作为训练数据，其余为测试数据。在新CEMR语料库上进行了对比实验，共包含4000篇文献。我们进一步将语料库集分为60%、20%和20%，分别作为训练集、验证集和测试集。表2显示两个数据集中文档的分布。

为了公平地评价各种预测方法的性能，以精密度(P)、召回率(R)和F1分数(F1)作为评价模型识别效果的指标来验证结果;它们的定义如下:

P = tp /(tp + tf) (11)

R = tp /(tp + fn) (12)

F1 = (2 × t × p)/(p + r) (13)

当一个实体的类别和边界被完全正确地标记时，它就被注释为正确的。TP是显示与金标标签相同标签的实体标签的计数，FP是结果中标记错误的已识别实体的计数，FN是指标结果中未显示的金标实体的计数。

参数设置

超参数配置根据所述验证集的性能进行调整。我们使用了一个公开的预训练语言表示模型，即BERT_{BASE-Chinese-uncased}．该模型有12层，768个隐藏层，12个头部。采用多头注意机制自动整合各层信息。通过比较不同头数的实验结果，我们将头数设置为12。我们对模型进行了10个epoch的微调，批处理大小为32。最大训练句子长度为64句。使用AdamW优化器训练模型，学习率为le-5，辍学率为0.3。

结果

概述

我们通过计算F1分数来总结整体表现;结果说明在表3．在CEMR数据集上，我们将多层次ER学习模型与之前的经典方法进行了比较，包括条件随机场(CRF)、卷积神经网络(CNN)+双向长短期记忆(BiLSTM)+CRF、晶格长短期记忆(LSTM)和BERT。我们发现，所提出的模型优于最先进的基线方法，F1分数为0.94%至4.9%。我们的多层次ER学习模型在其性能上提高了1.48%P与BERT模型相比，R值为0.47%，F1分数为0.94%。结果还表明，预训练多层次ER学习语言模型对于任务特定的中文EMR ER是非常有效的。

我们还将我们的模型应用于广泛使用的基准CCKS 2018数据集，并使用相同的数据分割进行比较。黄等[17]提出了序列标记的BiLSTM-CRF模型，Cai等[18基于自匹配注意机制(SM)，提出了命名ER任务的SM- lstm - crf模型设计。结果显示在表4．在不需要任何外部资源的情况下，所提出的多层次ER学习模型在F1分数上已经优于之前的SM-LSTM-CRF模型3.1%。

装配方法的影响

我们比较了不同装配方法对模型性能的影响，验证了多头注意机制组合层次信息的能力。详见表5，我们首先应用指向水平级联张量的级联;F1得分为81.51%。然后采用和平均法，得到F1分数为81.11%。我们最终采用了多头注意力方法，因为与我们评估的其他几种方法相比，它的综合性能最好。结果表明，集成隐藏信息可以获得更合适的表示;利用多头注意机制可以从每一层自动提取更深层次的语义信息，是最有效的装配方法。

提取层数的影响

为了检验提取层数对模型性能的影响，我们使用不同的提取层数进行了对比实验;结果显示在表6．结果表明，所有层的性能都优于其他层数，这为语言模型引入了多层次ER，提高了模型性能。总的来说，随着提取层数的增加，性能有提高的趋势。然而，我们也发现提取最后四层比提取最后六层或两层给出更高的F1分数。分析表明，结果与特定数据集密切相关。当然，随着层数的增加，神经网络所需的参数也显著增加。因此，当模型对速度要求较高时，我们可以选择包含后四层的结构来优化时间效率。

数据集大小的影响

图4显示数据集大小对模型性能的影响。横坐标表示训练数据集的大小，纵坐标表示F1分数。在实验中，我们使用不同大小的语料库来训练CNN-LSTM-CRF、BERT和多层次ER模型。从图中可以看出，随着训练数据集的增加，模型的性能也有所提高。在现实中，我们的数据集数量有限，模型不太可能达到饱和。因此，数据集大小对性能的影响尤为重要。我们发现，当训练集从70%增加到100%时，CNN-LSTM-CRF模型的性能受到数据集大小的急剧影响。相反，BERT模型和多层次ER模型受训练数据集大小的影响较小，我们提出的多层次RE模型优于BERT模型。

‎ 查看此图

讨论

案例研究

为了证明我们的模型能够解决集成表示信息的挑战，文中展示了三个比较多级ER模型与BERT模型的案例研究图5．对比实验中出现了几个明显的趋势。通常情况下，当“疾病”一词包含在病史中时，会被误认为是一种疾病。例如，案例研究1在图5说明“精神病史”是公认的一种疾病。案例分析2图5显示当“肛门”和“外生殖器”在检查前同时出现时，系统只会识别相邻的区域进行测试。在案例研究3中，带有明显“治疗”字样的描述被确定为治疗图5．

‎ 查看此图

我们发现BERT模型的嵌入技术提高了中国EMRs中ER模型的性能;然而，在语言模型中仅使用特征提取器的最后一层信息并没有获得最佳的实验结果。我们提出的多层次ER模型结合了来自特征提取器各层的信息，并为ER任务选择最合适的、长期的、句法的、关系的信息，这大大提高了模型的性能。

相关工作

急诊室任务吸引了大量的学术关注。深度学习方法的发展为这些任务带来了突破。CNN和循环神经网络(RNN)模型相继出现;该模型采用了注意机制和迁移学习。吴等[19]利用CNN模型生成由几个全局隐藏节点表示的特征。然后将局部特征和全局特征输入标准仿射网络，以识别临床文本中的命名实体。Ju等[20.]使用LSTM神经模型通过动态堆叠平面来识别嵌套实体，称为ER层。Rei等[21]应用了注意力机制来动态地决定端到端模型中从字符级或单词级组件中使用多少信息。李等[22]在命名ER中应用迁移学习，通过在源任务上训练模型，并将训练后的模型用于目标任务上进行微调。彭等[23]提出了一种基于BiLSTM预测模型的方法，并将其作为迁移学习的源任务。对于临床记录中的ER任务，Bharadwaj等人[24]的工作集中在使用参数转移方法有效地使这些神经结构适应低资源设置。

语言模型可以从大量未标注的文本中获取单词的句法和语义信息，缓解了特定领域语料库标注不足的问题。彼得斯等[12]使用语言模型来获得深度上下文化的单词预训练表示，称为ELMo，并提高了六项NLP任务的准确性。雷德福等[13]为语言理解任务提出了GPT。对于文本分类和序列标记任务，迁移能力较好。戴夫林等[14]提出了用于语言理解的深度双向转换器(BERT)的预训练;它捕获了真正的方向上下文信息，通过预训练和微调扫描了11个NLP任务。

我们的动机是从特征提取器的每一层获取最优信息，以适应给定的任务。高濑等[25]采用包括输入嵌入在内的中间层表示来计算概率分布，以解决语言生成任务中的排序问题。金子等[26]表明，在语法错误检测任务中，学习合适的表示方式来自不同的层次。因此，我们跟踪了他们的工作，发现了中国EMRs ER任务中的问题。

结论

我们提出了一种新的、多层次的、表征学习模型——多层次ER模型。我们将我们的模型与最先进的模型进行了比较，并在没有任何外部语法工具的情况下观察到类似的性能。结果表明，使用多头注意机制可以有效地整合特征提取器各层的深层语义信息。在未来，我们计划将多层次ER应用于其他语言表示模型，以获得更大的改进。