训练国际疾病分类的深度上下文化语言模型，第十次修订分类通过联邦学习:模型开发和验证研究

简介

背景

世界卫生组织发布了一套统一的疾病诊断分类系统《国际疾病分类》(ICD)，而ICD第十次修订版(ICD-10)则广泛使用[1］．编码员根据ICD的规则对疾病进行分类，得到的ICD代码用于调查、统计和报销。ICD-10临床修改(ICD-10- cm)用于对医疗诊断进行编码，包括约69,000个编码[2，3.］．ICD-10-CM编码包含7位数字;结构如图所示图1．

‎ 查看此图

在医院里，每个病人的诊断首先以文字描述的形式写在电子健康记录中。然后编码员读取这些记录，将诊断分类为ICD代码。因为诊断最初是写成自由文本的，文本的模糊性使得诊断很难编码。对每种诊断进行分类非常耗时。一个出院记录可以包含1到20个代码。根据试验的估计，编码员平均花费20分钟为每个患者分配代码[4］．利用自动化工具可以提高ICD分类的效率，减少人工。

相关工作

最近，深度学习和自然语言处理(NLP)模型已经开发出来，可以将纯文本转换为向量，从而使自动分类成为可能。史等[5]提出了一种具有注意机制的分层深度学习模型。Sammani等人[6]引入双向门控循环单元模型，根据放电字母预测ICD码的前3位或4位。王等[7]提出了一种具有注意机制和门控残差网络的卷积神经网络模型，用于将中文记录分类为ICD码。马可洪等[8]表明，具有注意力机制的深度学习有效地增强了ICD-10预测。先前的研究也提到了庞大数据集的必要性，以及隐私敏感的临床数据如何限制ICD-10自动分类模型的发展[6］．

联邦学习在医疗领域取得了令人印象深刻的成果，被用于在多中心数据上训练模型，同时保持它们的私密性。联邦学习广泛应用于医学图像和信号分析，如脑成像分析[9]及脑电图信号的分类[10］．在临床NLP领域，Liu等[11]提出了一种两阶段联合方法，包括使用来自不同医院的临床记录来提取医疗任务的表型。

此前，我们应用带有双向门控循环单元的Word2Vec模型对电子病历中的ICD-10-CM代码进行分类[12］．我们分析了ICD-10-CM编码的分布，并从出院记录中提取特征。模型有一个F₁ICD-10-CM代码分类得分为0.625。为了提高模型的性能，我们实现了变压器(BERT)的双向编码器表示，并发现了一个改进的F₁ICD-10-CM代码分类得分为0.715 [4］．我们还发现，当编码员使用分类模型辅助时，编码时间减少;中位数F₁得分由0.832显著提高至0.922 (P<.05)试验中[4］．此外，我们构建了一个系统以提高易用性，包括数据处理、特征提取、模型构建、模型训练和web服务接口[4］．最后，我们在预处理过程中加入了基于规则的算法，并对算法进行了改进F₁ICD-10-CM分级为0.853 [13］．

客观的

本研究旨在进一步提高ICD-10分类模型的性能，并使该模型能够在医院中使用。在这项研究中，我们调查了联邦学习对一个模型性能的影响，该模型是在需要ICD-10分类的医学文本上训练的。

方法

伦理批准

研究方案由远东纪念医院(FEMH;批准号:109086-F)，国立台湾大学医院(NTUH;批准文号:201709015RINC)、台北市荣民总医院(VGHTPE;批准号:2022-11-005AC)，并且该研究坚持了《赫尔辛基宣言》的原则。由于使用的是未识别数据，因此不适用知情同意。

数据收集

我们的数据来自FEMH(2018年1月至2020年12月记录的数据)、NTUH(2016年1月至2018年7月记录的数据)和VGHTPE(2018年1月至2020年12月记录的数据)的电子健康记录。数据包括出院通知单和ICD-10-CM代码。每个医院的编码员都对ICD-10编码进行了注释。

数据描述

在删除重复记录后，我们的数据集分别包含来自FEMH、NTUH和VGHTPE的100,334、239,592和283,535份出院记录。每条记录包含1到20个ICD-10-CM标签。每个章节的标签分布如图所示图2．这些章节是按前三位数字分类的。V01章至Y98章的代码不用于保险报销;因此，它们被排除在我们的数据集中。U00 ~ U99章ICD-10-CM标签数量最小，J00 ~ J99章ICD-10-CM标签数量最大。三家医院的ICD-10-CM标签计数见多媒体附件1．

数据集中的文本包含字母、标点符号和一些汉字。中所示的标点符号数量和使用次数最多的10个汉字多媒体附件2．最常见的标点符号是句号(" . ")，最不常见的是右括号("}")。

‎ 查看此图

预处理

我们首先从数据集中删除重复的医疗记录。然后，我们将所有全宽字符转换为半宽字符，并将所有字母字符转换为小写字母。短于5个字符的记录被删除，因为这些通常是无意义的单词，如“nil”和“none”。我们还删除了无意义的字符，例如换行符、回车符、水平制表符和已形成的字符(分别为“\n”、“\r”、“\t”和“\f”)。最后，将所有文本字段连接起来。

为了在预处理阶段选择一种更好的方法来管理标点和汉字，我们使用FEMH数据来确定模型的性能，假设这些字符包含在数据中。每个实验使用两个版本的数据。在第一个版本中，我们保留了这些特定的角色，而在第二个版本中，我们删除了它们。实验P考察了标点符号的影响，实验C考察了汉字的影响，实验PC考察了标点符号和汉字的影响。保留汉字信息的另一种方法是使用汉字的英文翻译。因此，我们还比较了保留汉字时模型的性能与使用谷歌Translate获取英语翻译时模型的性能。

标签采用单热编码。在69,823个可用的ICD-10-CM编码中，有17,745个出现在我们的组合数据集中，导致单热编码向量长度为17,745。最终队列分别包括来自FEMH、NTUH和VGHTPE的100,334、239,592和283,535条记录;20% (femh: 20067 / 100334;台大医院:47918/239592;随机选取VGHTPE: 56,707/283,535)的记录作为测试集，其余记录作为训练集。

分类模型

我们比较了不同变种的BERT的性能，包括PubMedBERT [14]， RoBERTa(稳健优化BERT预训练方法)[15]， ClinicalBERT [16]，以及BioBERT(用于生物医学文本挖掘的BERT) [17］．BioBERT使用来自pubmed的文本进行预训练，pubmed是健康和医学科学领域最受欢迎的书目数据库。ClinicalBERT使用MIMIC-III (Medical Information Mart for Intensive Care III)数据集进行预训练，其词汇来自英语维基百科和BookCorpus数据集。PubMedBERT是BERT的另一个变体，它使用PubMed的训练数据。PubMedBERT和BioBERT的主要区别在于它们的词汇表。BioBERT的词汇表来自英文维基百科和BookCorpus数据集——bert的词汇表也是如此——而PubMedBERT的词汇表则来自PubMed。这种词汇的差异影响了临床文本中的单词识别能力。RoBERTa使用了原来的BERT模型，但它也使用了更长的训练时间、更大的批大小和更多的训练数据。训练数据来自BookCorpus、CC-News (CommonCrawl News)和OpenWebText数据集。RoBERTa还应用了动态屏蔽，这意味着屏蔽令牌将被多次更改，而不是在原始BERT中被固定。 The vocabularies and corpora of these BERT variants are summarized in表1．

为了进行比较，首先将文本输入BERT标记器，该标记器将字符串转换为标记。然后，对于满足512输入长度限制的每个文本数据，令牌的数量被截断为512。线性层将模型生成的词嵌入连接到单热编码多标签的输出层。线性层的输出大小为17745，与标签的one-hot编码向量大小相匹配。采用二元交叉熵计算模型损失。我们训练我们的模型100个epoch，学习率为0.00005。为ICD-10-CM多标签分类任务对这些模型进行了微调，以比较它们的性能。图3总结了模型的结构和预处理流程。选择性能最好的模型和预处理方法进行后续的联邦学习。

‎ 查看此图

联合学习

通过联邦学习，可以在不共享数据的情况下训练模型[18］．客户端(即本地机器)在交换模型参数权重的同时，将它们的训练数据保存在相同的模型架构上。服务器从每个客户端接收权重并取其平均值。在更新模型之后，服务器将新的权重发送回客户端。然后客户可以开始新一轮的培训。函数更新了模型参数的权重FederatedAveraging算法(18]并使用Flower进行联邦学习[19］．

Flower是一个面向研究人员的开源联邦学习框架[19］．Flower有一个服务器-客户机结构。服务器和客户端需要分别启动，并且需要为每个客户端分配一个服务器。它们通过开源的谷歌远程过程调用(gRPC;谷歌LLC) [20.］．使用gRPC，客户端应用程序可以直接调用服务器应用程序上的方法，这可以在不同的机器上完成。服务器上有一个注册中心，用于管理与所有客户端的通信。服务器中有3个主要模块。第一个连接管理模块维护当前所有gRPC连接。在服务器上，每个gRPC对应于每个客户机。当gRPC建立时，触发register函数将客户端信息存储在数组中。如果客户端发起断开连接或连接超时，将调用register函数来清除客户端。第二个模块(桥接模块)缓存信息，而不管来自客户机还是服务器的gRPC信息将存储在该模块中。然而，由于缓冲区是双向共享的，因此有必要使用状态转换方法来确保缓冲区中的所有信息都是相同的。 There are five states—the关闭，等待客户端写入，等待客户端读取，等待服务器写入,等待服务器读取州。第三个模块——服务器处理程序——管理服务器和客户端之间的通信。

客户被设置在这三家医院，模型在当地数据上进行训练。每个客户机的权重被转移到服务器，在服务器上对权重进行平均，并建立全局模型(图4)．我们为客户机上的每一轮培训设置5个epoch，为服务器聚合设置20轮。我们的研究在2个节点上进行。每个节点都有一个具有64 GB RAM的NVIDIA RTX 2080 Ti图形处理单元(NVIDIA Corporation)，一个节点有2个具有64 GB RAM的NVIDIA TITAN RTX图形处理单元(NVIDIA Corporation)。

‎ 查看此图

标签的关注

为了解释我们模型的输出，我们添加了一个标签注意架构[21］．它分别根据词向量和每个标签向量的内积计算注意力。图5展示了如何将标签注意力体系结构添加到模型中。首先，通过使用ICD-10-CM代码的定义来生成标签向量，我们对BERT模型进行了微调。其次，我们构造了一个全连接层，其中权值用标签向量初始化。第三，BERT产生的输出通过双曲正切函数传递，从而产生词向量。我们将词向量(Ζ)输入到全连通层和softmax层中。softmax层的输出(⍺)是注意力。第四，我们将词向量的双曲正切函数(H)与注意力(⍺)相乘，输入到另一个全连通层和sigmoid层。这与我们最初的架构相似。输出(y)可以从单热编码标签中减去，用于损失计算。最后，用注意力来解释模型如何预测标签。 Attention was given to the input text for corresponding ICD-10-CM codes. The performance of the model after adding the label attention architecture was compared to its performance without this architecture.

‎ 查看此图

指标

我们使用了微观F₁评分来评估性能，因为它是精度和召回率的调和平均值，因此产生的结果比仅使用精度或召回率时产生的结果更平衡。微F₁评分计算方法如下:

在哪里

而且

TP_总和表示真阳性的和，《外交政策》_总和表示误报和FN_总和表示假阴性的总和。

结果

不同BERT模型的性能比较

的F₁PubMedBERT、RoBERTa、ClinicalBERT和BioBERT评分分别为0.735、0.692、0.711和0.721。的F₁PubMedBERT得分最高，RoBERTa得分最低(表2)．由于这些结果，我们在后续的实验中使用了PubMedBERT。

模型在保留或删除标点符号或汉字时的表现

表3显示每个数据集预处理情况下令牌的平均值。去掉标点符号和汉字后，平均标记数为52.9个。实验P(标点符号)、实验C(汉字)和实验PC(标点符号和汉字)中保留字符时的平均标记数分别为65.0、53.1和65.1。在我们的数据中，标点符号和汉字分别占18.3%(1,301,988/7,096,460)和0.1%(7948/7,096,460)。

表4显示了F₁每个数据集预处理案例的得分。去除标点符号和汉字后，模型的基线性能为0.7875。在实验P中F₁标点符号保留得分为0.8049，增加了0.0174分(2.21%)。在实验C中F₁汉字记忆得分为0.7984分，提高0.0109分(1.38%)。在PC实验中F₁标点和汉字的保留得分为0.8120，增加了0.0245分(3.11%)。在所有实验中，保留这些字符都比删除它们更好，其中PC实验表现出最大的性能改进。

翻译前后模型的表现

在我们将汉语翻译成英语的实验中F₁汉字记忆得分为0.7984分，汉字翻译得分为0.7983分。

联合学习

表5显示了在三家医院训练过的模型的表现。在FEMH、NTUH和VGHTPE中训练的模型具有验证性F₁得分分别为0.7802、0.7718、0.6151。FEMH模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.7412、0.5116和0.1596。NTUH模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.5583、0.7710和0.1592。VGHTPE模型进行了测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.1081、0.1058和0.5692。加权平均检验F₁FEMH、NTUH和VGHTPE模型的评分分别为0.4472、0.5353和0.2522。

表6展示了联邦学习模型在三家医院的表现。联邦学习模型得到了验证F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.7464、0.6511和0.5979。联邦学习模型有测试F₁在FEMH、NTUH和VGHTPE数据集上的得分分别为0.7103、0.6135和0.5536。加权平均检验F₁联邦学习模型的得分为0.6142。

标签的关注

的F₁有标签注意机制和没有标签注意机制的模型得分分别为0.804(精密度=0.849;召回率=0.763)和0.813(精密度=0.852;分别召回= 0.777)。

图6显示了对ICD-10-CM代码及其相关输入文本的关注的可视化。根据不同标签的注意力得分，这些单词被涂成蓝色。蓝色的强度代表了注意力得分的大小。我们以ICD-10-CM编码E78.5(“高脂血症，未指明”)和I25.10(“原生冠状动脉粥样硬化性心脏病，无心绞痛”)为例。

‎ 查看此图

讨论

主要研究结果

在外部数据上测试时，联邦学习模型的表现优于每个本地模型。加权平均数F₁联邦学习、FEMH、NTUH和VGHTPE模型在测试集上的得分分别为0.6142、0.4472、0.5353和0.2522 (表5而且表6)．在外部数据上测试时，该模型的性能下降。因为不同的医院有不同的医生、编码员和疾病，所以不同医院的临床记录风格可能不同。克服医院之间的这种差距具有挑战性。虽然联邦学习模型在本地数据上测试时的性能不如在本地数据上训练的模型，但在外部数据上测试时，其性能高于在本地数据上训练的模型。此外，在VGHTPE数据集中，标签分布与其他两家医院数据集中的标签分布有很大差异(图2)．因此，VGHTPE模型仅实现F₁NTUH和FEMH测试集的得分分别为0.1058和0.1081。FEMH和NTUH模型有F₁VGHTPE测试集的得分分别为0.1596和0.1592 (表5)．

联邦学习提高了模型在外部数据上的性能。联邦学习可用于构建跨医院使用的ICD编码系统。但是，联邦学习所需的训练时间比局部深度学习所需的训练时间要长。联邦学习大约需要1周，本地培训大约需要2天。这有两个原因。首先，如果模型很大，服务器和客户机之间的通信需要更长的时间。我们的模型大小约为859 MB。其次，不同的客户端可能有不同的计算能力，较慢的客户端成为瓶颈[22，23］．其他客户端可能会等待速度较慢的客户端完成其工作。

PubMedBERT的性能优于BioBERT、ClinicalBERT和RoBERTa。表2表明BERT模型的词汇量是影响模型性能的重要因素。PubMedBERT的词汇表主要包含医学术语，而其他三个模型的词汇表则包含常用词。这种差异影响了识别临床文本中的单词的能力。大多数已发布的BERT模型使用30,522个单词[24］．但是，这些词汇表数据不包含一些来自特殊领域的词汇。例如，医学术语“淋巴瘤”在PubMedBERT的词汇表中，但在BioBERT、ClinicalBERT和RoBERTa的词汇表中没有。术语“淋巴瘤”可以通过PubMedBERT标记器转换为标记“淋巴瘤”，但该术语将被BioBERT、ClinicalBERT和RoBERTa分为3个标记-“l”、“## ymh”和“##oma”。

在大多数情况下，非字母数字字符被删除，因为它们被认为对模型无用[25］．与具有注意机制的模型相比，早期的NLP模型不能注意标点符号。额外的字符会使模型无法很好地聚焦于关键字。在NLP中，英语文本和其他语言(如阿拉伯语)文本中的标点符号已被删除[26］．Ek等[27]比较了两组日常会话文本数据集——一组保留了标点符号，另一组没有。他们的结果显示，保留标点符号的数据集表现更好。

对于实验P, C和PC，当保留额外的字符时，所有模型都表现得更好(表4)．实验P证明了PubMedBERT可以使用嵌入标点符号。由于标点符号用于分隔不同的句子，删除它们将所有句子连接起来，从而使模型更难理解文本内容。我们的改善F₁保留标点符号的得分与Ek等人之前的研究结果相似。27］．我们的研究结果表明，保留标点符号可以提高临床领域文本分类模型的性能。实验C证明了PubMedBERT可以使用嵌入式汉字。尽管PubMedBERT是用英语文本进行预训练的，但它的词汇量包含了许多汉字。来自汉字的标记可能有助于ICD-10临床文本的分类任务，因为它们提供了地名、创伤机制和当地习俗等信息。PC实验结果表明，保留标点符号和保留汉字的好处是相加的。在翻译实验中F₁分数差别不大。这一结果表明，该模型可以从中英文临床文本中提取信息。BERT的注意机制的使用增加了我们的模型对关键字的注意能力。标点和汉字为这些模型提供了有用的信息。因此，这种预处理策略(保留更多有意义的标记)为ICD-10分类任务模型提供了更多信息。

在我们之前的研究中，我们引入了一种注意机制，以可视化对ICD-10定义输入文本的注意[4］．通过这种方法，我们训练了一个模型来预测ICD-10代码，并训练了另一个模型来提取注意力数据。这种方法可能会导致预测和关注之间的不一致。在这项研究中，我们引入了标签注意架构来可视化对ICD-10代码输入文本的注意[21］．这种方法更好地说明了对用于预测ICD代码的输入词的关注，因为它与预测模型使用的方法一致。

的F₁加入标签注意机制后，模型得分下降0.009。虽然F₁分数下降，我们得到了可解释的预测。对于ICD-10-CM代码E78.5(“高脂血症，未明确”)和I25.10(“无心绞痛的原生冠状动脉粥样硬化性心脏病”)，我们的模型成功地对“高脂血症”和“冠状动脉”相关词语进行了高度关注(图6)．我们的可视化方法(即突出显示输入单词)允许用户理解我们的模型如何从文本中识别ICD-10-CM代码。

限制

我们的研究有几个局限性。首先，我们的数据来自台湾的3家三级医院。我们的研究结果对其他地区医院的外推有待进一步研究。其次，尽管我们的结果表明，保留标点符号和汉字时，模型性能更好，但这种影响可能仅限于特定的音符类型。这一发现应在对其他类型的临床文献进行分类的背景下进一步研究。第三，我们最后一个实验中的译文可能不如母语人士的译文准确。然而，手动翻译大量数据是很困难的。因此，我们只能使用谷歌translate自动翻译文本。

应该注意的是，每个出院记录都有一个主要和次要诊断代码。虽然选择主要代码会使补偿有所不同，但本研究中提出的模型并没有确定主要代码。为了使我们的模型能够识别主要代码，我们在之前的工作中提出了一个序列到序列的模型[4］．它转换按字母顺序连接的原始预测标签，使它们按诊断代码排序。该结构可以添加到本研究提出的模型中。基于初级诊断代码和次级诊断代码的预测可以进一步提高系统的可用性。

结论

在保护数据隐私的同时，使用联邦学习在多中心临床文本上训练ICD-10分类模型。该模型的表现优于局部训练的模型。我们通过标签注意架构突出显示输入单词来显示可解释的预测。我们还发现PubMedBERT模型可以使用标点符号和非英语字符的含义。这一发现表明，改变ICD-10多标签分类的预处理方法可以改善模型性能。