静脉血栓栓塞(VTE)包括深静脉血栓形成(DVT)和肺栓塞，是一种常见但可预防的血管疾病。通过对风险评估、预防和治疗采取协调一致的方法，静脉血栓栓塞的疾病负担可以减少[ 1］．在美国，36%至>50%的静脉血栓栓塞与近期住院或手术有关，被认为是医院相关性静脉血栓栓塞[ 2- 5];因此，医院系统有可能促进有效的静脉血栓栓塞监测。

采用主动或被动方法进行传统静脉血栓栓塞监测具有挑战性，因为国际疾病分类用于识别静脉血栓栓塞的代码已被证明具有中等敏感性和阳性预测价值[ 6- 8]，人工审查医疗记录是劳动密集型的，数据输入也容易出现人为错误。在美国，大多数新生成的临床数据都以数字方式存储和分析，通常以电子病历(EMR)的形式进行。截至2017年，96%的非联邦急症护理医院正在使用电子病历[ 9]，而电子病历的使用率自2008年以来增加了一倍以上[ 10］．

尽管多年来在开发新的数据库和档案格式以保存医疗记录方面取得了进展，但大多数医疗数据仍以非结构化文本的形式存储[ 3.］．非结构化文本是临床和转化研究的丰富数据来源[ 4］．自然语言处理(NLP)工具可用于克服传统VTE监测的挑战，因为它们可以从诊断成像报告(如超声和计算机断层扫描[CT]血管造影报告)中访问关键的非结构化文本[ 11]，确定符合静脉血栓栓塞病例定义的患者，并在有效时间内将相关信息输入监测数据库[ 11- 14］．

使用自然语言处理涉及的一些关键特性包括预处理[ 7]、句法处理、概念和命名实体识别[ 6］．预处理允许算法删除格式(包括回车符和其他空白字符)，然后输出一个“干净”的文本字符串(不包含与原始源相关的标记或控制字符)，以供后续步骤使用。句法处理指的是理解词序(例如，主语-动词-宾语关系)和对模糊名词和代词的引用，如 它．因此，该算法能够连接复杂或协调短语的元素。例如，在句子中 右肺动脉未见充盈缺损，则算法需要检测的关键字为 没有， 充盈缺损, 肺动脉．最后，概念和命名实体识别是指识别与单个概念相关的拼写或措辞变化的能力，例如临床医生可能引用、拼写或拼写错误的不同方式 静脉血栓栓塞．链接不同的文本表面实现(例如， 血栓， 栓塞, 肺栓塞)转换为单一概念实体( 静脉血栓栓塞)便于分类，减少了模型训练阶段需要估计的参数总数。

尽管NLP的领域非常广阔，其特征和能力也在不断增长，但NLP在VTE监测中的应用范围很窄。一个具体的软件- ideal - x(信息和数据提取使用自适应学习;埃默里大学)-在之前的研究中使用非结构化文本从成像记录中识别VTE [ 14］．IDEAL-X利用基于机器学习的方法为各种用例定制微调的NLP模型。它分析特定领域的术语和相关语言特征，以确定医疗事件。IDEAL-X NLP工具已应用于不同的用例，其对VTE事件识别的适用性已被Emory大学的试点研究证明[ 14］．当IDEAL-X VTE识别模型在其原生临床环境中对VTE记录的预过滤性能进行测试时，其灵敏度≥97.2%，特异性≥99.3% [ 14］．然而，由于NLP模型是基于来自单个站点的记录进行训练的，预过滤(例如，根据患者的类型和严重程度识别病例)和某些外部因素(例如，特定诊所或地理区域常见的语音模式和词汇选择)可能会影响NLP工具的性能。因此，需要独立验证。

为了评估我们基于机器学习的NLP工具IDEAL-X开发的VTE识别模型的稳健性和适应性，并确定临床环境之间的差异如何影响其性能(作为将NLP应用于国家VTE监测的概念证明)，我们在两个独立的医疗保健环境中评估了VTE模型的准确性——一个在北卡罗来纳州达勒姆，另一个在俄克拉荷马城。

杜克大学共收集了1591份影像学记录(上肢超声图像:n=223;下肢超声:n=729例;胸部CT血管造影:n=527;通气-灌注扫描:n=112)。OUHSC共收集了1487条成像记录(压缩超声图像:n=1333;胸部CT血管造影:n=149;通气-灌注扫描:n=5)。这为我们的团队提供了总共3078条记录供IDEAL-X评估。IDEAL-X包含或排除的成像记录数量(根据VTE的病例定义)以及手动复查的记录数量显示在 表1(所示为合并数字和按地点分层的数字)。当这两个站点聚合时，有1204个真阳性病例，147个假阳性记录，1681个真阴性记录和46个假阴性病例。文中总结了系统的性能指标 表2．总体而言，IDEAL-X的VTE模型达到了90%以上的准确性(93.7%)，灵敏度(96.3%)和特异性(92%)。

当按地点分层时，我们发现杜克大学和OUHSC之间的绩效指标在统计上存在显著差异。在杜克大学( P<.001)，而OUHSC的特异性显著更高( P<措施)。为了进一步研究特异性的差异，我们确定了假阳性结果的总数(147/1351,10.9%)。假阳性结果的原因总结在 表3．两个位点的分布有所不同，杜克大学假阳性结果的分类原因与文本提示“没有血栓形成的证据”有关(104/ 104,100%)。此外，杜克大学的104个假阳性结果中有38个(36.5%)来自通气-灌注扫描的报告，这是一种未被包括在IDEAL-X VTE识别模型的机器学习阶段的成像方式。其余的错误发生在先前模型中使用的诊断成像方式(压缩超声和CT血管造影)，相应的成像报告中的许多错误是由于原始文本中不正确的换行，这导致算法对文本的错误解释。相比之下，在OUHSC，假阳性结果最常见的原因是文字说明“浅静脉中有血块”(25/ 43,58.1%)。杜克大学通气-灌注扫描的38个假阳性结果占所有人工解释为通气-灌注扫描的79.2% (38/48) 负杜克大学。相比之下，杜克大学的104例假阳性结果中有20例(19.2%)来自CT血管造影，但这些假阳性结果仅占人工解释的所有CT血管造影结果的8.1% (20/248) 负杜克大学。

我们还回顾了假阴性结果，并在 表3．IDEAL-X错误分类记录的一些潜在原因可能是:(1)我们的人工审查员对调查可能的病例的阈值较低，例如将提示慢性静脉血栓栓塞的成像记录、部分堵塞的血管或诊断为血栓性静脉炎的诊断为静脉血栓栓塞的初步病例，需要进一步调查，并可能在进一步检查时排除;(2)如果文本在一个部分中表明有血栓的证据，而在另一个部分中没有证据，IDEAL-X将推迟到表明没有证据的部分;(3) IDEAL-X没有识别某些拼写错误或符号。然而，对于46例假阴性病例中的18例(39.1%)，IDEAL-X错误分类的原因尚不清楚。在杜克大学的6个错误分类结果中，2个(33%)来自通气灌注扫描。