用NoteAid提高电子病历笔记理解能力:众包工作者对电子病历笔记理解干预的随机试验

介绍

背景与意义

近年来，许多医院都采用了患者门户，使患者可以使用医疗记录。特别是，患者门户允许患者访问他们的电子健康记录(EHRs)。在一项有关病人查阅病历的调查研究中，一般来说，选择查阅病历的病人对病历内容感到满意[1-4]并对自己的护理有了更大的自主权[1，5，6]。允许病人查阅其记录也不会增加医务人员的工作量[1，7-9]。一般来说，患者获得电子病历可导致积极的健康结果和对其病情的更深入了解[1，10，11]。然而，所包括的电子病历和病程记录往往包含复杂的医疗术语，患者难以理解。当病人看到他们的笔记时，他们对笔记中医学术语和其他概念的含义有疑问[9，12]。OpenNotes等工具促进了在患者门户中包含患者就诊记录，但如果患者对记录中术语的含义有疑问，那么简单地包括这些记录可能对他们没有好处。在向患者提供电子病历记录的过程中，需要能够定义术语并为医学概念提供外行定义的工具和资源，以便他们能够理解他们的记录和医疗记录的内容。

自助式教育材料随处可见，尤其是在Web上。internet上有大量与医学和保健相关的信息，从维护良好的带有精心策划的教育材料的本体到患有同一疾病的患者的基于web的讨论社区。有了这些信息，有特定症状的患者可以在互联网上找到有关他们病情的信息。但是这些丰富的信息有用吗?也就是说，仅仅是获得健康信息就能更好地理解吗?在这项工作中，我们测试了被动和主动干预在帮助患者理解医学概念方面的有用性。被动式系统MedlinePlus (MLP) [13]，是由美国国家医学图书馆维护的一个基于网络的存储库，其中包括临床概念、疾病和其他与医疗保健相关的术语的信息和定义。MLP过去曾用于促进患者教育，并向患者提供定义和教育材料，以提高健康素养[14-17]。MLP是一个高质量医疗保健信息的大型存储库，但用户必须搜索他或她正在寻找的信息。MLP不会自动为用户显示信息。

NoteAid [18，19是我们团队开发的一个免费的基于网络的系统，它可以自动识别医学概念并将其定义显示给用户。NoteAid之前已被证明可以通过自我报告来提高患者对笔记的理解[18，19]。

在这项工作中，我们的目标是确定是否访问NoteAid或MLP与更高水平的EHR笔记理解相关。这些教育材料的干预是否能提高患者理解其EHR记录的能力?在这项工作中，我们使用亚马逊机械土耳其人(AMT)微任务众包平台，为AMT工人(土耳其人)提供了全面的EHR笔记理解测试[20.]，一组旨在测试电子病历记录理解能力的问题。AMT是一种越来越受欢迎的收集研究数据的工具[21-23]和招募实验参与者，都是在开放领域的任务中[24，25]和特定医学研究[26-29]。某些土耳其人没有得到任何外部资源，而其他人则获得了MLP或NoteAid。我们的结果表明，使用NoteAid导致在EHR理解测试中得分显著高于没有给予外部资源的基线人群。然而，我们发现没有资源的土耳其人与使用MLP的土耳其人之间没有显著差异。土耳其人还被要求参加成人功能性健康素养测试(S-TOFHLA)，以评估功能性健康素养。所有的土耳其人都进球了充分的卫生知识普及为S-TOFHLA的最高水平。这是第一次定量分析NoteAid等工具的影响，使用EHR笔记理解测试，而不是自我报告分数。

在这项工作中，我们表明NoteAid对EHR笔记理解有重大影响，通过特定于该任务的测试来衡量。此外，简单地让患者访问MLP等网站并不会导致测试分数比没有外部资源的基线组有显著提高。最后，我们分析了完成我们任务的土耳其人的人口统计数据。一个预测考试成绩的回归模型显示了人口群体之间的差异，这与当前关于健康素养的知识相一致。例如，受教育程度低于高中的个体得分低于平均水平，而被认定为白人的个体得分高于平均水平。

相关工作

卫生知识普及对病人来说是一个重要问题。卫生素养低是一个普遍存在的问题，估计只有12%的成年人精通卫生素养[30.]。医学研究所将健康素养定义为"个人有能力就其健康作出适当决定的程度" [31]。健康知识水平低的患者通常难以理解医生的用药说明，在使用系统进行预约、配药和完成其他与健康有关的任务时也有困难[32，33]。此外，健康知识水平低与心脏病和对癌症进展的恐惧等领域的负面健康结果有关[34，35]。

重要的是能够测试患者的健康素养，以确定那些健康素养较低的患者。然后，医生可以为这些患者提供教育材料，以提高他们对医学术语和概念的理解。随着基于web的患者门户网站的普及，测试健康素养尤其重要，患者可以直接访问他们的电子病历和电子病历记录。在没有确认患者能够理解笔记内容的情况下，让患者访问他们的电子病历和电子病历记录，可能会导致患者对其医疗体验感到困惑和沮丧。

健康素养有许多测试，包括成人功能性健康素养测试(TOFHLA)和最新生命体征测试(NVS) [36-38]。TOFHLA及其缩写形式(S-TOFHLA)通过向患者提供情景，并通过删除情景段落中的关键术语来构建填空问题来测试理解和计算能力。NVS是一种简短的测试，患者被要求回答与营养标签相关的问题，以测试患者是否能够浏览标签。这些测试可以很好地作为筛查工具，以识别健康素养可能较低的患者，但它们是广泛的测试，并没有专门测试EHR记录理解能力。

虽然这些测试和其他测试是可用的，但唯一专门针对患者理解其电子病历记录能力的测试是全面理解测试[20.]。综合试题是使用从未识别的电子病历记录中提取的关键概念开发的。问题由医生和医学研究人员使用句子验证技术撰写，并使用项目反应理论(IRT)进行验证[39，40]。该测试集是首个专门测试患者理解EHR记录中所包含内容类型的能力的测试集。

方法

概述

在这项工作中，我们在AMT平台上招募了土耳其人，并要求他们完成ComprehENotes EHR笔记理解测试。turker被分成3组，在完成测试时允许使用1种外部资源(基线组不允许使用任何资源)。使用IRT收集和分析测试结果，以评估每个个体的EHR笔记理解能力，并分析分组结果，以确定外部资源是否对测试分数有显著影响。图1在高水平上说明了我们的方法。下面描述了每个步骤的详细信息。

数据收集

为了评估电子病历记录的理解力，我们使用了综合性问题集[20.]。该数据集由55个问题组成，用于衡量EHR笔记的理解程度。一组医生和医学研究人员从未识别的病人病历中开发了154个问题，然后使用IRT过滤到最终的测试集。在154个问题中，共有83个问题被提供给AMT Turkers，他们提供了回答。这些回答被用来拟合IRT模型，该模型估计了问题测试EHR笔记理解的能力。在原题库中的题目中，保留了55道作为笔记理解能力的测试[20.]。

综合性测试集中的问题包括与6种疾病相关的患者EHR记录中的问题:心力衰竭、高血压、糖尿病、慢性阻塞性肺疾病(COPD)、肝衰竭和癌症。这些问题都足够笼统，可以评估与六种疾病中的一种相关的关键概念，而不会太具体到某个患者，以至于对其他患者没有用处[20.]。因此，该测试可用于评估患者的一般EHR记录理解能力，并允许患者之间的理解能力进行比较。

对于健康素养较低的个体，全面健康素养测试集最具信息量。也就是说，在较低的能力水平(例如，−2到−0.5)，能力估计的SE是最低的。此外，大多数综合性试题的参数难度都很低。难度参数范围为−2.2 ~ 0.7。也就是说，这些问题的难度低于平均水平的人有50%的机会正确回答。例如，如果一个问题的难度参数为−1.0，那么一个能力为−1.0的人有50%的机会正确回答这个问题。能力估计是正态分布的，所以能力估计为- 1.0的个体比平均个体低1个标准差。文本框1显示了两个从综合测试中选取的示例问题。研究人员向每个人展示一段未识别的电子病历记录中的文本片段，并要求他们选择与文本斜体部分具有相同含义的答案。

我们为Turkers设置了3个AMT任务。研究人员向土耳其人展示了一套综合性问题，每次回答一个问题，并要求他们给出正确答案。

在第一个任务(基线)中，土耳其人被要求在回答问题时不要使用任何外部资源。对于第一个治疗任务(treatment -MLP)，土耳其人得到了一个到MLP的链接，并被告知他们在完成任务时可以使用该网站作为参考。turker被鼓励使用MLP页面搜索功能来搜索任务中出现的未知术语或概念的定义。对于第二个治疗任务(treatment -NoteAid [treatment - na])，为turker提供了一个使用NoteAid预处理过的综合测试集版本。我们使用NoteAid对ComprehENotes问题文本进行预处理，提取提供的简化和定义，并使用NoteAid输出作为向治疗- na组的土耳其人展示的问题文本(参见图2以NoteAid简化文本为例)。这些任务是有限制的，因此完成1项的人没有资格完成另外2项。对于所有群体，我们收集了有关土耳其人年龄、性别、种族、教育水平和职业的人口统计信息。我们还对每组进行了S-TOFHLA测试，以评估功能性健康素养，并比较S-TOFHLA和全面健康素养评分。

由于我们无法监控Turkers完成任务的情况，因此我们无法确定基线组没有按照指示使用任何外部资源。但是，我们可以确信，他们没有使用NoteAid。为了访问NoteAid，土耳其人必须知道访问系统的URL链接，即使我们没有提供给他们。或者，土耳其人将不得不在不知道我们正在测试的特定系统的名称的情况下搜索NoteAid。因此，我们有信心，即使基线组在任务期间使用了一些外部资源，他们也没有访问NoteAid的权限。基线turker如果在任务期间在Web上搜索医学概念，可能已经找到了MLP。例如，谷歌搜索“COPD定义”会在第一页上返回一个MLP链接。然而，除非土耳其人在开始任务之前就知道MLP，否则他们不太可能在任务期间使用MLP作为参考。

‎ 查看此图

‎ 查看此图

我们包括了AMT任务的质量控制检查，以确保土耳其人的高质量响应。首先，我们将访问任务的权限限制在95%以上的土耳其人，只包括那些工作被其他请求者评为高质量的土耳其人。我们还将任务限制在美国的土耳其人，作为英语水平测试的代理。在实际任务中，我们包含了3个质量检查问题，由一个非常简单的问题和一个明显的答案组成。如果任何土耳其人回答了1个或更多的质量控制检查错误，他们的回答将从后面的分析中删除。

NoteAid

NoteAid系统为电子病历记录中的医疗概念提供详细定义[18，19]。用户将EHR记录中的文本输入NoteAid系统，该系统输出定义了医学概念的记录版本。当用户将鼠标悬停在一个概念上时，会显示一个带有定义的弹出窗口。图2显示了NoteAid系统中组件的高级概述，以及已注释的示例文本。用户将其电子病历记录文本输入NoteAid，系统将向用户提供文本的副本，并将关键医学概念与其定义链接在一起。

‎ 查看此图

NoteAid由两个组件组成。的概念标识符组件处理输入文本并将术语映射到医学概念。使用元地图将概念映射到统一医学语言系统中的条目[41，42]。然后，它过滤返回的概念列表，只包括与患者健康相关的可能语义类型子集(例如，疾病或综合征以及实验室或测试结果)匹配的概念。的取物的定义组件使用过滤过的概念列表从外部知识资源(例如，维基百科或MLP)中提取定义。

先前对NoteAid的评估表明，使用该系统时，患者自我报告的理解分数有所提高[18，19]。然而，目前还没有对NoteAid进行理解测试的评估，而不是自我报告分数。

项目反应理论分析

利用IRT开发了ComprehENotes测试集[40]。测试集是根据一个固定猜测参数的单因素3参数logistic IRT模型建立的。因此，这项测试衡量的是一种潜在的特质，特别是理解电子病历记录的能力。一旦模型被拟合，一个新的测试应答者的能力就会被估计出来θ根据应答者对测试问题的回答，回答已转换为正确或不正确的二进制格式。对于一个测试问题我，个体的概率j正确回答问题取决于个人的能力(θ）.图3包括3个方程:方程1用于计算个体的概率j估计的能力θ_j会回答问题我正确地;公式2计算了个体的概率j估计能力θ_j会回答问题我不正确;公式3计算了个体的可能性j的反应集U_j到测试集中的所有项，其中u_ij如果是个人，则是1j回答项我正确，否则为0。

p_我和问_我是已知项目参数的函数，因此，我们可以估计θ通过最大可能性为每个土耳其人。我们还计算了每个土耳其人的原始测试分数(正确回答问题的百分比)以供比较。

结果

土耳其人口

我们首先报告完成任务的土耳其人的人口统计信息。表1显示了我们从基线组、治疗- mlp组和治疗- na组的土耳其人收集的人口统计信息。总的来说，完成我们任务的大多数土耳其人都是白人，年轻，至少有副学士学位。此外，大多数土耳其人不在医疗领域工作。这些人口统计数据不能代表更广泛的人口，也不符合通常与低卫生素养相关的人口统计数据[31]。然而，我们在这里的目标是比较不同干预措施的结果。在这种情况下，我们不需要测试卫生素养较低的个体;相反，我们希望看到当用户获得某些外部资源时分数是否会提高。

干预的影响

我们的分析包括原始测试分数以及使用IRT估计的能力水平。由于测试集由使用IRT拟合的问题组成，我们还可以计算这些土耳其人的能力，并测试使用NoteAid的土耳其人的平均能力得分是否更高。能力是一个有用的衡量标准，因为它考虑的是你正确回答了哪些问题，而不仅仅是多少问题。IRT模型质疑难度，因此通过考虑简单或困难的答案是正确的，IRT允许比正确率百分比更有信息的分数。对于每个突厥人，我们计算他们的能力分数(θ)使用IRT模型拟合作为ComprehENotes数据集的一部分[20.]。我们使用mirt和中心思想用于评估的开源R包[43，44]。

图4为我们的测试集绘制每个AMT Turker的原始分数。中间的矩形跨越了从第一个四分位数到第三个四分位数的范围，每个方框内的粗体线表示中位数分数。开圈表示离群值。上面的水平线表示每组的最高分数，下面的水平线是第一个四分位数以下四分位数范围的1.5倍。如图所示，从视觉上看，接受和未接受干预的人群之间存在差异。基线组和MLP组的原始得分中位数相似，而NoteAid组的得分中位数更高。治疗组的反应范围也小于基线组。

图5显示了能力估计的箱形图。同样，基线组和MLP组的中位数相似，而NoteAid组的中位数能力估计值更高。基线组和MLP组的最低能力估计值远低于NoteAid组(低于平均值2个SD，而低于平均值1个SD)。这表明，即使是使用NoteAid仍在挣扎的个人，能力的低范围也高于不使用NoteAid的情况。

为了测试两种干预措施是否会导致得分显著差异，我们使用韦尔奇2样本将每种干预措施与基线进行比较t测试。表2显示了每组土耳其人的平均原始分数和平均能力估计值。获得NoteAid的土耳其人的平均分数明显高于基线，包括原始分数(P=.01)及估计能力(P= .02点)。

回归分析

我们还想确定人口因素是否对考试成绩有影响。为此，我们拟合一个线性回归模型，以人口统计信息和群体(如基线或治疗)为特征来预测原始评分。分析结果显示，干预(无、MLP或NoteAid)是预测原始评分的一个显著特征。此外，某些人口统计学群体在决定分数方面具有重要意义。在种族方面，自述为白人的个体有显著的正系数。在教育方面，高中以下学历的个体有显著的负系数。这些结果与已知的有低卫生素养风险人群的情况一致。教育程度较低的个人以及少数群体的卫生知识水平较低的情况往往较多。我们从事这项工作的人口，特别是少数民族和受教育程度较低的人，非常少。未来在少数民族人群中开展NoteAid的工作将值得证实这些影响。

‎ 查看此图

‎ 查看此图

与成人功能性健康素养短期测验的比较

所有完成任务的土耳其人都进行了S-TOFHLA测试。S-TOFHLA的分数将考生分为三类:卫生知识普及不足，边际卫生素养,充分的卫生知识普及。它是最有用的筛查工具，以确定具有低或边缘卫生素养的个人。所有参与我们任务的土耳其人都有得分充分的卫生知识普及。事实上，所有的土耳其人要么得到满分，要么只回答错了一个问题，而“全面理解”测试的分数涵盖了广泛的能力评估。与S-TOFHLA等筛查工具相反，全面评估可用于在更细粒度的水平上评估EHR笔记的理解程度，后者主要关注的是识别健康素养较低的个体。

ComprehENotes分析

最后，我们想看看最初适合作为综合数据集一部分的IRT模型是否被我们从土耳其人收集的响应模式所验证。为此，我们选择了回答正确的土耳其人最多的2个问题，以及回答正确的土耳其人最少的2个问题。

在我们的任务中，这些问题分别被认为是最简单和最难的。IRT模拟的这些项目的难度参数与这些项目的预期难度相符。我们的任务中最难的2个问题(根据有多少土耳其人正确回答)的难度参数为0.7和- 0.3，而最简单的2个问题的难度参数为- 1.8和- 1.4。难度参数与一个人有50%的机会正确回答问题的能力水平相关。因此，低难度意味着能力低的人有50%的机会正确回答问题。相反，更高的难度参数意味着某人必须具有更高的估计能力水平，才能有50%的机会正确回答。

讨论

主要研究结果

在这项工作中，我们已经证明了在试图提高一个人理解EHR笔记的能力时，有针对性的积极干预的重要性。通过向土耳其人提供NoteAid，他们在综合测试中的得分比没有外部资源的基线人群有了显著提高。另一方面，能够使用MLP但必须自己搜索他们想要的信息的土耳其人在分数上没有显著提高。NoteAid自动识别关键的医学概念并提供定义，这与MLP的场景不同，在MLP场景中，用户必须决定搜索什么。用户可能不知道某个概念是理解文章的关键，或者他们可能认为他们理解了某些概念，但他们并没有。如果让用户决定搜索什么，可能会漏掉重要的词，影响整体的理解。这一结果与之前使用NoteAid等工具评估理解能力的工作一致。18，19]，但这是第一次结论基于电子病历记录理解评估，而不是患者自我报告的分数。通过使用全面评价测试，我们可以定量地确认患者之前自我报告的结果。

限制

这项工作有局限性。首先，通过使用AMT，我们无法监控完成我们任务的土耳其人，以确保只有我们提供的外部资源被使用。在基线组中尤其如此，我们的期望是不使用外部资源。然而，基线用户不太可能在不事先了解系统的情况下访问NoteAid;因此，我们可以确信他们没有在我们的任务中使用它。如果基线用户确实使用外部资源，他们很可能使用被动资源，如谷歌甚至MLP。由于NoteAid被整合到Treatment-NA任务中，我们可以确信Treatment-NA任务中的土耳其人使用了NoteAid。治疗- mlp和治疗- na之间的差异似乎倾向于治疗- na组的改善，但有一个重要的区别。目前，像MLP这样的网站对任何寻求它们的患者都是可用的，但患者有责任去网站上搜索术语。对于Treatment-NA组，我们已经证明，通过集成一个可以简化和自动定义医学术语的系统，可以消除患者定义术语的负担。

此外，完成我们任务的土耳其人的人口结构不能代表更大的人口，特别是与卫生知识水平较低风险较高有关的人口结构[31]。在这项工作中，这是没有问题的，因为我们的目标是检查主动和被动干预对EHR笔记理解的影响。我们三个组的人口统计数据分布相似，因此分数的变化可以与所使用的干预措施联系起来。虽然得到的结果是显著的，理想情况下，可以在每组中检查更大的人群。然而，由于土耳其人的人口统计与卫生知识普及程度较低的人口群体不一致，后续工作应以这些群体为重点。通过使用AMT和Turkers，我们已经证明了NoteAid等工具确实总体上提高了EHR笔记的理解能力，但未来的工作应该特别关注与低健康素养相关的群体，以确定我们的结果是否适用于这些群体。

这项研究的另一个局限性是，患者没有根据自己的病历进行评估。理想情况下，我们将能够通过测试每个患者使用从他或她自己的EHR笔记中提取的概念来评估每个患者对EHR笔记的理解程度。然而，要实现这一目标还存在几个障碍。首先，这种类型的个性化评估将降低患者之间比较理解能力的能力。如果病人在对自己的笔记进行评估时得分很高，我们可以说病人理解了笔记，但如果笔记中没有复杂的概念，我们就不能将其与在基于自己复杂的EHR笔记的评估中得分较低的病人进行比较。其次，建立个性化的EHR记录评估将需要复杂的自然语言处理(NLP)系统在患者输入EHR记录时自动生成多项选择题(MCQs)。据我们所知，目前还没有用于医疗MCQ生成的NLP系统。我们相信这样一个系统的开发将有利于个性化患者评估的电子病历理解。这样一个个性化的系统可以补充全面评估测试，这样病人就可以在他们自己的电子病历记录和标准化评估上进行评估。

结论

在这项工作中，我们已经表明，仅仅获得旨在提高健康素养和医学概念理解的资源不足以提供益处。在我们的实验中，能够接触到MLP的土耳其人在综合评价测试中的得分并没有明显高于那些没有获得外部资源的土耳其人。另一方面，使用NoteAid，它可以主动提取定义信息并提供给用户，这使得土耳其人的分数显著提高。这一结果验证了之前报道的自我评分理解结果，即用户在使用NoteAid时更容易理解他们的笔记。

了解用户并没有从简单地访问MLP中看到好处是一项重要的观察。当医生为希望提高健康素养的患者推荐下一步措施时，仅向他们指出网络资源可能是不够的。有针对性的干预措施是必要的，以确保患者能够了解与他们相关的具体概念和疾病。特别是，NoteAid与患者门户上的EHR记录的集成将消除患者访问外部资源的阻力。相反，患者将在自己的患者门户中定义和简化关键术语，这将最大限度地减少从患者角度所涉及的工作，并将记录中的信息保留在门户本身中。

未来的工作有几个方向。制定目标课程是必要的，以确保患者能够从基于网络的资源中获益。他们可能不需要像NoteAid这样的工具(例如，如果他们没有看笔记)，但需要比MLP更有针对性的工具来确保患者在学习。此外，还应进一步对具有低健康素养风险的患者进行综合性测试集的验证。在我们的任务中，土耳其人的能力评估得分都接近平均水平或高于平均水平，除了少数异常值。该测试被设计为为能力较低的个体提供最多的信息，因此该测试应该在这样的人群中进行重复。