学习分析应用于临床诊断推理使用基于自然语言处理的虚拟病人模拟器:案例研究

简介

背景

虚拟病人模拟器(vps)是教学工具，要求学生面对各种临床场景。为学生提供以软件为基础的医疗培训，并可与亲身临床实习相结合，可帮助他们发展诊断技能[1-8］．此外，通过分析用户的记录操作获得适当的度量标准，vps可以生成学生医疗能力的多维表示，从而为教师提供潜在有价值的教学信息[9-13］．vps可能包括使用自然语言处理(NLP)技术，以更好地模拟医患互动，并促进医学院学生使用这些技术[13-15］．

在许多vps中，指标的设置仅仅是为了评估整体患者诊断管理的部门方面，例如病史采集[14]或临床检查[13]，而在其他vps中，重要的诊断活动，例如进行身体检查和安排体检，则不被考虑在内[15］．因此，许多vps及其相关指标旨在解决特定的教学项目，而不是包括整体的临床诊断方法。后者在本科医学培训中至关重要，因为初级医生的大多数诊断错误都是由于数据收集或数据整合的缺陷造成的[15］．我们需要新的vps来针对诊断过程的所有领域，同时保持NLP技术提供的用户友好特性。

除了vps，另一项可能有益于医学教育的技术是智能辅导系统(ITS) [9-13]因为它为学生提供循序渐进的特别反馈，并提供适当的补救建议[16，17］．例如，cirism - tutor [18是为了教授医学院一年级学生血压调节概念而创建的。COMET算法[19]通过结合文本和图像的多模态界面，应用于基于问题的学习。StoichTutor [20.帮助学生学习化学计量学，尽管它的应用主要局限于高中教学。从教学的角度来看，这些工具经证明能有效地帮助学生在学习过程中促进推理和认知联想，从而提高他们的技能[9-13，21，22］．然而，在这些案例中，ITS技术并没有应用到整个临床案例模拟中。

我们最近开发了一款VPS, Hepius，它集成了ITS组件[23它们涉及医生在管理病人时进行的两项主要活动:数据收集和数据分析。NLP技术被用来模拟医患互动。数据收集包括四个主要部分:(1)在模拟电子病历中检查患者信息(即输入场景)，(2)病史收集，(3)体格检查，(4)诊断测试顺序。数据分析模型包含四个主要组成部分:(1)假设生成，(2)二元分析，(3)模式分析，(4)最终诊断。通过设置适当的指标和一般学习分析来处理和量化学生数据收集和分析表现。

客观的

在这项研究中，我们描述了通过跟踪医学生使用Hepius执行2个虚拟患者模拟而获得的学习分析。特别介绍了从人道主义大学医学院的一组五年级学生那里获得的结果，并就其潜在的学习意义进行了讨论。从第一次模拟测试中获得的学习分析也初步用于医学生在血液学期末考试中获得的分数。

方法

伦理批准

为了与我们的内部审查委员会的政策保持一致，IRCCS- Istituto Clinico Humanitas没有申请伦理批准，因为这是一个教学研究，而不是临床研究。数据经过适当匿名处理，并在原始数据收集时获得所有参与者的知情同意。最后，该研究对参与者没有任何潜在的损害风险，也没有任何副作用。已按要求向内部审查委员会发送了一份简单的书面来文。

诊断过程模拟器组件

本节提供了Hepius诊断模型的主要特征的综合描述，这对于全面理解学习分析是必要的。有关该计划的详细描述请参阅别处[23］．

输入场景

向学生提供一段简短的文字，描述病人目前的病情。在这一阶段，学生需要识别文本中包含的相关诊断因素。诊断因素是一条明确的临床信息，可以帮助做出诊断(例如，患者发烧或布隆伯格征呈阳性)。

病史收藏

学生必须收集进一步的诊断因素，提出问题，就像采访一个真正的病人。Hepius NLP算法管道检查输入问题，并在模拟作者(即教师)准备的问题集中搜索匹配的答案(如果有)。如果找到匹配项，程序将显示模拟问题和相应的答案。例如，如果学生要打字你气短吗?在自由文本对话框中，NLP管道将在模拟案例数据库中查找匹配的问题(例如，你有呼吸困难吗?)，并自动提供相应的答案(例如，是的，我有)．这种先进的NLP算法利用了我们小组以前开发的NLP算法，从管理数据库中自动识别晕厥患者[24］．

体格检查

学生被要求了解哪些身体检查与特定的临床病例相关。学生可以从下拉菜单中进行选择，也可以在自由文本对话框中输入适当的身体检查。应执行的相关检查已由模拟作者事先确定。学生所做的所有相关和不相关的行为都可以被跟踪和测量。

体检申请

学生可以选择进行诊断测试。要求检查的任务与身体检查的方式相同。只有在模拟作者认为相关的情况下，测试请求才被认为是正确的。当正确时，将提供测试结果。

诊断假说

根据前几个阶段收集到的信息，学生需要提出一个或多个诊断假设。这是通过在自由文本对话框中插入自然语言的假设来实现的。Hepius的NLP组件负责将假设的诊断与模拟作者选择的最相关的假设相匹配。该NLP组件将学生的描述与标准的医学-临床术语系统化命名法(SNOMED-CT)描述相匹配[25，并保存在模拟数据库中。如果学生提出的假设存在于作者设定的合理诊断假设列表中，则给予正反馈，诊断假设出现在二元分析中。

二元分析

要求学生在所有确定的诊断因素和诊断假设之间建立相关性，以提高分析收集到的信息并形成联系的能力。对于每一对诊断因素-诊断假设关系，学生必须确定单个诊断因素是否增加、减少或既不增加也不减少(即，它是中性的)该诊断假设的概率。二元分析是脚本一致性测试(SCT)的简化形式，其Likert量表只有3个值(1,0和- 1)，而不是标准的5个值，称为“锚描述符”[26］．的确，在二元分析中，增加，减少,中性作为经典SCT中的锚描述符[26，27］．例如，期望学生设置诊断因素之间的二元分析体温38°C诊断假设肺炎作为我(增加)。其他任何输入都将被认为是错误的。

重要的是，经典SCT和Hepius二元分析之间的关键区别之一是，诊断因素和诊断假设不是先验的，而是必须由学生制定。这需要学习者积极的反思过程，具有内在的教育价值。关于这两种教育工具之间差异的更详细的讨论可以在多媒体附件1［23，26，28-32］．

模式分析

在本节中，将自动创建一个图来表示二进制分析。该图显示了诊断因素和诊断假设节点。根据二元分析，只要诊断因子和诊断假设是增加相关或减少相关的，就会产生一条边。图自动转换为认知模糊图[28，33]，显示每个节点和边的相关数字权重。学生可以根据支持某种疾病可能性的特定诊断因素的估计重要性，修改诊断因素-诊断假设边的权重。这种操作的效果可以可视化为诊断假设节点的维数相应的增加或减少(多媒体附件1)．这为学生提供了即时的反馈。

最后的诊断

在这最后一步，学生必须从诊断假设列表中选择最终诊断;也就是说，它具有最大的正确概率。

学习分析与Hepius

学习分析通过收集、分析和解释学生生成的数据来改进和深入了解学习过程[34］．每当学生使用Hepius执行一个动作时，该动作都会被记录在程序数据库中。由于模拟作者(即教师)已经明确指定了正确的动作，因此可以通过分析模拟执行日志来构建学生表现的详细表示。

从这个详细的表示中，我们计算了提供的综合指标补救的见解进入学生目前的能力，以应用他们的能力。通过补救，我们的意思是，学生、教师或其他利益相关者可以使用这些见解来改进学习和教学过程。

测试描述

我们使用Hepius进行了2次临床病例模拟(测试)来设置我们的指标。测试1(2018年4月12日)包括25名参加人道主义大学患者管理课程(医学院五年级)的学生。学生们对主诉为呼吸困难的虚拟病人进行了模拟，正确的最终诊断是霍奇金淋巴瘤继发的胸腔积液。测试2(2018年5月21日)包括36名同一课程的学生，他们对一名腹痛患者进行了模拟，最终诊断为急性胆囊炎。

所有参与者都熟悉该程序的使用，被指示独立工作，并且没有时间限制。在这两个测试中，执行的所有操作都被记录下来并随后进行分析。

学习标准

总体而言，学生的表现分为七个部分，包括:(1)在给定的临床场景中识别相关信息，(2)病史记录(即记忆)，(3)进行体检，(4)安排医学检查，(5)制定诊断假设，(6)通过将模拟中获得的临床数据与鉴别诊断相匹配来完成二元分析，以及(7)做出最终诊断。对于每个部分，我们计算了一个灵敏度度量(即，学生能够找到多少包含在每个部分中的相关信息)和一个精度度量(即，学生执行的多少操作被认为是正确的)。这两个分量用谐波平均值(F₁)，得出一个介于0到1之间的分数(1=完美的灵敏度和精度)。这个分数被用作学生在每个部分(表1)．

通过结合7f₁度量分数，我们获得了一个单一的数字，用作学生的总分，并将其与平均班级表现进行比较。

此外，这7个指标被分为两组:一个表示收集信息的能力(第1、2、3和4项)，另一个表示分析信息的能力(第5、6和7项)。选择开发基于准确性的度量标准来评估临床数据收集的表现，而不是每当获得新信息时简单地增加累积分数，这源于大量文献支持的概念，即优秀的诊断医生主要根据“疾病脚本”进行集中数据收集[35-39］．换句话说，这一指标旨在衡量所收集的临床数据的质量而不是数量。

此外，每次模拟的结果都在雷达图上描绘出来。这提供了在每个练习中单个学生和平均班级表现的综合视图。单个雷达图可以叠加，因此可以与同级的雷达图进行比较。

在虚拟患者模拟中，例如在真实的临床病例中，正确的诊断动作顺序通常对正确的诊断至关重要[40］．在Hepius中，这些行为被定义为关键诊断行为，当按照预期的执行顺序执行时，它们就构成了关键诊断行为期望执行路径．因此，不仅可以分析是否执行了所有关键的诊断行为，而且还可以分析它们的顺序是否与预期的执行路径保持一致。这是由一个额外的度量合成的方法论的分数，以评估整体诊断过程[41-43］．

为了计算方法学分数，学生执行的关键诊断行为序列被转换为一个字符串，其中每个字符代表一个特定的模拟部分。然后通过删除连续相同字符的重复来简化字符串。因此，如果学生首先确定3个场景因素，然后问2个记忆问题，最后执行2个身体检查，这将最初转换为字符串sssaapp．在这样的字符串中，年代代表场景，一个为了记忆，还有p体检。这个字符串可以进一步简化为sap．

让是与前一段中描述的特定模拟实例相关联的字符串。我们首先计算以下5个参数:[p₁]为Levenshtein相似度[44的前3个字符组成的字符串和引用字符串sap正如我们假设的那样，收集临床数据的预期路径是从输入场景到获取病史，然后到体检[45，46］．［p₂的最后2个字符组成的字符串之间的Levenshtein相似度和引用字符串br．b代表二元分析和r表示结果或最终诊断选择。之所以这样做，是因为在模拟病例中，预期的最后步骤应该是分析收集的临床数据，以根据假设演绎模型选择被认为是正确的诊断假设[47，48］．［p_3.如果第一次出现，则值为1h(假设产生)先于的第一次发生米(体检);否则，它是0。事实上，我们认为，只有在提出至少一个诊断假设后，才应要求进行医学测试[49]，也根据明智的选择运动(50］．［p₄中出现的分段百分比在7个可能的部分中。因此，例如，如果Φ= sapr,那么这个参数是4/7。这是为了确保学生对模拟病人做出全面的评估，而不遗漏病例的任何部分。［p₅]是参数1/(1 +R),R重复的次数在吗．这是倾向于采用线性方法来处理病例，而不是在整个章节中重复来回移动，因为这可能发生在不熟练的诊断医生身上[35，36]可能容易过早关闭[51，52］．

然后，通过计算这5个参数的向量的欧几里得范数，将这5个参数组合成一个分数:

√(p₁ ²+ p₂ ²+ p_3. ²+ p₄ ²+ p₅ ²)．

指标验证

使用测试1的结果初步验证了我们提出的度量标准。由于测试1中的模拟临床案例是关于霍奇金淋巴瘤的，为了验证我们的新指标，我们将结果与现行的参考标准进行了比较，以评估我校学生在血液学方面的知识，即血液学课程考试。该检查包括血液疾病流行病学、危险因素、临床表现和诊断的多项选择题测试。取值范围为0 ~ 33。

为了验证，我们使用Spearman等级相关检验将总体评分、收集评分、分析评分和方法学评分与血液学检查评分进行了比较。

结果

概述

测试1的平均班级表现(平均0.59，标准差0.05)略高于测试2(平均0.54，标准差0.12)，测试2的分数离散度较大，这表明SD较大。图1显示了在测试1和2期间获得的总分分布评估的班级表现。从左偏的柱状图可以看出，总体分数并非正态分布。这表明少数学生的表现低于班级平均水平，特别是在测试2中。

‎ 查看此图

通过将7个指标分组到2个知识领域(即数据收集和数据分析;图2)，我们可以进一步了解学生的专业知识。注意在两次测试中单项分数的不同分散。测试1中单个分数的聚类越大，表明班级表现越同质。此外，如果只考虑整体成绩，例如202025年和202041年的学生(见箭头)似乎处于相同的成绩水平。然而，在他们的案例中，以不同的方式获得了相同的总分(0.63):学生202041在数据收集练习中表现较差(收集排名12，分析排名5)，而学生202025在数据分析练习中表现较差(收集排名3，分析排名11)。

学生表现的进一步分析可使用雷达图，如图3．在每个图表中，可以汇总7个模拟部分的分数，并与其他学生的表现进行比较，以发现学生需要提高的主题。

‎ 查看此图

‎ 查看此图

请注意，除了历史部分，表现最好的学生在所有任务中的得分都高于班级平均水平。相反，表现最差的人只有在给定临床场景任务中的相关信息识别(即对输入场景的解释)方面达到了班级平均水平。

图4提供关于学生临床方法学技能的见解。每个学生在测试1和2中获得的方法学分数与总分的关系被绘制出来。箭头表示在测试2中就临床方法而言得分较低的学生，尽管总分可接受。

图5显示学生在模拟测试2期间执行的关键诊断行为的序列，以及执行每个序列的用户的数量和百分比。测试2的5个关键诊断行为是分析输入场景(S)、触诊腹部(P)、寻找墨菲符号(M)、要求腹部超声检查(U)和选择正确的最终诊断(D)。在36名学生中，只有3人(8%;SPUD)按照预期的顺序执行了所有3个关键的诊断行为，而16个(44%)在没有进行体检的情况下做出了正确的最终诊断。

‎ 查看此图

‎ 查看此图

指标验证

在参加测试1的25名学生中，20人(80%)透露了他们的血液学检查成绩。在这20名学生中，1人(5%)得25分，6人(30%)得29分，其余13人(65%)得33分。正如在表2，血液学检查评分与各Hepius指标评分之间无相关性。

讨论

主要研究结果

在本文中，我们描述了使用VPS Hepius [23]通过分析人道主义大学国际医学院五年级学生进行的两项测试结果。此外，通过与测试1中血液学课程考试成绩的比较，初步验证了学习分析的有效性。

学习分析可以为教师提供有关学生医学专业知识和诊断推理技能的宝贵信息。然而,可治疗的应该是教育绩效指标所期望的关键特征，在特定意义上适合于补救行动。并不是所有的度量标准都具有这一特征，并且大多数指标只是为评估目的而设计的。例如，考试分数是一个特定领域能力的整体指标，对学生应该关注哪些方面来提高能力提供了有限的直接暗示。普通考试成绩的主要目标是评估，而不是补救。53-56］．相比之下，这里提出的主要指标(即总分、收集得分、分析得分和方法得分)主要是为教育工作者提供以学生为中心的线索补救行动．

在这项研究中，我们首先设置了基本的统计指标来评估学生在模拟的单个部分的表现。通过结合这些指标，计算出一个方便的指数(即总分)，反映学生的整体表现。并绘制了相关图对主要结果进行了综合。

这种分析提供了许多信息(图1)，可分为以下几类:(1)课堂内信息;比如左边的条形图图1-测试2的直方图表明，有些学生的表现比班上大多数学生都差;从教育的角度来看，这部分学生可能是特定教学行动的目标将它们滑动到图表的右侧(2)跨班级信息(例如，不同学年的同一班级之间的比较)，这可以为教师提供有关他们在一段时间内整体教学表现的信息。

另一个有价值的问题是使用雷达图比较学生和班级表现的可能性。这总结了在模拟的不同练习中获得的单项分数。雷达图可以为单个学生或整个班级的表现绘制。在图3在美国，成绩最好的学生在除一项(即历史)外的所有练习中都比班上其他学生得分高。这可能反映了一种过于自信的行为聪明的仅凭少量信息对临床病例进行直观解读的学生，没有深入了解病史，导致重要信息丢失，陷入所谓“早结错误”[57］．从教学的角度来看，从模拟中获得的每个结果都可以提供关于整个班级能力水平和每个学生知识的特定特征的具体见解。

总分可以提供学生准确分析临床病例能力的信息。如果使用适当的策略来避免懒惰，并预设严格的时间限制，我们可能会期望就相关主题而言，总分是考试成绩的代理衡量标准，尽管本研究的结果不支持这样的假设。

然而，作为一种补救工具，总体分数并不会特别有用。反过来，通过将总分的2个组成部分(即数据分析和数据收集得分)进行关联，可以获得学生诊断过程的重要操作性信息。例如，可以评估数据分析或数据收集分数对个人总分的相对贡献，可能会给学生具体的建议，以克服任何弱点。此外，分析成绩不理想的学生应把注意力集中在学习特定的“最新到目前为止”[58] Hepius学习模型自动推荐的文件或通过医学文献修订提高他们在特定疾病方面的专业知识。相比之下，那些数据收集得分不理想的人应该更多地练习Hepius临床病例或直接采访真实患者。值得注意的是，这样的假设尚未得到验证，需要进行特别研究。

我们提出的方法分数旨在估计学生遵循充分和现实的诊断过程的程度。我们相信临床方法学，并相信医学生必须学习其主要原则[41-43尽管最近人们普遍支持将技术用于诊断目的。对患者采取适当的诊断和治疗方法，并可能以证据为基础，可以优化诊断[59]和治疗[60]同时减少副作用[61，62］．此外，这样的明智的选择这种方法可能通过显著减少不必要的检查、检查和治疗而最终影响医疗费用[63-66］．在模拟急性胆囊炎时，Hepius通过识别所做的诊断动作并跟踪其执行顺序，发现在达到最终诊断的过程中，>40%的学生(16/ 36,44%)跳过了腹部体检，22%(8/36)直接进行了腹部超声检查(图4)．这一发现有两种可能的解释。这可能是因为学生们面对的是一个虚拟的模拟，而不是一个真正的病人，他们将对他进行完整的腹部体检。另一方面，这一发现可能反映了学生由于对自己的诊断能力缺乏信心而对医学测试的过度依赖。在这两种情况下，都提出了一个重要的教育挑战，既需要认识到，也需要适当有针对性的教学行动。后者的一个例子是，教师将方法分数不足的学生介绍给适当的指导方针或流程图，以解决疾病或障碍的具体管理问题。

为了与这些考虑保持一致，我们还试图通过最初设定2个分数，然后绘制方法分数与总分的关系，来评估单个学生总分中方法成分的大小。如图4，部分学生在临床方法学方面表现欠佳[67尽管总分还可以接受。事实上，他们的总分接近班级平均水平。因此，这样的方法使我们能够确定哪些学生如果被项目或老师及时推荐到适当的最新章节或疾病管理指南，就可以获得学习优势。

使用模拟器解决认知过程是一项艰巨的任务，已经以不同的方式自动实现。例如，Hege等人[68]使用VPS结合概念映射工具来评估学生执行的一系列操作，包括问题识别、鉴别诊断设置、测试请求、治疗方案和建立的联系。同样，Hepius可以跟踪学生与模拟器之间的互动，并将其综合在一个模糊认知地图中。与Hege等人使用的工具不同[68]， Hepius可以识别关键的诊断行为及其执行顺序，而不关注诊断的准确性，诊断的准确性定义为第一次尝试就能得出正确的最终诊断的能力[67］．我们先验地假设，对于每一种症状，学生都应该采取一系列基本措施来做出正确的诊断。重要的是，正确的行动顺序也至关重要，因为它可以简化诊断途径，而不需要不必要的测试[63，64］．最后，我们假设在模拟中识别这些动作及其执行顺序可以作为代理，可能反映学生的整体认知过程和方法技能。虽然所有学生(36/ 36,100%)都能得到正确的最终诊断，但我们的数据表明，其中只有8%(3/36)的学生遵循了预期的序列(SPMUD路径)图5)，而其余的则采用了5种不同的方法。通过我们的模拟器，我们能够识别那些忽略了关键行动的学生，指出他们在对待患者的方法方法上的缺陷，这些缺陷可以通过学习特定的管理路径指南等补救行动加以修正。

在比较总体、收集、分析和方法学分数与学生血液学考试分数时，我们发现没有统计学上的显著相关性。然而，这是意料之中的，因为分数涉及不同的技能。53］．多项选择题测试评估了对疾病的全面和深入的能力。VPS分数旨在评估学生的能力收集临床相关信息(即收集评分);制定鉴别诊断从头开始,建立正确的联系诊断假设与收集到的临床信息(即分析得分)之间的关系，并运用一种方法解决临床病例正确的临床方法(即方法学评分)。此外，值得注意的是，血液学检查成绩相当均匀，65%(13/20)的学生得分为33(总分33)，95%(19/20)的学生得分为>29。虽然这可能反映出班级教育水平的同质性，但也可能表明该评估方法在正确把握医学生准备工作的广泛可变性方面存在潜在的局限性[54-56］．

事实上，尽管多项选择题测试目前代表着医学生评估的主流，但许多人都强调了这种评估工具的弱点[69，70］．

限制

这些结果是通过2项测试和有限数量的参与者获得的。这削弱了Hepius作为医学学生诊断技能评估工具的有效性结果的可泛化性。此外，我们提出的学习分析应该经过更强有力的验证，可能是通过心理测量方法[29];然而，这将需要更大的学生群体。在本研究中提出的学习分析的心理测量特征被强调和讨论多媒体附件1．

结论

五年级医科学生使用Hepius使我们能够获得根据所提出的学习分析组织的有价值的教育信息。使用学习分析获得的见解可能更好地指导教师的反馈，旨在填补学生在医学知识和诊断方法方面的空白。需要强调的是，Hepius学习分析也可以用于不同的研究生设置，例如在继续医学教育背景下，用于住院医师临床培训和全科医生准备的年度评估。

未来需要进行特别研究，以充分验证我们提出的学习分析。