评估由标准化患者创建的医学院招生多重迷你面试的全球评估措施:混合方法研究

介绍

在医学教育中，为积极学习和评估目的而接受训练以以现实的方式持续和重复地扮演一个角色的人被称为标准化患者(sp)或模拟参与者[1，2］．他们不仅将在模拟中发挥作用，而且还将协助评估学习者。充足的证据表明，SPs可以有效地评估医学生、护理学生、住院医师和其他临床学习者[3.-5］．他们是医学教育过程中重要的利益相关者和合作者，帮助各级学生实现教育目标[1，2，6］．

在我们的机构，我们的sp团队与模拟中心的工作人员合作，为学习者创造一个安全的环境，让他们可以失败和犯错。医学实践是复杂而微妙的，这要求医生具备跨文化与患者及其家属合作的技能和能力，以每天做出生死决定。仅仅在教室里学习这些必要的技能是很难的;需要在模拟环境中对可评估技能进行实际和实践的应用。模拟环境不仅是一个学习和练习技能和能力的地方，也是一个失败和犯错误的地方。这种安全和模拟的环境是教育富有同情心和有能力的未来医生的基本环节。

模拟中心演示和招聘活动，以及现有SPs或工作人员的推荐，允许在我们的机构合并新的SPs。作为sp加入模拟中心团队的人来自各行各业，代表着不同的人口统计数据、工作历史和经验。所有sp都经过训练，能够在模拟体验或场景中准确一致地重现实际患者的历史、性格、身体状况、情绪结构和反应模式。他们还接受培训，以评估学习者的表现，并以建设性的方式为学习者提供个性化的反馈。培训结束后，SPs与工作人员合作，向学习者提供医疗场景，目标集中在技能发展上。同样重要的是非医学场景，侧重于语言和非语言沟通技能的发展。在非医学场景中，他们通过实际应用、评估和主动学习来教授学生。因此，SPs与医学院的其他教职员工共同教育和共同培养这些学习者成为未来的医生。此外，他们不仅在教育经历中帮助学习者，而且在医学院招生过程中也是核心团队成员。3.，7］．

许多医学院已经开始采用全面的招生程序。这一过程可包括通过多个小型面试(MMIs)评估申请人的非认知技能，如道德推理和人际沟通[7-17］．MMIs旨在评估申请人的倾听能力、专业精神、道德、同理心、正直、文化敏感性/谦逊、解决问题的能力和沟通能力[9，10，15，18，19］．在MMI期间，每个申请人轮流经过一系列的站点，在这些站点中SPs评估他们的非认知特征[7，8，12，20.-22］．在MMI过程中，SPs已被确定为评估申请人的有效和可靠资源[3.，23］．

将利益攸关方纳入影响其本国人口的干预措施的设计和实施，可以产生更有力的结果[24-29］．此外，有意地让患者和公众参与干预措施的共同设计，可以产生更以患者为中心、对研究参与者破坏性更小、更被研究人群接受和重视的研究[30.-36］．文献表明，当sp共同开发模拟场景和教育体验时，他们可以提高学习者和教育者的结果[37-39］．然而，我们没有发现任何证据表明在与学习者或医学院申请人进行模拟互动时，在评估仪器、工具或准则的过程和开发中包含SPs。因此，本研究的目的是描述过程和评估让SPs共同创建一个全球测量问题的影响，以评估医学院申请人是否为医学院做好了准备。

方法

研究设计

本研究采用参与性、探索性、顺序性和混合方法设计(图1) [40-43］．探索性设计通常用于开发新的仪器或测量方法[43-45]在需要创造一种符合文化需求的工具时尤其有用[43］．

‎ 查看此图

MMI程序

最初的MMI流程是在2016-2017招生周期实施的[15]，有关计划程序及修订的时间表，请参阅图2．作为我们招生过程的一部分，我们的模拟中心团队(包括模拟专家和sp)提供和评估MMI。这些会面不需要申请人的医学知识，可以模拟与病人、同伴或同事的交流。对于每一次MMI相遇，申请人与单个SP进行交互，同时由另一个独立SP通过双向窗口实时观察。在会面结束时，观察SP和执行SP合作讨论申请人的表现和技能，并完成表格以提供量化结果。由2名sp进行的评估有助于消除潜在的偏差，确保评分的准确性，并简化MMIs的快速节奏。此外，标准化的标准和2个SPs确保在两次会面之间分配的有限时间内准确和及时完成。

‎ 查看此图

MMI程序评估

SPs、模拟中心工作人员和招生委员会成员在2017-2018年周期后参加了MMI计划的评估。该评估包括对MMI标准和招生委员会文件的审查，以提高质量。根据评估结果，与卫生服务提供商合作，共同创建一个附加的评估标准，可以改善MMI计划。

SP车间

对于医学院招生过程中参与MMI的SPs，模拟专家和研究人员于2018年8月举办了一次研讨会，以共同创造和改进标准。工作坊包括一个简短的教学环节，并由sp积极参与。在讲座期间(多媒体附件1)，研究人员给出了一个简短的陈述(1)回顾前一年使用的标题，(2)提出创建新问题的原因，(3)解释基本调查设计[46以及(4)讨论涉众参与这类工作的重要性。

在完成演示后，sp被分成小组，并有大约30分钟的时间来提出一个问题和相应的回答。创建的问题被写在大纸条上，放在墙上和房间的两个屏幕上。随后，所有人被重新召集成一个大小组，讨论提出的问题。投票和进一步的讨论导致了一个单一的sp创建的问题。一旦问题最终确定，sp就会被分为两组，为新创建的问题编写回答选项。合作讨论、投票和编辑导致了一组共同设计的回应选项。

定量数据收集与分析

定量数据从各种来源收集，包括1084份医学院申请、MMI流程表和3个队列的录取状态:(1)2018-2019年、(2)2019-2020年和(3)2020-2021年。申请人的人口统计数据是从学校申请中收集的。我们为个别申请人提供了每个MMI类别的4次SP经历的平均值。录取情况分为3类:被录取、被拒绝或等待名单(被审核的申请人等待被接受之前撤回申请的人考虑)。候选申请人被排除在回归模型之外。总共有3名申请人没有列出入学或入学状况，因此被排除在分析之外。

统计分析

采用SPSS软件(version 26;IBM公司)。描述性统计包括频率、平均值、SDs和百分比。MMI的内部一致性信度使用Cronbach α检验来测量，评估MMI中的所有10个变量:(1)开放会面，(2)共情，(3)非语言行为，(4)言语行为，(5)倾听良好，(6)治疗关系，(7)计划谈判，(8)结束会面，(9)准备程度，(10)招生委员会成员。为了确定sp是否可能受到申请人人口统计数据的影响，对申请人的年龄、性别和医学代表性不足(URM)状态(二分是/否)进行了MMI平均分数(不包括招生委员会成员分数)的回归(多元线性回归)。最后，我们试图确定医学院录取状况是否可以基于sp评分MMI(9个变量)中的变量进行预测。采用正向逐步二元逻辑回归，从以下MMI候选变量中识别接受状态(接受或拒绝)的可能预测因素:会面的开始、共情、非语言行为、言语行为、倾听能力、治疗关系、计划谈判、结束会面和准备程度。正向逻辑回归使用似然比检验从模型中输入或删除变量。

伦理批准

该项目的伦理监督由南卡罗来纳大学的机构审查委员会(Pro00069266)进行。

结果

MMI程序评估

来自sp、模拟中心工作人员和招生部门的反馈显示，检查表的标题(多媒体附件2)便于sp使用，也便于招生委员会将其纳入决策过程。相比之下，一些sp会写大量关于申请人的定性评论，而另一些sp只会对他们面试的人留下很少或没有记录。此外，据透露，招生委员会在审议申请人时没有使用这些SPs的书面评论。因此，增加一个单一的MMI项目，根据申请人在场景中与SPs的互动来评估申请人，可能会减少SPs撰写定性评论的需要，并为招生委员会提供额外的信息。为此，计划并举办了一个讲习班，以制定一个问题和回答，以便对医学院申请人进行全面评估。

SP研讨会和全球测量发展

参加研讨会的有3名模拟专家、2名研究员和21名SPs。SPs的平均年龄为53.1岁(SD 12.43;范围27-70岁)，大多数是女性(16/ 21,76%)，拥有学士学位或更高学位(18/ 21,86%)。sp创建的6个问题列在表1．sp认为这6个问题中有3个在本质上是二分的，并得出结论，如果选择这3个问题，这3个问题将不是一个有用的全球衡量评估工具。此外，他们还确定了一些他们认为有用或有问题的词，如“成功”、“特征”、“第一年”(相对于一般的医科学生)、“能力”和“准备就绪”。几位sp审议了加强这些问题的方法。例如，sp建议在第二个问题的开头加上“基于这种互动”，以帮助回答问题的人把注意力集中在与申请人的互动上，而不是申请人的整体素质上。此外，他们还讨论了沟通技巧是可以后天培养的，还是天生的、不可改变的问题。

在讨论结束时，投票结果是问题6和问题4分别获得10票和9票(21名sp中有2人在投票过程前必须离开研讨会)。进一步的讨论导致了“打破僵局的投票”，第6题成为首选。然而，SPs认为这两个问题都有一些方面需要强调。因此，两个问题合并为一个问题，形成了一个综合的全局问题:“根据候选人的沟通和人际交往能力，评估该候选人是否为医学院做好了准备。”

如表2在美国，两个小组都为全球战备问题制定了应对方案。在投票前进行了简短的讨论，选择了标题2，并进行了一些小的小组编辑。下面的2个量表项被修改为添加准备根据这个问题。这个词足够的被单词精通在第三个量表项目中。在先进的项目时，斜杠后面的单词可以互换列出，而不是按照列出的特定顺序列出。

定量结果

医学院申请人特点

表3总结了1084名医学院申请人的特点，他们被选择并被邀请参加3个相应队列年的面试。总体而言，受访者中女性略多于一半(589/1084,54.3%)，平均年龄24.7岁(SD 2.87)。在1084名受访者中，20.1% (n=218)来自被认为是URM的种族/民族社区，12.5% (n=135)被认为是非裔或黑人。除了受访者的特点，表3表示3个队列中每个MMI类别的平均分和SD。MMI准备等级的平均得分(即sp创建的问题:“根据候选人的沟通和人际关系技能，评估该候选人对医学院的准备程度”)随着时间的推移从3.38 (SD 0.53)增加到3.52 (SD 0.48)(满分为5分)，5分表示特别或特别准备。相比之下，招生委员会成员的MMI分数(即绘画/图像讨论)随着时间的推移从3.64 (SD 0.92)下降到3.45 (SD 0.82)。在这些受访者中，分别有52%(199/383)、51.9%(187/360)和60.7%(207/341)在2018-2019年、2019-2020年和2020-2021年的队列中被医学院录取。

MMI的评价

通过Cronbach α的0.877(所有年份之和)、0.89(2018-2019年)、0.90(2019-2020年)和0.87(2020-2021年)确定，10个变量的MMI总体上具有较高的内部一致性。

MMI评分的回归模型

我们进行多元回归，从年龄、性别和URM状态预测平均MMI评分。所有队列的多元回归模型预测平均MMI评分(P<措施,R²=) 1。03 =。在这3个变量中，2个(性别和URM状态)增加了预测的统计意义(P<措施一个ndP=。003年,分别)。个体队列的多元回归模型的结果可以在表4．

虽然MMI平均分用于招生委员会的讨论，但这项分析的目的是确定MMI中每个变量对录取决定的影响有多大——具体来说，是为了确定是否应该选择医学院的准备情况作为预测变量。进行了正向逐步二项逻辑回归，以确定MMI变量(开始接触、共情、非语言行为、言语行为、倾听能力、治疗关系、计划谈判、结束接触和准备程度)对申请人被医学院录取可能性的影响。为所有队列组合和每个队列单独建立模型。表5包含来自所有组和模型的结果。

对于2018-2019年队列，该模型具有统计学意义，(χ²₁= 21.33;P<措施)。模型解释了8.7% (NagelkerkeR²)，正确分类64.2%(206/321)。敏感性为89.9%，特异性为22.1%，阳性预测值为65.3%，阴性预测值为57.4%。准备程度是模型中唯一的变量。

对于2019-2020年队列，最终模型具有统计学意义(χ²₂= 28.59;P<措施)。模型解释了11% (NagelkerkeR²)，正确分类64.3%(214/333)。敏感性为77.5%，特异性为47.3%，阳性预测值为65.3%，阴性预测值为62.2%。最后的模型(模型2)包括2个具有统计学意义的MMI变量:准备程度和协商计划。准备程度的高低与被医学院录取的可能性最大程度相关。

对于2020-2021年队列，最终模型具有统计学意义(χ²_3.= 24.97;P<措施)。模型解释了10.4% (NagelkerkeR²)，正确分类的个案占68.2%(217/318)。敏感性91.3%，特异性25.2%，阳性预测值69.4%，阴性预测值60.9%。最后的模型(模型3)由3个具有统计学意义的MMI变量组成:打开遭遇、共情和治疗关系。治疗关系与被医学院录取的可能性有最大的关联。

所有队列合并的最终模型具有统计学意义(χ²_3.= 67.95;P<措施)。模型解释了9.2% (NagelkerkeR²)，正确分类65.5%(637/972)。敏感性87.9%，特异性30.6%，阳性预测值66.5%，阴性预测值61.7%。最后的模型(模型3)包括3个具有统计学意义的MMI变量:共情、准备程度和开始遭遇。在模型2中添加了准备等级，并与最终模型中被医学院录取的可能性最大的增加相关。

讨论

主要研究结果

在这项研究中，我们证明了sp能够开发一个有用的、可信的和相关的衡量标准，可以帮助医学院招生委员会评估申请人的学术成就之外的申请人。虽然MMI只是医学院申请人整体审查中使用的数据的一部分，但它对检查MMI在医学院招生中的影响和过程是有用的。此外，创建的全球准备问题被纳入MMI流程，有助于选择医学院候选人。

从2018-2019年申请周期开始，模拟专家将修订后的准则与准备问题整合到MMI的培训和实施中。参与MMI的SPs成功地采用了这一过程。当sp开始使用定量评分申请人准备程度的新方法时，他们发现这1个问题比为每个申请人提供定性反馈更有效。由于与申请人会面之间只有大约3分钟的时间，准备问题可以让服务提供商提供更简洁的反馈，而不会匆忙。

让利益相关者参与调查和评估工具的开发在模拟中心之外的其他环境中非常有用，并导致了可信和相关的工具[47-50］．在这种情况下，与SPs合作创建准备就绪等级问题，揭示了可以通过SPs的镜头进行适当评估的内容。通过患者和公众的参与来创建这个问题，为评分目的提供了一个更加客观和标准化的测量方法。此外，利益相关者的参与有助于在招生过程中产生价值感和共同所有权。此外，通过与sp共同开发这个项目，我们建立在他们之前的MMI技能的基础上，允许项目开发是迭代的，允许sp拥有这个过程，并适应他们的评分需求。研究发现，在联合创建的项目中，将这些过程和其他过程结合起来与更高的积极研究成果率相关[28，29］．

研讨会的结果对模拟专家产生了积极的影响，为所有申请人提供了标准化的评分机会。标准化培训对这一角色至关重要。由于研讨会的合作性质，模拟专家能够强调sp的声音和评估工具的一致使用的价值，这与在其他环境中的发现是一致的[27，51］．此外，SPs参与问题的开发有助于模拟专家指导新的SPs使用该问题来验证或总结来自其他标题部分的数据。

我们的结果表明，总体的MMI和准备问题能够预测医学院的接受程度。这一发现与之前的研究结果一致，即sp能够评估学生的沟通技能[52-55］．此外，我们的发现与先前的结果一致，表明sp在评估受访者时是公正的[10，56］．观察到的受访者的人口统计数据(年龄、性别和种族)仅能预测sp的MMI总分的3%。虽然研究结果具有统计学意义，但在不同的人口统计变量中预测的变化量相对较小。有可能由于2个sp合作对每个受访者进行评分，从而减少了偏见。

虽然MMI准备得分排名在预测申请人进入医学院的总体录取情况以及2018-2019年和2019-2020年队列中具有统计学意义，但2020-2021年队列中并非如此。对这种缺乏意义的一个潜在解释是，由于COVID-19大流行，整个周期都是以基于网络的形式进行的。题目没有改变，以反映网络面试环境，这可能会导致一些差异。例如，学生在网络环境中无法完成的任务(例如，在进入之前敲门)会自动得分。此外，评估非语言行为具有挑战性，如使用面对面或基于网络的MMIs的队列之间的得分差异所示(多媒体附件2)．尽管医学院在转向网络面试的过程中面临着许多挑战，但人们发现，在对申请人做出明智的决定方面，网络面试与传统面试一样可靠。57］．需要进行更多的研究来评估COVID-19大流行对医学院招生和基于网络的卫生服务提供者的影响。

限制

尽管SPs有能力制定衡量标准，但在MMI之外，还有其他几个因素在招生选择过程中发挥着作用，包括但不限于平均绩点、医学院入学考试分数、推荐信、个人陈述和旅行距离(克服逆境或障碍)。这些额外的因素没有包括在模型中。虽然MMI的SP部分在预测接受度方面表现出色，但总体和每个队列的特异性都很低。申请的其他因素可能会对被拒绝的申请人产生更大的影响。虽然统计分析的实际结果可能无法推广到其他环境，但从创建测量仪器时让患者和公众参与的过程中吸取的经验教训可以使其他机构受益。

未来的意义

当基于网络的MMI成为标准时，用于MMI的标准规则可能需要修改，以删除不能在网络上执行的项目(例如，敲门，适当的触摸和保持个人空间)。这一潜在的、经过修订的标准也可用于评估远程医疗接触期间的学习者，需要对新的标准进行评估。此外，在标准SP接触和客观结构化临床检查中，没有最终准备问题的MMI标准目前被用作评估学习者的沟通标准。全球问题是专门为SPs确定申请人是否准备好进入医学院，因此不应用于已被录取的学生。但是，与卫生服务提供商重复举办讲习班，为传播准则确定一个全球性问题可能是有益的。最后，可以进行一项额外的调查，以了解入学学生的MMI分数与他们在医学院期间的未来沟通分数如何进行比较。

结论

该项目的利益相关者(包括非学术界人士和研究人员)之间的合作性质对该项目的成功至关重要。这项研究表明，SPs带来了一个批判性的视角，可以通过MMI流程改善评估医学院申请人的录取过程。他们还可以通过共同创建一个有效的全局问题来提高对申请人的评估，从而进一步将自己纳入团队成员。