发表在第14卷第1号(2022):1 - 12月

本文的预印本(早期版本)可在以下网站获得https://preprints.www.mybigtv.com/preprint/38209,第一次出版
评估由标准化患者为医学院招生的多次迷你面试创建的全局评估指标:混合方法研究

评估由标准化患者为医学院招生的多次迷你面试创建的全局评估指标:混合方法研究

评估由标准化患者为医学院招生的多次迷你面试创建的全局评估指标:混合方法研究

原始论文

1美国南卡罗来纳州格林维尔南卡罗莱纳大学格林维尔医学院生物医学科学系

2美国南卡罗来纳州格林维尔南卡罗莱纳大学患者参与工作室

3.美国南卡罗来纳州格林维尔Prisma健康中心家庭医学部

4美国南卡罗莱纳大学格林维尔医学院

5基于医院的认证,研究生医学教育认证委员会,美国伊利诺斯州芝加哥

6美国南卡罗莱纳大学哥伦比亚医学院

7美国南卡罗来纳州格林维尔南卡罗莱纳大学格林维尔医学院Prisma健康北部模拟中心

8美国南卡罗莱纳大学格林维尔医学院招生与注册

9美国南卡罗来纳州哥伦比亚南卡罗莱纳大学阿诺德公共卫生学院卫生服务、政策、管理系

通讯作者:

安·布莱尔·肯尼迪博士

生物医学科学系

格林维尔医学院

南卡罗莱纳大学

林路607号

SC格林维尔,20605年

美国

电话:1 864 923 4456

电子邮件:kenneda5@greenvillemed.sc.edu


背景:标准化患者(SPs)是多重迷你面试(MMIs)的基本利益相关者,这种面试越来越多地被用于评估医学院申请人的人际交往能力。然而,几乎没有证据表明它们被纳入工具的开发。

摘要目的:本研究旨在描述过程和评估SPs共同设计和共同创建一个全球测量问题的影响,以评估医学院申请人的准备医学院和录取状况。

方法:本研究采用探索性、顺序性和混合研究方法设计。首先,我们评估了初始的MMI计划,并确定了接下来的质量改进步骤。其次,我们与卫生服务机构举办合作工作坊,共同制定评估问题和回应方案。第三,我们基于2018-2019学年开始的3组申请者的1084份数据,通过统计检验评估了创建的问题和附加的MMI条目。MMI的内部信度采用Cronbach α检验,其对入院状态的预测采用正向逐步二元逻辑回归。

结果:方案评估表明需要一个额外的量化问题来评估申请人对医学院的准备情况。总共有3名模拟专家、2名研究人员和21名SPs参加了一个研讨会,最终得出了一个全球评估问题和回答Cronbach α在每个队列年总体为>0.8。最终的逐步逻辑模型对所有队列的组合具有统计学意义(P<.001),解释9.2% (R2),正确分类65.5%(637/972)例。最终的模型由3个变量组成:共情、准备程度和接触的开放程度。

结论:这个项目的利益相关者之间的合作性质,包括非学术界和研究人员,对这个项目的成功至关重要。sp创建的问题对预测医学院录取的最终模型有显著影响。这一发现表明,SPs带来了一个批判性的视角,可以改进评估医学院申请人的过程。

J参与医学2022;14(1):e38209

doi: 10.2196/38209

关键字



为医学教育中的主动学习和评估目的,接受训练以现实方式一致和反复扮演某一角色的人被称为标准化患者或模拟参与者[12].他们不仅将在模拟中发挥作用,而且还将协助对学习者进行评估。大量证据表明,SPs可以有效地评估和评价医科学生、护理学生、住院医生和其他临床学习者[3.-5].他们是医学教育过程中重要的利益相关者和合作者,帮助各级学习者实现教育目标[126].

在我们的机构,我们的SPs团队与模拟中心的工作人员合作,为学习者创造一个安全的环境,让他们可以失败和犯错。医学实践是复杂和微妙的,这要求医生有技能和能力与跨文化的患者和家属一起工作,每天做出生与死的决定。仅仅在课堂上学习这些必要的技能是很困难的;需要在模拟环境中实际应用可评估技能。模拟环境不仅是一个学习和练习技能和能力的地方,也是一个失败和犯错误的地方。这种安全和模拟的环境是教育富有同情心和能力的未来医生的基本环节。

模拟中心演示和招聘活动,以及由现有的SPs或工作人员推荐,允许在我们的机构加入新的SPs。模拟中心团队的sp成员来自各行各业,代表着不同的人口统计数据、工作经历和经验。所有的心理医生都经过训练,能够在模拟的经历或场景中准确而一致地重现真实病人的历史、性格、身体发现、情绪结构和反应模式。他们还接受培训,以评估学习者的表现,并以建设性的方式为学习者提供个性化的反馈。培训结束后,卫生服务人员与工作人员合作,为学习者提供以技能发展为目标的医疗场景。同样重要的是非医疗情景,它关注于语言和非语言沟通技能的发展。在非医学场景中,他们通过实际应用、评估和主动学习来教授学生。因此,SPs与医学院的其他教员和工作人员一起共同教育和发展这些学习者成为未来的医生。此外,他们不仅在学习过程中帮助学习者,而且在医学院招生过程中也是团队的核心成员[3.7].

许多医学院已经开始采用整体招生流程。这一过程可包括评估申请人的非认知技能,如道德推理和人际沟通,包括多次小型面试(MMIs) [7-17].mimi旨在评估申请人的倾听能力、专业精神、道德、同理心、正直、文化敏感性/谦逊、解决问题的能力和沟通能力[910151819].在MMI期间,每个申请人轮流在一系列工作站中工作,由SPs评估他们的非认知特征[781220.-22].SPs已被认定为在MMI过程中评估申请人的有效和可靠资源[3.23].

将利益攸关方纳入影响其本国人口的干预措施的设计和实施,可以提供更有力的成果[24-29].此外,有意义地让患者和公众参与到干预措施的共同设计中,可以使研究更以患者为中心,对研究参与者的干扰更小,更容易被研究人群接受和重视[30.-36].文献表明,当SPs共同开发模拟场景和教育体验时,它们可以提高学习者和教育者的结果[37-39].然而,我们没有发现证据表明在与学习者或医学院申请人进行模拟互动时,在评估工具、工具或规则的开发过程中包含SPs。因此,本研究的目的是描述过程和评估SPs共同创建一个全球测量问题的影响,以评估医学院申请人的医学院准备。


研究设计

本研究遵循参与性、探索性、顺序性和混合方法设计(图1) [40-43].探索性设计通常用于开发新的仪器或测量方法[43-45],在需要创造符合文化需求的工具时尤其有用[43].

图1。说明参与式、探索性、顺序性和混合方法的设计流程。MMI:多个迷你面试;SP:标准化病人。
把这个图

MMI程序

最初的MMI流程是在2016-2017年招生周期中实施的[15],有关计划程序及修订的时间表,请参阅图2.作为招生过程的一部分,MMI会面由我们的模拟中心团队交付和评估,该团队包括模拟专家和SPs。这些会面不需要申请者具备任何医学知识,可以模拟与患者、同行或同事的交流。对于每一次MMI接触,申请人与单个SP进行交互,同时由另一个独立SP通过双向窗口实时观察。在面试结束时,观察SP和执行SP会合作讨论申请人的表现和技能,并完成表格以提供量化结果。2个SPs的评估有助于消除潜在的偏见,确保评分的准确性,并简化了MMIs的快速节奏。此外,一个标准化的标准和2个SPs确保在两次会议之间分配的有限时间内准确和及时地完成。

图2。MMI项目和评估时间表从2016年开始,通过项目评估和3个队列进行分析。MMI:多个迷你面试;SP:标准化病人。
把这个图

MMI项目评估

SPs、模拟中心工作人员和招生委员会成员在2017-2018学年结束后参与了MMI项目的评估。这次评估包括对MMI标准和招生委员会文件的审查,以提高质量。根据评估结果,与SPs合作,共同创建一个附加的评估规则,可以改善MMI项目。

SP车间

对于在医学院招生过程中参与MMI的SPs,模拟专家和研究人员于2018年8月举办了一场研讨会,以便共同创建和改进标准。工作坊包括一个简短的说教环节,并由服务人士积极参与。在说教式的演讲中(多媒体附录1),研究人员做了一个简短的陈述:(1)回顾前一年使用的题型,(2)介绍创建新题型的原因,(3)解释基本调查设计[46)和(4)讨论涉众参与这类工作的重要性。

在完成演示后,SPs被分成几个小组,有大约30分钟的时间来创建一个问题和相应的回答。创建的问题被写在大纸条上,并展示在墙上和房间的两个屏幕上。随后,每个人被重新召集成一个大小组,讨论所提出的问题。投票和进一步的讨论导致了一个单一的sp创建的问题。一旦问题最终确定,sp被分为两组,为新创建的问题编写回答选项。合作讨论、投票和编辑产生了一套共同设计的回应选项。

定量数据收集与分析

量化数据从各种来源收集,包括1084个医学院申请、MMI流程表格和录取状态,分为3个队列:(1)2018-2019年,(2)2019-2020年,和(3)2020-2021年。申请人的人口统计数据是从学校申请中收集的。每个MMI类别的4次SP会面的平均值提供给个别申请人。录取状态被分为3类:被录取,被拒绝,或等待名单(被审查的申请人等待被录取之前撤回申请的人考虑)。将候选申请人排除在回归模型之外。总共有3名申请人没有列出的录取或入学状态,因此被排除在分析之外。

统计分析

采用SPSS软件(version 26;IBM公司)。描述性统计包括频率、平均值和SDs和百分比。采用Cronbach α检验测量MMI的内部一致性信度,评估MMI中的所有10个变量:(1)开始接触,(2)共情,(3)非语言行为,(4)语言行为,(5)倾听好,(6)治疗关系,(7)计划协商,(8)结束接触,(9)准备等级,(10)招生委员会成员。为了确定SPs是否可能受到申请人人口统计数据的影响,对申请人的年龄、性别和医学代表性不足(URM)状态(二分是/否)进行回归(多元线性回归),使MMI平均分(不包括招生委员会成员分数)回归。最后,我们试图确定医学院录取状况是否可以基于sp评分MMI(9个变量)内的变量进行预测。采用正向逐步二元逻辑回归,从以下MMI候选变量中确定接受状态(接受或拒绝)的可能预测因素:接触的开始、共情、非语言行为、语言行为、良好的倾听、治疗关系、计划的协商、接触的结束和准备程度。正向逻辑回归使用似然比检验从模型中输入或删除变量。

伦理批准

该项目的伦理监督由南卡罗莱纳大学的机构审查委员会(Pro00069266)进行。


MMI项目评估

来自SPs、模拟中心工作人员和招生部门的反馈显示,检查清单的规则(多媒体附录2)很容易使用,招生委员会也很容易将其纳入决策过程。相比之下,有些服务工程师会对申请人写大量的定性评价,而另一些人对他们面试的人很少或根本不做记录。此外,据披露,招生委员会在审议申请人时没有使用这些SPs的书面意见。因此,增加一个单一的MMI项目,根据申请人在该场景中与服务提供商的互动来评估申请人,可能会减少服务提供商撰写定性评论的需要,并为招生委员会提供额外的信息。为此目的,计划并举办了一个讲习班,以拟订一个问题和回答,对医学院申请人进行全面评估。

SP工作坊和全球测量发展

参加研讨会的有3名模拟专家、2名研究人员和21名SPs。SPs的平均年龄为53.1岁(SD为12.43;年龄范围27-70),大多数为女性(16/ 21,76%),拥有学士学位或更高学位(18/ 21,86%)。sp创建的6个问题列在表1.SPs认为,这6个问题中有3个在本质上是二分性的,并得出结论,如果选择这3个问题,这将不是一个有用的全球措施评估工具。此外,他们还确定了一些他们认为有用或有问题的词汇,如“成功”、“特征”、“一年级学生”(与一般的医科学生相比)、“能力”和“准备就绪”。几位SPs讨论了加强问题的方法。例如,SPs建议在第二个问题的开头加上“基于这种互动”,以帮助回答问题的人把注意力集中在与申请人的互动上,而不是申请人的整体素质上。此外,讨论了沟通技巧是可以培养的,还是天生的和不可改变的问题。

讨论结束时,表决结果问题6和问题4分别获得10票和9票(21名卫生服务人员中有2名在表决前离开讲习班)。进一步的讨论导致了“决胜投票”,问题6成为首选。然而,SPs认为这两个问题都有一些他们想要强调的方面。因此,两个问题合并成一个单一的问题,形成了一个合并的全局问题:"基于候选人的沟通和人际交往能力,评估该候选人是否准备好进入医学院"

所示表2在美国,两个小组都为全球准备问题制定了应对方案。在进行投票之前,我们进行了简短的讨论,选择了rubric 2,并进行了一些小的小组修改。下面的2个刻度项被修改添加准备根据这个问题。这个词足够的被单词精通在第三个量表项目中。在先进的项目中,斜杠后面的单词可以交替列出,而不是按列出的特定顺序列出。

表1。标准化患者提出的原创问题。
组数 问题
1 根据这些互动,您认为申请人作为一名医科学生有多成功?
2 这个候选人会是一个成功的一年级医学生吗?
3. 你认为这个学生具备医学生成功的特征吗?
4 该候选人的沟通和人际交往能力如何,这将使他/她在医学院取得成功?
5 你认为申请人会是一个成功的医科学生吗?
6 评估这个候选人是否准备好进入医学院。
表2。标准化的患者制定的准备问题的反应选项。
排名得分 响应选项集1 响应选项集2 最终响应选项集
等级5 模范 异常/不寻常的准备 异常/不寻常的准备
等级4 准备好小问题 先进/强和参与 先进/强和参与
等级3 准备好了一些顾虑 足够的基础/地址 精通/地址基础知识
等级2 严重关切 最小的 最小的准备
排名1 没有准备好 没有展示 没有表现出准备

定量结果

医学院申请人特点

表3总结了1084名医学院申请人的特点,他们被选择和面试的3个相应的队列年和作为一个整体。总体而言,受访对象中略多于一半(589/1084,54.3%)为女性,平均年龄24.7岁(SD 2.87岁)。在1084名受访者中,20.1% (n=218)来自被认为是URM的种族/民族社区,12.5% (n=135)被认为是非裔美国人或黑人。除了受访者的特点,表3表示三个队列中每个MMI类别的平均得分和SD。MMI准备等级的平均得分(即sp创建的问题:“基于候选人的沟通和人际交往技能,对该候选人的医学院准备程度进行评估”)随着时间的推移从3.38 (SD 0.53)增加到3.52 (SD 0.48)(总分5分),其中5分代表特别或特别准备。相比之下,招生委员会成员(即绘画/图像讨论)的MMI分数从3.64 (SD 0.92)下降到3.45 (SD 0.82)。在受访学生中,52%(199/383)、51.9%(187/360)和60.7%(207/341)分别获得了2018-2019年、2019-2020年和2020-2021年的医学院录取通知书。

表3。受访者按队列年的描述性统计。
变量 2018 - 2019 (n = 383) 2019 - 2020 (n = 360) 2020 - 2021 (n = 341) 总(N = 1084)
性,n (%)

201 (52.5) 192 (53.3) 196 (57.5) 589 (54.3)

男性 182 (47.5) 166 (46.1) 145 (42.5) 493 (45.5)

不愿意回答 0 (0) - - - - - -一个 0 (0) - - - - - -
年龄(年),平均值(SD) 25.44 (2.95) 24.92 (2.62) 23.68 (2.74) 24.71 (2.87)
医学代表性不足,n (%)

总计 57 (14.9) 73 (20.3) 88 (25.8) 218 (20.1)

非裔美国人或黑人 32 (8.4) 43 (11.9) 60 (17.6) 135 (12.5)

美洲印第安人或阿拉斯加原住民 - - - - - - - - - - - - - - - - - - 8 (0.7)

西班牙裔或Latinx 22日(5.7) 27日(7.5) 23日(6.7) 72 (6.6)

多种族或混合种族 - - - - - - - - - - - - - - - - - - - - - - - -
打开遭遇战,均值(SD) 4.13 (0.60) 4.28 (0.61) 4.18 (0.56) 4.19 (0.59)
同理心,意味着(SD) 3.85 (0.75) 3.93 (0.76) 4.12 (0.61) 3.96 (0.72)
非语言行为,意思(SD) 4.57 (0.44) 4.49 (0.56) 4.24 (0.63) 4.44 (0.56)
言语行为,平均值(SD) 3.97 (0.44) 3.93 (0.62) 4.10 (0.50) 4.00 (0.57)
认真倾听,刻薄(SD) 3.69 (0.51) 3.71 (0.51) 4.02 (0.50) 3.80 (0.53)
治疗关系,平均值(SD) 4.30 (0.69) 4.24 (0.73) 4.35 (0.61) 4.30 (0.68)
商议计划,平均值(SD) 2.03 (0.64) 2.14 (0.62) 2.75 (0.68) 2.30 (0.68)
结束相遇,平均值(SD) 3.46 (0.63) 3.54 (0.66) 3.71 (0.57) 3.56 (0.63)
准备就绪等级,平均值(SD) 3.38 (0.53) 3.46 (0.57) 3.52 (0.48) 3.45 (0.53)
招生委员会委员评分
(绘画/图像讨论),平均值(SD)
3.64 (0.92) 3.36 (0.92) 3.45 (0.82) 3.48 (0.90)
验收状态,n (%)

接受 199 (52) 187 (51.9) 207 (60.7) 593 (54.7)

拒绝 122 (31.9) 146 (40.6) 111 (32.6) 379 (35)

候选名单上的 62 (16.2) 27日(7.5) 23日(6.7) 112 (10.3)

一个n≤5的细胞被抑制以保护个体的身份。

评价MMI

根据Cronbach α值0.877(所有年份合计)、0.89(2018-2019)、0.90(2019-2020)和0.87(2020-2021)确定的10变量MMI总体上和每个队列年具有较高的内部一致性。

MMI分数的回归模型

我们运行多元回归预测平均MMI评分从年龄,性别,和URM状态。所有队列的多元回归模型预测MMI平均得分(P<措施,R2=) 1。03 =。在3个变量中,2个(性别和URM状态)增加了预测的统计学意义(P<措施一个ndP=。003年,分别)。各个队列的多元回归模型的结果可以在表4

虽然MMI平均分用于招生委员会的讨论,但这项分析的目的是确定MMI中的每个变量对录取决定可能有多大的影响——具体地说,以确定是否应该选择医学院的准备作为预测变量。采用正向逐步二项逻辑回归确定MMI变量(开始接触、共情、非语言行为、语言行为、良好倾听、治疗关系、计划协商、结束接触和准备程度)对申请人被医学院录取的可能性的影响。模型是为所有队列的组合和每个队列单独建立的。表5包含来自所有组和模型的结果。

表4。多元回归结果为MMI平均值。
MMI一个平均 Unstandardized系数 标准化系数(β) R2 ΔR2 P价值

B 95%可信区间 SE



2018 - 2019年队列模型 0.08 0.07 <措施

常数 2.63 2.19 - -3.06 0.22 N/Ab

<措施

c 0.16 0.07 - -0.25 0.05 0.17

<措施

年龄 0.03 0.02 - -0.05 0.01 0.22

<措施

阶层d状态 0.08 -0.05到0.21 0.07 0.06

. 21
2019 - 2020年队列模型 0.04 0.04 <措施

常数 3.59 3.07 - -4.10 0.26 N/A

<措施

c 0.17 0.07 - -0.27 0.05 0.18

<措施

年龄 -0.00 -0.02到0.02 0.01 -0.02

开市

阶层的地位 0.12 0.01 - -0.26 0.06 0.11

.04点
2020 - 2021年队列模型 0.017 0.009

常数 3.65 3.18 - -4.12 0.24 N/A

<措施

c 0.11 0.01 - -0.21 0.05 0.11

.04点

年龄 0.00 -0.02到0.02 0.01 0.02

.76

阶层的地位 0.06 -0.06到0.17 0.06 0.06

总模型 .035 .032 <措施

常数 3.38 3.11 - -3.64 0.14 N/A

<措施

c 0.15 0.09 - -0.20 0.03 0.15

<措施

年龄 0.01 -0.002到0.02 0.01 0.05

.14点

阶层的地位 0.11 0.04 - -0.18 0.04 0.09

.003

一个MMI:多个迷你面试。

bN / A:不适用。

c从分析中删除了两个“宁愿不回答”的回答。

dURM:在医学领域代表性不足。

表5所示。正向逐步logistic回归预测被医学院录取的可能性。
组,模型 B SE Exp (B) Exp(B)的95% CI
2018 - 2019组

步骤1


的准备 1.083 .246 2.954 1.825 - -4.782


常数 -3.162 .830 .042 N/A一个
2019 - 2020组

步骤1


的准备 .948 .212 2.580 1.702 - -3.912


常数 -3.023 .739 .049 N/A

步骤2


谈判计划 .547 .215 1.728 1.133 - -2.637


的准备 .685 .234 1.983 1.253 - -3.139


常数 -3.275 .752 .038 N/A
2020 - 2021组

步骤1


治疗关系 .787 .201 2.196 1.480 - -3.258


常数 -2.791 .878 .061 N/A

步骤2


打开遇到 -.583 打击率 .558 .328 -.951


治疗关系 1.093 .251 2.984 1.823 - -4.884


常数 -1.685 1.020 N/A

步骤3


打开遇到 -.792 .296 .453 .254 -.808


同理心 .552 .278 1.736 1.006 - -2.997


治疗关系 .834 .282 2.303 1.325 - -4.000


常数 -1.940 1.035 .144 N/A
所有参数同时考虑

步骤1


同理心 .688 .097 1.989 1.644 - -2.406


常数 -2.265 .388 .104 N/A

步骤2


同理心 .414 .132 1.513 1.169 - -1.958


的准备 .552 .183 1.737 1.213 - -2.489


常数 -3.087 .479 .046 N/A

步骤3


打开遇到 -.334 .155 .716 .529 -.971


同理心 .519 .141 1.681 1.275 - -2.216


的准备 .690 .195 1.993 1.360 - -2.921


常数 -2.573 相当 .076 N/A

一个N / A:不适用。

对于2018-2019年的队列,该模型具有统计学意义,(χ21= 21.33;P<措施)。模型解释了8.7% (NagelkerkeR2),并正确分类64.2%(206/321)的案例。敏感性为89.9%,特异性为22.1%,阳性预测值为65.3%,阴性预测值为57.4%。战备等级是模型中唯一的变量。

对于2019-2020年队列,最终模型具有统计学意义(χ22= 28.59;P<措施)。模型解释了11% (Nagelkerke)R2),正确分类64.3%(214/333)例。敏感性为77.5%,特异性为47.3%,阳性预测值为65.3%,阴性预测值为62.2%。最终的模型(模型2)包含两个统计上显著的MMI变量:准备程度和协商计划。准备程度与被医学院录取可能性的最大增加有关。

对于2020-2021年队列,最终模型具有统计学意义(χ23.= 24.97;P<措施)。模型解释了10.4% (NagelkerkeR2)和正确分类68.2%(217/318)的案例。敏感性为91.3%,特异性为25.2%,阳性预测值为69.4%,阴性预测值为60.9%。最后的模型(模型3)包括3个具有统计学意义的MMI变量:相遇的开放、共情和治疗关系。治疗关系与被医学院录取的可能性的最大增加相关。

综合所有队列的最终模型具有统计学意义(χ23.= 67.95;P<措施)。模型解释了9.2% (NagelkerkeR2)和正确分类的65.5%(637/972)的病例。敏感性为87.9%,特异性为30.6%,阳性预测值为66.5%,阴性预测值为61.7%。最后的模型(模型3)包括3个统计上显著的MMI变量:共情、准备程度和开放的相遇。在模型2中添加了准备就绪的排名,并在最终模型中与被医学院录取的可能性的最大增加相关。


主要研究结果

在这项研究中,我们证明了SPs能够开发出一种有用的、可信的和相关的措施,可以帮助医学院招生委员会评估申请人的学术成就。虽然MMI只是医学院申请人整体审查中使用的数据的一部分,但它可以用于检查MMI在医学院招生中的影响和过程。此外,被纳入MMI过程的创建的全球准备情况问题有助于为医学院筛选候选人。

从2018-2019年的申请周期开始,模拟专家将修订后的规则与准备就绪问题整合到培训和实施MMI中。参与MMI的SPs成功地采用了这一过程。当SPs开始使用定量评分申请人准备程度的新方法时,他们发现这1个问题比为每个申请人提供定性反馈更有效。由于与申请人见面的间隔时间只有大约3分钟,准备情况问题可以让服务供应商提供更简明的反馈,而不匆忙。

让利益攸关方参与调查和评估工具的开发在模拟中心以外的其他环境中非常有用,并导致了可信和相关的工具[47-50].在这种情况下,与卫生服务人员合作创建战备等级问题揭示了可以通过卫生服务人员的视角进行适当评估的内容。通过病人和公众的参与创造的问题产生了一个更客观和标准化的评分方法。此外,利益相关者的参与有助于在招生过程中产生价值感和共同所有权。此外,通过与SPs共同开发这个红色项目,我们建立在他们之前的MMI技能之上,允许项目开发是迭代的,允许SPs拥有自己的过程,并适应他们的评分需求。研究发现,在联合创建的项目中,将这些过程和其他过程结合起来与较高的积极研究成果率有关[2829].

研讨会的结果对模拟专家产生了积极的影响,为所有申请人提供了标准化的评分机会。标准化培训对这一角色至关重要。由于研讨会的协作性质,模拟专家能够强调sp的声音和对评估工具的一致使用的价值,这与在其他情况下的发现一致[2751].此外,卫生服务人员参与问题的制定有助于模拟专家指导新的卫生服务人员使用这个问题来验证或总结来自其他红栏部分的数据。

我们的结果表明,总体的MMI和具体的准备问题能够预测医学院录取。这一发现与先前的研究结果一致,即心理辅导教师能够评估学生的沟通技巧[52-55].此外,我们的研究结果与先前的研究结果一致,即服务提供者在评估受访者时是公正的[1056].观察到的受访者的人口统计数据(年龄、性别和种族)只预测了3%的SPs的MMI总分。尽管研究结果具有统计学意义,但在不同的人口统计变量中预测的变化量相对较小。有一种可能性是,由于2名SPs对每个受访者进行了协作评分,因此偏见有所减少。

尽管对于2018-2019年和2019-2020年队列,MMI准备程度评分排名在预测申请人被医学院整体录取方面具有统计学意义,但2020-2021年队列的情况并非如此。对这一缺乏意义的一个可能解释是,由于COVID-19大流行,整个周期都是以基于网络的形式进行的。由于网络面试环境的不同,所以没有对评分标准进行修改,这可能是造成一些差异的原因。例如,学生在网络环境中无法完成的任务(例如,在进入之前敲门)会自动得到分数。此外,非语言行为的评估具有挑战性,这可以从面对面和基于网络的MMIs组之间的得分差异中得到说明(多媒体附录2).尽管医学院在转向网上面试的过程中遇到了许多挑战,但人们发现,在对申请人做出合理决定方面,网上面试与传统面试一样可靠[57].需要进行更多的研究来评估COVID-19大流行对医学院招生和网络sp相遇的影响。

限制

尽管SPs有能力制定衡量标准,但除了MMI之外,还有其他几个因素在招生选择过程中发挥作用,包括但不限于平均绩点、医学院入学考试分数、推荐信、个人陈述和旅行距离(克服逆境或障碍)。这些额外的因素没有包括在模型中。尽管MMI的SP部分在预测接受度方面表现出色,但总体和每个队列的特异性较低。申请的其他因素可能对被拒绝的申请人有更大的影响。虽然统计分析的实际结果可能无法推广到其他情况,但从创建测量工具时让患者和公众参与的过程中吸取的教训可以使其他机构受益。

未来的意义

使用MMI的标准规则可能需要修改,以删除不能在网络上执行的项目(例如,敲门,适当的触摸,保持个人空间),在入学年,网络MMI是标准。这一潜在的、经修订的规则也可用于在远程保健接触中评估学习者,需要对新规则进行评估。此外,没有最终准备问题的MMI准则目前被用作标准SP会面和客观结构化临床检查期间评估学习者的交流准则。全球问题是专门为SPs确定申请人是否为医学院做好了准备而设计的,因此不应对已经入学的学生使用该问题。不过,如果能与特别服务人员重复举办讲习班,以确定一个全球问题作为通讯工作细则,可能是有益的。最后,可以进行一项额外的调查,看看被录取的学生在医学院期间的MMI分数与未来的沟通分数之间的比较。

结论

这个项目的利益相关者之间的合作性质,包括非学术界和研究人员,对这个项目的成功至关重要。本研究表明,SPs带来了一个批判性的视角,可以通过MMI流程改进对医学院申请人的评估过程。他们还可以通过共同创建一个有效的全局问题来进一步融入团队,以提高对申请者的评估。

致谢

我们感谢所有模拟专家和标准化患者,自2016年项目开始以来,他们帮助指导了多次迷你面试过程。此外,我们还要特别感谢Amanda Piekutowski在需要时为分析和解释过程对数据进行识别。最后,如果我们不感谢学生事务和招生办公室以及招生委员会的所有工作人员,他们的深思熟虑和整合了多次小型面试,创建了一个全面的申请人审查。

对于这篇论文,我们包括了作者过程中所有利益相关者的代表,包括学生(在校生、预科生和申请人)、模拟专家、标准化患者、研究人员、招生委员会成员和招生部门工作人员。

的利益冲突

没有宣布。

多媒体附录1

为标准化患者创建一个全球评估量表,用于多个小型访谈。

PDF档案(adobepdf档案),4328kb

多媒体附录2

多个迷你面试规则,工作坊前和工作坊后。

PDF档案(adobepdf档案),360kb

  1. Lewis KL, Bohnert CA, Gammon WL, Hölzer H, Lyman L, Smith C,等。标准化患者教育者协会(ASPE)最佳实践标准(SOBP)。Adv Simul (Lond) 2017;2:10 [免费的全文] [CrossRef] [Medline
  2. Nestel D, McNaughton N, Smith C, Schlegel C, Tierney T.模拟参与者方法论的价值和价值:当代实践的全球视角。Med Teach 2018 july;40(7):697-702。[CrossRef] [Medline
  3. Zanetti M, Keller L, Mazor K, Carlin M, Alper E, Hatem D,等。使用标准化患者评估专业水平:一项可推广性研究。教学医学2010 10月08;22(4):274-279。[CrossRef] [Medline
  4. Berg K, Blatt B, Lopreiato J, Jung J, Schaeffer A, Heil D,等。医学生共情的标准化患者评估:多机构研究中的种族和性别效应。2015年1月;90(1):105-111。[CrossRef] [Medline
  5. 马法尼嘉德,拉斯特加尔帕纳,莫萨维,谢拉兹,M.药学专业学生沟通与咨询技能标准化患者的培训与验证:一项初步研究。J Res Pharm Pract 2017 May 31;6(2):83-88 [免费的全文] [CrossRef] [Medline
  6. Aranda JH, Monks SM。医学模拟中标准化病人主任的角色与责任。金银岛,佛罗里达州:StatPearls;2021年7月26日。
  7. 贝克KD,萨波RT,罗尔斯M,费尔德曼M,桑腾SA。多重迷你面试实现的多功能性:评分者背景对评估评分没有显著影响。2020年4月42日(4):411-415。[CrossRef] [Medline
  8. Eva KW, Macala C, Fleming B.组织多场小型面试的12个技巧。Med Teach 2019 5月;41(5):510-516。[CrossRef] [Medline
  9. 多重迷你面试作为高等教育招生工具:来自系统回顾的见解。台湾医科大学学报2019 Jun;14(3):203-240 [免费的全文] [CrossRef] [Medline
  10. Langer T, Ruiz C, Tsai P, Adams U, Powierza C, Vijay A,等。过渡到多个小型面试(MMI)的医学院招生面试。展望医学教育2020 Aug 24;9(4):229-235 [免费的全文] [CrossRef] [Medline
  11. Reiter H, Eva K. Vive la différence:设计和实施多个小型访谈时的自由和固有责任。2018年7月;93(7):969-971。[CrossRef] [Medline
  12. Oliver T, Hecker K, Hausdorf PA, Conlon P.验证MMI得分:我们是否测量多种属性?Adv健康科学教育理论实践2014年8月22日;19(3):379-392。[CrossRef] [Medline
  13. Jerant A, Henderson MC, Griffin E, Hall TR, Kelly CJ, Peterson EM,等。多重迷你面试和传统面试分数能预测后续的学业表现吗?一项对加州五所医学院的研究。2019年3月94日(3):388-395。[CrossRef] [Medline
  14. Bibler Zaidi NL, Santen SA, Purkiss JA, Teener CA, Gay SE。一种混合的医学院面试模式:传统与多抽样模式相结合。Acad Med 2016 Nov;91(11):1526-1529。[CrossRef] [Medline
  15. Kennedy AB, Riyad CNY, Gunn LH, Brown AG, Dunlap KB, Knutsen ME,等。不仅仅是他们的考试成绩:通过多次小型面试重新定义成功。2020年9月02日;30日(3):1049-1060 [免费的全文] [CrossRef] [Medline
  16. Kirch DG。核心能力和学习之心。美国医学院协会,2017年9月26日。URL:https://www.aamc.org/news-insights/insights/core-competencies-and-heart-learning[2021-10-20]访问
  17. 康拉德SS,亚当斯AN,杨GH。医学院招生和选择的整体审查:对不断变化的社会需求的战略、使命驱动的反应。Acad Med 2016 11月;91(11):1472-1474。[CrossRef] [Medline
  18. Berg K, Majdan J, Berg D, Veloski J, Hojat M.医学生自述共情和模拟病人对学生共情的评估:性别和种族分析2011年8月;86(8):984-988。[CrossRef] [Medline
  19. Sebok SS, Luu K, Klinger DA。用于医疗录取的多重迷你访谈的心理测量特性:来自普遍性和Rasch分析的发现。Adv健康科学教育理论实践2014年3月25日;19(1):71-84。[CrossRef] [Medline
  20. 邓迪多重迷你访谈的预测效度。医学教育2013年7月09;47(7):717-725。[CrossRef] [Medline
  21. Zaidi NB, Swoboda C, Wang LL, Manuel RS.通过多次小型访谈评估属性的方差。医学教学2014年9月36(9):794-798。[CrossRef] [Medline
  22. Pau A, Chen YS, Lee VKM, Sow CF, De Alwis R.多重迷你面试比小组面试有什么好处?医学教育在线2016年2月11日;21(1):29874 [免费的全文] [CrossRef] [Medline
  23. Sattler AL, Merrell SB, Lin SY, Schillinger E.医学生技能的实际和标准化患者评估。Fam Med 2017 7月;49(7):548-552 [免费的全文] [Medline
  24. Gray-Burrows KA, Willis TA, Foy R, Rathfelder M, Bland P, Chin A,等。患者和公众参与在实施研究中的作用:一项共识研究。BMJ Qual Saf 2018年10月17日;27(10):858-864 [免费的全文] [CrossRef] [Medline
  25. Cacari-Stone L, Wallerstein N, Garcia AP, Minkler M.基于社区的参与性研究对卫生公平的承诺:将证据与政策联系起来的概念模型。Am J Public Health 2014年9月104(9):1615-1623。[CrossRef] [Medline
  26. Meade CD, Menard JM, Luque JS, Martinez-Tyson D, Gwede CK。为癌症差异研究和健康促进建立社区-学术伙伴关系。《健康促进实践2011年5月》;12(3):456-462 [免费的全文] [CrossRef] [Medline
  27. Domecq JP, Prutsky G, Elraiyah T, Wang Z, Nabhan M, Shippee N,等。患者参与研究:系统回顾。BMC Health Serv Res 2014 Feb 26;14:89 [免费的全文] [CrossRef] [Medline
  28. 李晓东,李晓东,李晓东,等。识别共同创造研究的有效性证据:国际卫生保健文献的系统回顾和元分析。J Public Health (Oxf) 2021 Apr 12;43(1):197-208 [免费的全文] [CrossRef] [Medline
  29. Leask CF, Sandlund M, Skelton DA, Altenburg TM, Cardon G, Chinapaw MJM, GrandStand, Safe Step和青少年女孩在移动研究小组。在共同制定和评价公共卫生干预措施中利用参与性方法的框架、原则和建议。2019年1月9日;5(1):2 [免费的全文] [CrossRef] [Medline
  30. 弗莱明PR, Swygert MM, Hasenkamp C, Sterling J, Cartee G, Russ-Sellers R,等。患者参与生育研究:实验研究,伦理和社会正义。2021年5月12日;7(1):29 [免费的全文] [CrossRef] [Medline
  31. Cozad M, Crum M, Tyson H, Fleming P, Stratton J, Kennedy AB,等。移动医疗应用作为以患者为中心的护理手段:类风湿性关节炎应用的参与和激活综述。JMIR预印本。预印本于2022年5月26日发布在网上。[CrossRef
  32. van Dijk-de Vries A, Stevens A, van der Weijden T, Beurskens AJHM。如何支持共同创造的研究方法,以促进影响。为医疗保健研究人员开发共同创造影响指南针。PLoS One 2020 10月12日;15(10):e0240543 [免费的全文] [CrossRef] [Medline
  33. 研究协同创造的经验教训:产学研协同工作。2020年第46届欧微软件工程和高级应用大会(SEAA)2020年10月16日发表于:2020第46届Euromicro软件工程和高级应用会议(SEAA);2020年8月26 - 28日期间,;Portoroz,斯洛文尼亚,272-275页。[CrossRef
  34. Ormstad H, Jamtvedt G, Svege I, Crowe S.桥梁建设模型:连接循证实践、循证研究、公众参与和需求主导的研究。2021年10月30日;7(1):77 [免费的全文] [CrossRef] [Medline
  35. Lipson-Smith R, White F, White A, Serong L, Cooper G, Price-Bell G,等。为癌症患者共同设计咨询录音移动应用程序:SecondEars应用程序。JMIR Form Res 2019年3月12日;3(1):e11111 [免费的全文] [CrossRef] [Medline
  36. Cartujano-Barrera F, Azogini C, McIntosh S, Bansal-Travers M, Ossip DJ,库比蒂诺美联社。在黑人和拉丁裔青少年中为预防电子烟开发图形信息:参与式研究方法。J participation Med 2021年11月23日;13(3):e29945 [免费的全文] [CrossRef] [Medline
  37. Stanley C, Lindsay S, Parker K, Kawamura A, Samad Zubairi M.在构建模拟过程中,与标准化患者和患者促进者合作的价值。中国医学教育杂志2018;38(3):184-189。[CrossRef] [Medline
  38. Zubairi MS, Lindsay S, Parker K, Kawamura a .建立并参与模拟:探索旨在培养有经验的临床医生反思实践的持续教育干预。2016年4月36日(2):127-132。[CrossRef] [Medline
  39. Maar M, Bessette N, McGregor L, Lovelace A, Reade M.与土著动画师共同创建模拟文化交流场景:对创新临床文化安全课程的评价。J Med Educ Curric Dev 2020 Dec 15;7:2382120520980488 [免费的全文] [CrossRef] [Medline
  40. 伊万科娃,克莱斯韦尔,斯蒂克。混合方法序贯解释设计:从理论到实践。现场方法2016年7月21日;18(1):3-20。[CrossRef
  41. 一个顺序混合模型研究设计:设计,分析和展示问题。Int J Mult Res methods 2014 12月17日;3(2):140-152。[CrossRef
  42. Olson BD, Jason LA。参与式混合方法研究。在:黑斯-比伯SN,约翰逊RB,编辑。牛津多方法和混合方法研究探究手册。英国牛津:牛津大学出版社;1月19日,2016:393 - 405。
  43. 克雷斯韦尔JW,普莱诺克拉克VL。《设计和实施混合方法研究》,第三版,加州洛杉矶:SAGE出版社;2017年9月。
  44. 哈里森RL,赖利TM。市场调研中的混合方法设计。2011年1月18日;14(1):7-26。[CrossRef
  45. Salvador JT, Alqahtani FM, Sauce BRJ, Alvarez MOC, Rosario AB, Reyes LD,等。护理护理计划撰写学生调查的开展:探索性顺序混合方法研究。J Nurs Manag 2022 7月31日;30(5):O23-O36。[CrossRef] [Medline
  46. Gehlbach H, Artino AR.调查清单(宣言)。2018年3月93日(3):360-366。[CrossRef] [Medline
  47. 琼斯N.参与利益相关者制定评估问题的实用指南。罗伯特·伍德·约翰逊基金会2009年1月1日URL:https://www.rwjf.org/en/library/research/2009/12/a-practical-guide-for-engaging-stakeholders-in-developing-evalua.html[2022-08-09]访问
  48. Kötter T, Schaefer FA, Scherer M, Blozik E.使患者参与质量指标开发-系统综述。2013年3月27日;7:259-268 [免费的全文] [CrossRef] [Medline
  49. Krska J, Mackridge AJ。让公众和其他利益攸关方参与社区药房酒精筛查和简短咨询服务的开发和评估。公共卫生2014年4月;128(4):309-316。[CrossRef] [Medline
  50. Schmid KL, Hopkins S, Huynh T.让患者参与验光学生人际交往技能的发展。临床经验Optom 2020年5月15日;103(3):361-367 [免费的全文] [CrossRef] [Medline
  51. Dillon EC, Tuzzio L, Madrid S, Olden H, Greenlee RT.测量患者参与研究的影响:方法研讨会如何确定研究参与的关键结果。J Patient Cent Res Rev 2017;4(4):237-246 [免费的全文] [CrossRef] [Medline
  52. 梅伟,朴志华,李太平。在教学中使用标准化患者的十年文献综述:1996-2005。医学教学2009年6月27日;31(6):487-492。[CrossRef] [Medline
  53. Shirazi M, Labaf A, Monjazebi F, Jalili M, Mirzazadeh M, Ponzer S,等。利用标准化病人评估医学生沟通能力:强调标准化病人的质量保证。学术精神病学2014年6月29日;38(3):354-360。[CrossRef] [Medline
  54. 理查德森L, Resick L,李奥纳多M, Pearsall C.本科生作为标准化患者评估高级实践护理学生能力。护士建造2009;34(1):12日至16日。[CrossRef] [Medline
  55. van Zanten M, Boulet JR, McKinley D.使用标准化的患者来评估医生的人际交往技能:通过高风险的认证考试有六年的经验。卫生Commun 22 2007;(3): 195 - 205。[CrossRef] [Medline
  56. 贾朗特·A,范彻·T, Fenton J, fisella K, Sousa F, Franks P,等。医学院申请人的种族、民族和社会经济地位如何与多个基于迷你面试的录取结果相关:来自一所医学院的研究结果。2015年12月;90(12):1667-1674。[CrossRef] [Medline
  57. Kok KY, Chen L, Idris FI, Mumin NH, Ghani H, Zulkipli IN,等。在COVID-19大流行期间进行了多次小型访谈。医学教育在线2021年12月23日;26(1):1891610 [免费的全文] [CrossRef] [Medline


MMI:多种迷你面试
SP:标准化病人
阶层:未被充分代表的医学


S·伍兹编辑;提交23.03.22;KH Tan, S El kefi同行评议;对作者08.05.22的评论;修订版收到19.07.22;接受03.08.22;发表30.08.22

版权

©Ann Blair Kennedy, Cindy Nessim Youssef Riyad, Ryan Ellis, Perry R Fleming, Mallorie Gainey, Kara Templeton, Anna Nourse, Virginia Hardaway, April Brown, Pam Evans, Nabil Natafgi。最初发表于《参与医学杂志》(Journal of Participatory Medicine, https://jopm.www.mybigtv.com), 30.08.2022。

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)发布,该协议允许在任何媒体上不受限制地使用、分发和复制,前提是必须正确引用最初发表在《参与医学杂志》(Journal of Participatory Medicine)上的原文。必须包括完整的书目信息,https://jopm.www.mybigtv.com上的原始出版物链接,以及版权和许可信息。


Baidu
map