移动远程模拟单元对农村和远程从业者高灵敏度低发生率程序的评估:试点随机对照试验

介绍

挑战访问基于模拟的医学教育

在农村和偏远地区提供急症护理面临着独特的挑战。与高敏锐度、低发生率手术和临床经验相关的技能，特别容易随时间退化，仅凭工作经验无法充分提供[1］．因此，需要有系统地培训这些程序的人员。近年来，越来越多的这种培训使用了基于模拟的模式。基于模拟的医学教育(SBME)已被证明是一种有效的培训方法，因为它可以提供练习很少遇到的程序的机会[2-5]而不会损害病人的安全[6］．然而，SBME通常发生在城市中心，由于地理、成本和时间的限制，农村和偏远地区的急症护理从业者很难进入这些中心[7，8］．

通过远程模拟和移动模拟等技术提供的SBME已被证明是培训医生的有效手段，并有助于解决上述一些限制因素[4，7-17］．然而，这些技术的使用也伴随着它们自身的挑战。远程模拟包括通过互联网交付SBME，但如果受训者无法访问模拟设备或有效的培训设置，则远程模拟培训的有效交付可能会受到限制。移动模拟可以通过在有目的设计的单元中交付沉浸式模拟环境来解决限制。然而，移动模拟通常需要将专家带到农村和偏远地区，以促进会议的进行。由于时间限制，这通常是相当昂贵和令人望而却步的。

通过迭代设计过程，我们的多学科小组开发了一个MTU，探索了向农村和偏远地区的急症护理从业者提供SBME的许多挑战。其目的是将MTU部署在农村或偏远地区，通过与场外的技术导师沟通，为技能培训提供场地。这种部署将为受训者提供适当的模拟设备、标准化的培训环境，并有机会获得有经验的导师指导培训。据我们所知，这是为数不多的这样的单位之一，它结合电信和移动模拟来提供这样的训练。

采用了严格的、基于理论的迭代方法来开发MTU，并评估使用该单元进行远程培训的可接受性和可行性。有关MTU的发展详情及培训资料已在别处公布[18-23］．

本研究的目的是比较面对面教学与远程教学在学习者对程序表现的感知和客观评估方面的教育效能。

学习评估框架

本研究采用基于Kirkpatrick的学习评估模型[24]及米勒临床评估框架[25]以指导MTU的评估。这个模型(图1;改编自Dubrowski等人[26])是基于Moore等人的研究[27他开发了一个“以实现预期结果为重点的规划和评估继续医学教育的理想方法”的框架(第3页)。新模型包含了柯克帕特里克的4个层次，代表了评估项目的一系列方法，以及米勒的每个能力层次的评估工具。

‎ 查看此图

Kirkpatrick模型的基础与主体有关反应测试参与者对项目内容的反应或看法。这个特性与Miller框架上的一个层次没有直接的关联。柯克帕特里克模型的第二层次，学习，对应Miller框架的下3层(知道，知道如何,显示了如何)，而Kirkpatrick框架的第三层，行为，与米勒框架的顶部密切相关，做。最后，柯克帕特里克模型的顶层，结果，与Miller的框架无关。这项研究检验了柯克帕特里克的理论反应和学习，包括知道和显示了如何。我们不检查知道如何因为在研究过程中，受试者保留的预期挑战和随访的预期损失。相反，我们决定测量更高的水平显示了如何因为我们可以评估参与者在研究过程中的表现。我们不检查柯克帕特里克的行为因此，不检查米勒的做。我们也不检查米勒的结果，因为这些是在临床环境下的实践评估，本研究仅限于实验环境。本文讨论了有关Kirkpatrick的发现反应和学习(包括米勒的知道和显示了如何)的水平。

方法

研究背景

这项研究是在纽芬兰纪念大学进行的。对农村和偏远地区急症护理从业人员的培训是该省特别关注的问题，因为该省40%的人口生活在农村地区，而且该省人口相对较少(52.5万)，分布在较大的地理区域(40.5万公里)²)。急症护理在全省各地的各种保健中心和医院提供。这些站点由具有不同经验水平的医生、护士和护理从业人员组成。获得SBME机会的途径往往有限。纽芬兰纪念大学健康研究伦理委员会批准了这项研究。

MTU包括一个充气快速部署帐篷(图2)，为学员和导师提供双向通讯所需的便携科技:手提电脑、通讯软件、显示器、摄影机、扬声器、麦克风，以及一个便携式无线互联网集线器。导师使用类似的软件、摄像机、扬声器和麦克风与学员交流。现成和低成本的设备被用于保持MTU的设计可访问性和实用性。学员和导师都有类似的模拟用品和装置，以进行有效的演示和指导(图3和4)。Jewer等人的研究提供了更多关于MTU的信息[18，21］．

最终目标是通过使用一辆配备了若干场景交付所必需的仿真设备的独立车辆，远程提供基于仿真的培训。然而，为了进行概念测试，我们使用了便携式快速部署帐篷。

‎ 查看此图

‎ 查看此图

‎ 查看此图

研究设计

采用随机对照试验设计。总共举行了3次会议，以比较在MTU中接受远程培训的参与者与面对面接受相同培训的参与者的学习结果。为了尽量减少影响研究结果的变量，面对面的培训课程也在MTU空间中进行。为了表明干预组(即远程干预组)并不比对照组(即面对面干预组)差，而且两种教学方法实际上都是有效的，研究人员还纳入了对照组(即未接受培训的对照组)。28］．

会议的重点是教授一个重要的高敏锐度低发生率的程序，胸腔导管插入，使用低保真设置:3d打印的肋骨，固定在有机玻璃支架上，覆盖低成本的模拟皮肤和皮下组织(图4)。选择胸管插入作为一个有代表性的程序，因为它是需要精确的急性护理环境的基本技能[29]，这是一个多步骤的程序，符合客观评分。培训课程长达20分钟，包括基于模拟的培训，经过深思熟虑的实践练习和导师的反馈。

图5描述了研究过程的流程。在程序性会议前一周，参与者通过电子邮件收到了包括基于网络的《新英格兰医学杂志》视频在内的按压信息，展示了手术的正确表现和关于胸管插入的重要细节，包括适应症、禁禁症、并发症和必要的设备[30.］．这是为了帮助确保参与者从相似的基础知识水平开始。

参与者被随机分配到三组中的一组:干预组、对照组和对照组。测试程序分别在培训前(前测)、培训后(后测)和1周后(保留测试)进行。在预测期间，参与者完成了一份关于人口统计信息的问卷，在此之前他们执行或目睹胸管插入的次数，他们之前使用SBME的经验，以及他们之前使用远程医疗的经验。接下来，参与者完成了一份关于胸管程序特定问题的书面程序技能知识测试。人口统计学问卷和程序技能知识测试是书面的组成部分，用于评估在研究开始时，组内或组间关于胸管手术的基线知识是否存在差异。程序性技能知识测试也被用来测量会议后的学习情况。这对应于知道学习水平。这些材料由一位经验丰富的急诊医学医生审查，以确定是否存在差异。

来衡量显示了如何，在预测试期间，参与者在低保真模拟模型(图6)。使用修订的客观结构化技术技能评估(OSATS)检查表和操作绩效全球评分量表(GRS)评估程序绩效[31］．

培训结束后，在后测期间，要求干预组和对照组的参与者评估他们对学习的满意度和他们对培训的评价。这与柯克帕特里克公式相对应反应学习框架的水平。参加者亦再次完成书面程序技能知识测验(即知道)。然后，所有参与者再次录制插入胸管的视频(即，显示了如何)。

此外，在培训课程(保留测试)后一周，参与者完成了一份关于他们在过去一周对该程序的体验的问卷。他们还完成了书面程序技能知识测试(即，知道)，他们第三次进行胸管插入(即显示了如何)。

一位具有11年临床急诊室经验的急诊医学医生使用改进的OSATS检查表和GRS来评估参与者在视频记录中的表现。复查医师对参与者的身份不知情，也不知道研究的阶段(前测、后测或保留试验)。总的来说，12%的视频是随机挑选的，由第二位有经验的急诊医生进行审查。修改后的OSATS检查表和GRS评分被用作学习结果的主要指标(即:显示了如何)。

‎ 查看此图

‎ 查看此图

参与者

在第一年和第二年接受培训的医科学生(每个队列约80名学生)被邀请参加这项研究。参加者为自愿性质，并受预定收集资料时间内可用的名额数目所限(多媒体附件1)。这些医科学生是胸管手术的新手，使用这些具有相似背景知识和技能的受试者使我们能够更清楚地衡量学习情况。参与者在入组前提供知情同意。

措施

Learning-Knows

来测量知道在学习维度方面，参与者被问及一组胸管手术的具体问题(文本框1)。

Learning-Knows如何

使用改良的OSATS检查表来评估参与者胸管手术的表现知道如何学习的维度。OSATS检查表最初的开发和验证是为了评估不同站点的多个外科手术的性能[31］．自那以后，它就被用来评估单一外科手术的表现[32］．研究表明，OSATS在测量手术室外的技术能力方面具有较高的信度和结构效度[31］．

本研究使用改良的OSATS检查表和手术性能的GRS。检查表由10个项目组成，按正确或不正确进行评分(文本框2)。为了本研究的目的，量表中有一个项目被删除，因为它与我们的训练场景无关(即，项目#9 -一个胸膜疏散装置对参与者来说是不可用的)。GRS由9个项目组成，每个项目都衡量运营绩效的不同方面。每个项目都按照李克特量表(Likert)的5分制进行评分，从1(表现差)到5(表现好)(图7)。同样，为了本研究的目的，量表中有2个项目被删除，因为它们不适合训练场景(删除的项目包括使用助理和仪器知识因为在研究设计中没有助手，暗示参与者对仪器的了解问为了正确的事情或者说正确的名字，这不是研究设计的一部分)。因此，GRS得分最高可达35分，最低为7分。

‎ 查看此图

反应

为了衡量参与者对培训的反应，要求远程组和对照组的参与者评估培训，说明他们是否认为MTU可以在农村和远程医疗培训中发挥重要作用，他们对MTU的总体经验有多满意，以及他们是否会向同事推荐MTU方法。参与者还被要求说明他们对学习经历的满意度。这些测量方法改编自全国护理联盟(NLN)学生满意度和学习自信量表[33］．这些NLN量表已被广泛使用，并已被发现具有足够的信度和效度，可用于教育研究[33，34］．

数据分析

参与者被分配了一个唯一的标识符，这用于在分析他们的训练组之前对数据进行匿名化。数据分析采用SPSS版本25进行。对人口学变量进行描述性统计计算。

Learning-Knows

由于我们的数据不允许我们使用参数重复测量方差分析来分析前测、后测和留存性书面程序技能测试，我们创建了2个新变量(前测减去后测得分和后测减去留存测试得分)。然后使用Kruskal-Wallis测试(非参数等效)来比较两组之间参与者在程序技能测试中的表现。

Learning-Knows如何

在评价胸管手术性能的2个评分者之间有可接受的可靠性。GRS的类内相关系数(ICC)为0.909，检查表的类内相关系数为0.757。同样，仅限于非参数技术，我们创建了2个新变量:一个变量计算前、后检查表与GRS分数之间的差异，第二个变量计算后检查表与留存检查表与GRS分数之间的差异。然后使用Kruskal-Wallis检验比较3组(即干预组、对照组和对照组)的前测、后测和保留测试分数和修改后的OSATS检查表和GRS分数。

反应

的Mann-WhitneyU采用非参数等效检验(non - parametric equivalent Test)比较干预组与对照组在学习满意度和培训评价方面的差异。

对于所有测试，aP值小于0.05被认为有统计学意义。

结果

总共有69名医科学生参与了3个不同阶段的研究(表1)。参与者被随机分配到他们的研究组:干预组、对照组或对照组。

参与者的经验

这些群体的平均年龄非常相似，在20多岁到25岁之间，医学院第一年和第二年的比例也相对相当。如果在医学院一年级或二年级的学生对结果有任何影响，那很可能会对干预组产生负面影响，因为干预组中第一年的参与者比例略高。然而，关于胸管插入的培训并不是医学院前两年的标准课程的一部分，大多数参与者表示他们以前从未执行过或甚至目睹过胸管放置;因此，演讲材料和这次培训是大多数参与者第一次接触这项技能。大多数人以前使用任务训练器参加过低保真的SBME，在1到10次之间，大多数人从未接受过使用远程医疗的培训。

类似地，保留测试调查评估了训练后一周内胸管插入的暴露情况，结果显示两组之间没有真正的差异。大多数人在训练后没有做过胸管，目睹过胸管，或接受过任何训练或做过任何关于胸管插入的进一步阅读(表2)。

Learning-Knows

采用Kruskal-Wallis测验比较程序技能知识测验的结果。这是一个简短的笔试，在收到演讲材料后完成，但在培训课程之前。干预组的平均测试分数(在可能的15分中)和SD为11.52(2.07)，对照组为10.91(2.02)，对照组为10.76(2.56)。开始治疗前两组间无显著性差异(χ²₂= 1.9;P=点)。这表明三组参与者在训练前对胸管插入有相似的书面知识水平。

随后的Kruskal-Wallis检验显示，从前测到后测，组间无显著差异(χ²₂= 4.1;P=.13)或从后验到保留验(χ²₂= 1.6;P= .46;多媒体附件2)。

Learning-Knows如何

共有204个程序表现视频被纳入分析，每个参与者3个视频(3名参与者没有完成记忆测试)。三组(训练前、训练后、训练后1周)修改后的OSATS检查表及GRS评估结果见多媒体。分数的箱形图如图所示图8。

Kruskal-Wallis检验显示，两组在osats前和后检查表和GRS评分上存在统计学上的显著差异(多媒体附件4)。使用Dunn [35多比较Bonferroni校正。这项事后分析显示，对照组与对照组、干预组之间的OSATS检查表中位数和GRS评分差异具有统计学意义，但对照组与干预组之间无统计学差异。后测和留存分数之间没有差异。

‎ 查看此图

反应

学习满意度和培训措施评价用于考察参与者对培训的反应。

学习满意度

在干预组和对照组的后测中询问的学习满意度问题(改编自NLN量表)的结果见表3。平均而言，参与者认为干预组和对照组的教学方法是有帮助和有效的，得分分别为4.52和4.65(总分为5)。平均回答还表明，他们喜欢老师为干预组和对照组教授课程的方式，得分分别为4.40和4.52(总分为5)。一个Mann-WhitneyU测试结果显示，干预组与对照组在这些项目上无统计学差异。

培训参与者评价

干预组和对照组的参与者被要求评估他们在MTU空间中实际进行的培训课程的经验。参与者表示MTU可以在农村医疗培训中发挥重要作用(干预组和对照组分别为4.32分和4.48分，总分为5分)，他们对MTU的总体体验感到满意(干预组和对照组分别为4.32分和4.43分，总分为5分)，他们会向同事推荐MTU进行SBME(干预组和对照组分别为4.32分和4.43分，总分为5分)。一个Mann-WhitneyU测试结果显示，干预组与对照组在这些问题上均无统计学上的显著差异(表4)。

讨论

主要研究结果

使用基于柯克帕特里克和米勒作品的概念框架[24，25]，我们考察了基于知道和显示了如何水平也研究了反应参加培训的人。我们发现这个框架有助于确保对使用MTU交付的培训进行全面评估。本研究的结果显示有可比性的学习(知道和显示了如何),反应远程接受程序技能培训的参与者与面对面接受培训的参与者。

与文献一致，我们发现受试者的知识水平(知道)在训练后没有改变。这是我们所期望的，因为关于胜任的程序技能表现，有两个不同的关键知识领域-与事实背景信息相关(知道)，其次是完成所有必要步骤的能力(显示了如何)。我们的研究重点是显示了如何，因为身体上和能力上完成一项程序技能的能力依赖于对该技能的刻意练习[36］．尽管如此，程序技能知识的测量(知道)，因为这能确保所有组别的知识水平一致。这是特别重要的，因为程序技能培训课程旨在使参与者能够执行程序(即，显示了如何)，比知道。

关于显示了如何学习，我们的研究支持了之前与远程模拟和移动模拟相关的发现[7，8，37，38］．我们发现，使用改进的OSATS检查表和GRS评估的通过MTU远程接受培训的参与者的学习结果与基于面对面模拟的培训组的学习结果相当。此外，接受远程或面对面培训的参与者，在统计上比没有接受指导的参与者(即对照组)获得了更好的分数。从前测到后测，干预组(从3到6.54)和对照组(从2.96到6.22)的检查表平均分增加了一倍多。然而，控制组的分数增加几乎可以忽略不计，只增加了0.33分(从2.91分增加到3.24分)。这表明，无论是远程培训还是面对面培训，培训都导致了类似的基于技能的知识的获得。

保留测试表明，在所有3组之间的技能保留没有统计学上的显著差异。平均而言，所有组的保留测试和测试后修改的OSATS检查表和GRS评分之间的差异要么保持不变，要么略有下降。由此，我们得出结论，教学交付的方式(远程或面对面)不会影响留存率。

除了可比较的学习结果外，参与者对MTU的学习也有同样高的满意度。参与者认为教学方法是有帮助的和有效的，他们表示，平均而言，他们在课程中享受教学。这是令人鼓舞的，因为对培训的满意度，在当地医疗机构推动的MTU概念的情况下，可能会影响到将学习转移到自己工作场所的承诺和意愿[39，40］．

总体而言，参与者对其MTU培训经验的评价是积极的。接受远程培训的人与接受面对面培训的人在评估方面没有统计学上的显著差异。与会者表示，他们对在农村医疗培训方面的整体经验感到满意，并将向同事推荐农村医疗培训的MTU。

本研究的主要局限性是样本量相对较小，研究对象来自单一机构。然而，有几件事有助于使研究更加可靠:(1)纳入对照组;(2)研究设计包括前测、后测和保留测试;(3)修改后的OSATS检查表结果与GRS评分的三角剖分，采用2个盲评分者，证明了良好的评分者间信度，为研究结果的稳健性提供了保证[41］．第二个限制是，参与设计MTU的医生是所有受试者的培训课程的负责人。如果没有直接参与研究的医生进行培训，那么检查对培训的影响将是很有趣的。

这对未来的SBME和研究有许多影响。首先，医学教育从大型城市学术中心向分布式医学教育转变。视频会议和数字图书馆收藏等技术使这一进步得以实现，并与社会、健康和经济效益密切相关[42，43］．MTU概念有可能在这一领域发挥作用，需要进一步研究以确定如何最好地将这一概念纳入实践。在这里，考虑农村从业者面临的两个重大时间挑战将是特别重要的;维持繁忙的临床实践，往往是有限的备份，除了在教学各种学习者的宝贵贡献，往往是有限的资源。利用当地专业知识的协作方法，以及远程指导的指导，可以促进有价值的进展。第二个和相关的贡献是mtu可能为学员和导师节省成本。成本通常是获取SBME的主要障碍，但在SBME研究中通常没有考虑到这一点[44］．传统的交付模式将有一个课程，以及带到特定地点的相关费用，例如旅行、设备、导师和时间的相关成本。另一种选择是，农村医生必须前往中心地点教学，并解决与培训和旅行有关的病人覆盖、时间和费用的挑战。在MTU的开发中，成本是一个重要的考虑因素，目的是使这种新方法更容易实现。建议进行与实际使用MTU有关的经济影响评估。第三，应该进行进一步的研究，以验证MTU概念对技能培训的实用性和有效性，这对目标受众的实践需求很重要。通过与农村从业人员的合作讨论和有针对性的需求评估，可以最好地确定具体的临床和教育需求。这样就可以检查柯克帕特里克的脑电图了行为(和米勒的做)，以及结果学习水平评价模型。随着通过移动远程模拟远程提供更广泛的技能课程，研究有效性和可靠性的机会将更容易获得。第四，进一步探索技能和场景特征，使他们适应远程指导方法的培训是必要的，包括观察关键性能特征和机动的能力。这项研究证明了在胸管插入的程序技能评估上的等效学习结果。对于其他程序性技能，应该进一步探索这一点。第五，本研究的培训课程是在有可靠、高速互联网接入的地区进行的;然而，农村和偏远地区的互联网连接可能有限，这将阻碍远程培训的交付，并可能特别影响学习者如何感知和评价他们的远程指导体验。未来的研究将探索使用专为低带宽设计的高效通信系统。第六，根据其他人的建议[3.]，未来的研究应该比较不同形式的模拟。使用移动远程仿真，这将涉及使用不同级别的保真模拟器在MTU中远程交付的训练的比较。最后，由于缺乏能够熟练使用通过电信提供的基于模拟的教学的导师，可能会阻碍将这种新方法扩展到SBME [45］．因此，使用MTU进行远程技能评估也应该进行检查，特别是在传统笔试和口语考试覆盖很少的领域。

结论

SBME是一种行之有效的培训方法，尤其适用于高敏锐度、低发生率的程序和场景。位于农村和偏远地区的从业者尤其受益，因为他们在模拟资源方面面临着许多独特的挑战，包括地理、成本和时间限制。本研究对程序技能培训的教育效能进行评估，比较远程指导与面对面指导。据我们所知，这项研究是结合远程仿真和移动仿真概念开发和评估SBME的少数研究之一。

我们使用了基于Kirkpatrick学习评估模型和Miller临床评估框架相结合的概念框架来指导研究。我们发现，通过MTU远程提供的培训是进行技能培训的有效方式。那些接受远程培训的人的学习结果相当(显示了如何)到接受面对面指导的受试者。参加者亦满意(反应)介绍他们的学习及培训经历。这种远程导师指导的SBME为卫生从业人员提供了更容易获得所需培训和导师指导的实践的机会。未来的研究需要检验MTU方法在实践中的效用，具有不同的技能和保真水平，并作为一种提供技能远程评估的手段。