基于智能手机的游戏中自适应反馈对医疗服务提供者学习收益的评价:随机对照试验

介绍

背景

在撒哈拉以南非洲(SSA)等低收入地区，卫生工作者需要自己提供护理的情况比在中等收入和高收入环境中更为频繁，这可能与新生儿的不良结局有关[1]。在全球每年估计的290万新生儿死亡中，SSA在生命最初24小时内的总死亡风险最高，占全球新生儿死亡的37% [1]。劳动力严重短缺，加上卫生人力的技能不平衡和分配不当，以及缺乏培训机会[1，2很可能是造成高死亡率的主要原因。需要进行额外培训，使这些地区的保健提供者更好地做好准备，以提供有效的儿科和新生儿紧急护理[3.，4]。然而，面对面培训的费用在每人每天80美元到300美元之间，而且很难大规模提供[5]。在这些地区，通常只有一小部分受过新生儿复苏基本必要技能培训的训练有素的保健提供者[6，7]。因此，需要制定新的战略，以改善整个SSA 100多万保健提供者获得培训的机会。任何这类方法都需要有效地实时更新，因为指南会根据新的证据发生变化，并且(理想情况下)需要获取能够在一定时间内接受培训的卫生工作者人数的数据[8，9]。

很少有证据表明实施了与低收入环境相关的数字学习干预措施，这些干预措施考虑到卫生工作者最初和持续的临床培训需求，并根据学习者继续发展知识的技能掌握和表现调整学习内容[9-15]。在非临床、高资源环境下，适应性教学支持已被证明在产生学习收益方面明显优于培训师主导的大群体教学、非适应性计算机教学和基于纸张的教学。4，10，16，17]。在资源匮乏的情况下，对学习者模型(试图对观察到的学生学习行为进行建模的认知模型)的调查是合理的，需要在临床培训环境中支持这种定制的教学方法[10，11]。

迄今为止开发的医疗保健培训应用程序及其使用的方法大致可分为两类:那些只是“在屏幕上”复制现有教学策略的人，例如，通过为考试练习提供问题和答案或显示教科书图形，即“练习和实践”的教学方法，以及其他利用数字设备特定功能的方法，其中的例子包括以不同途径响应用户选择的能力或使用用户可以交互的动画，即更以学习者为中心的教学方法[9]。严肃游戏是指可在手机上进行的具有特定应用目的(而非娱乐)的游戏，是提供可能影响健康结果的培训的一种方式[18]。使用严肃游戏的基本原理是，与“第一人称”电脑游戏类似，紧急护理培训应使卫生工作者能够遵循高度结构化的途径(如临床护理算法)，并在每一步寻找确定正确行动的信息(线索)。通过临床训练和在电脑游戏中的表现，在最小的帮助下(例如，来自纠正反馈和提示)完美、快速、自动地执行线索反应序列，证明了精通。这种类型的掌握已被证明可以支持有效的临床护理交付，但这种方法所需的排练频率对于面对面培训来说是困难和昂贵的[19]。通过使用严肃游戏方法，用户可能更有动力重复玩严肃游戏，使用奖励、增加难度和分数等激励措施，这些技术已经成功地用于鼓励非严肃电脑游戏的重复玩法。在低收入环境中，对智能手机中用于卫生保健培训的严肃游戏方法进行评估和评估的证据不足。在这方面的最新系统检讨中，强调要解决这方面的需要[15，20.]。

紧急情况救生指导(LIFE)项目最初使用基于智能手机的严肃游戏方法，提供重症新生儿和儿童护理方面的培训。该应用程序扩展了基于场景的紧急分类，评估和治疗加上入院护理培训(ETAT+)培训模式[21，22通过结合更多以学习者为中心的干预方法。ETAT+的目的是使卫生保健提供者熟悉临床指南和必要的知识和技能，以便在到达卫生机构时将所有患病儿童分为有紧急迹象、优先迹象或非紧急情况的儿童，并为危及生命的儿童提供紧急治疗[23]。ETAT+教学模式采用面对面的模式培训非洲和东南亚的卫生保健工作者，在其他地方有详细说明[21-25]。

鉴于提高医疗保健提供者学习环境(如SSA)的情境挑战，LIFE旨在培养医疗保健提供者对ETAT+内容的自我调节学习(SRL)，独立于任何课堂或面对面的辅导促进。在SSA中，利用LIFE等干预措施的数字化和可重复使用特性来调整卫生保健专业人员学习和接收其绩效反馈的方式的潜力仍未得到充分探索。这种个性化的学习可以用来最大限度地提高学习成果和发展学习者的技能[14，15]。智能手机作为实验工具的无所不在的特性为更广泛的研究参与者提供了机会[26并且可以最大限度地降低资源受限环境下实施、评估和扩展教育平台(如LIFE)的成本[9]。智能手机也被证明可以提高学习者对学习干预的兴趣[27]。

SRL是一个弱递归过程，在每个阶段都有反馈促进[28-30.]支持学习者对学习策略的元认知调节，帮助学习者在学习过程中调节资源和情绪[29]。除了规则之外，元认知还包括陈述性知识，并处理关于执行任务的能力的知识、学习任务的性质以及成功执行任务的策略之间的相互作用[29]。从理论上讲，学习者的能力是有限的，这使得学习者在复杂的或有时间限制的学习任务中容易犯错误(例如，为新生儿提供紧急护理)[31]。由于认知能力有限，存在这样的表现错误(如滑倒或猜测)[32]，指导SRL的一个关键目标是推断被辅导学习任务的知识。当“……它通过构建和激活更合适的[动作序列]来提供进一步的信息来纠正或修改动作……“(33]。所提供的信息应该使学习者对学习任务有更深的理解。34]。然而，更多的反馈并不总是等同于更好的学习:“……提供给学生的信息量必须是学生可以使用的，而不是[导师]可能希望提供的数量……，“特别是考虑到认知能力的有限性[32，34-36]。过于复杂的反馈更有可能产生认知超载。另一方面，如果它的特异性低，则更有可能被学习者认为是无用的[32，37]。有效的反馈被认为是具体的，但不太详细，并以可管理的单位呈现[37，38]。它的时间、特异性、频率和类型在促进学习方面有不同的效果[36]。在LIFE项目中，在确定教学挑战水平或分层学习途径方面缺乏灵活性(由于努力使临床指南培训内容的交付标准化)，反馈仍然是在SSA等环境中使用智能手机提高SRL的最有希望的可干预理论一致的概念。

目标

本随机实验的主要目的是研究在基于移动智能手机的新生儿急诊护理培训中，适应性个性化反馈是否优于标准化反馈。我们假设随机接受适应性反馈的医疗服务提供者比随机接受标准化反馈的医疗服务提供者有更高的学习收益。次要目标是调查一般的学习收益，以及使用LIFE时的学习收益如何被医疗保健提供者的特征所改变，以及他们如何间隔学习。

方法

伦理批准

本实验方法的细目和分析计划在已发表的本研究方案中有描述[39]并得到了肯尼亚医学研究所(KEMRI)科学与伦理审查委员会(#3444)和牛津大学中央大学研究与伦理委员会(#ED-CIA-18-106)的批准。它遵循报告随机试验的综合标准准则[40]。

研究设计

本研究采用平行组、双盲、随机试验设计，分配比例为1:1。参与者被随机分为两组，一组接受干预，另一组在他们第一次在自己的智能手机上启动训练应用程序时进入对照组。

合格标准

参与者是参与床边病人护理的任何专业干部的卫生保健提供者，他们要么正在接受培训(如学生)，要么正在积极提供护理、临床或医疗服务。从临床工作中退休的卫生保健提供者、在高收入环境中工作的卫生保健提供者或非卫生保健提供者的参与者被排除在研究之外。

研究设置及招聘

这项研究仅限于来自低收入国家的参与者，他们有望从儿科急诊管理培训中受益(多媒体附录1）.LIFE智能手机应用程序是通过Google Play商店分发的，最初的努力是在肯尼亚面对面地招募参与者(更多细节见研究协议[39])。研究参与者的招募努力推动自愿登记，并采用滚雪球式和有目的的抽样策略[41]，这在研究方案中有详细的解释[39]。

干预

本研究中的干预措施是在通过基于智能手机的严肃游戏应用程序学习时提供的自适应差异化即时反馈。学习的内容基于已经在9个低收入国家提供的新生儿复苏指导课程[21，22，24]。这款基于智能手机的应用程序在Google Play Store上公开发布，可下载并安装到兼容的android智能手机上。所有研究参与者都收到了Google Play Store上的移动应用程序链接。LIFE应用程序旨在针对Android的SDK19作为截至2019年2月支持的Android的最低版本(针对100%的Android设备)[42]。自2017年10月以来，这款智能手机应用程序已经在肯尼亚一批医疗保健提供者的智能手机上进行了alpha和beta测试，以确保其在不同手机上运行的稳定性和可靠性。有关干预措施的更多详情，请参阅多媒体附录2［43-45]。

标准化反馈水平的数量是由参与社会安全方面的ETAT+培训的全球卫生学者和专家医疗培训人员与认证持续专业发展的相关医疗专业机构协商后确定的。提供给实验组参与者的自适应即时反馈旨在通过学习者与基于智能手机的训练之间的持续互动激发有意义的反思学习[46，47]。作为教学-程序形式的反馈[48与我们的理论框架一致，它的目的是迫使医疗服务提供者考虑他们在失败的尝试中提供的不正确的医疗服务选择(例如，)。一些所选操作的适当的在这阶段关注错误选择的数量及其在临床护理路径中的位置，旨在迫使人们反思哪个阶段是最合适的)。在学习任务中每次错误尝试后，根据学习者下一次尝试正确的预测概率，将三个级联细节级别的反馈提供给实验臂。用于支持在beta测试阶段从187个医疗保健提供者收集的数据的建模方法在多媒体附录2在其他地方有详细的解释[49]。反馈的措辞取决于学习者选择的错误选项的数量和他们自己的实际错误选择。这在多媒体附录3-6．对照组研究参与者在每次错误尝试学习任务后都会收到标准化的非适应性即时反馈，第一次错误尝试的反馈要求学习者重新尝试(0级，多媒体附录6)和第二次尝试的反馈，给出正确选择的详细解释(第2级，多媒体附录6）.使用Holmes等人的多维个性化模型[50]，在本实验中，自适应机制的目标是个性化反馈的呈现方式和引入时间．

LIFE应用程序既是学习工具，也是测量工具。学习任务与测验是同义的，因为学习被设计为嵌入形成性评价中。在成功完成一个学习阶段后，该平台会根据每个学习者在第一次尝试时对学习任务的反应是否正确提供一个表现分数。在本研究中，一个学习阶段被定义为LIFE智能手机应用程序上新生儿复苏学习场景训练回合的每一次独特的启动(即迭代)(如图中的场景a所示)多媒体附录7）.

结果

两组实验的主要终点是使用LIFE完成两个学习阶段，第一个阶段被视为前测试，第二个阶段被视为后测试。两个分数都被转换成百分比。从职前得分来看，本研究的主要比较结果为学习效果大小(g) [51]，其计算公式在本研究方案中提供[39]，并在多媒体附录2．这个效应量，也被称为莫里斯G［51]，表示研究组内相对变化的平均差异。源自education literature [16，52，53]，效应量约为0.2、0.5和0.8分别被认为是小效应量、中等效应量和大效应量。这些阈值代表了影响的大小，并反映了我们的假设，即统计上显著的结果不一定重要或有意义。例如，对于效应大小约为0.2的情况，即使在统计上具有显著性，研究组之间的差异也是微不足道的[52，54]。

除了消除或至少显著减少影响本研究主要结果的偏差的随机化之外，本研究主要结果的计算(1)在管理学习者之间先前存在的知识差异方面是稳健的，(2)允许在实验组和对照组不相等的情况下估计干预效果，(3)考虑了测试前和测试后分数的方差。这与其他形式的效应大小计算形成对比，如Hedges G和Becker D，它们只使用预检验或汇总方差[51]。在这个模型中，假设前测和后测方差是均匀的。考虑的次要结果是研究参与者的个性化学习增益，定义为卫生保健提供者的绩效得分的相对变化除以他们可以提高的最大得分[55]。这是根据连续学习阶段的表现分数计算出来的，第一次学习阶段的表现被视为测试前得分，最后一次学习阶段的表现被视为测试后得分。该计算公式在本研究方案中提供[39]。

参与者的时间表

研究参与者的登记于2019年2月1日开始，一直持续到2019年7月31日。本研究推出LIFE的干预措施是基于实施研究的原则和结果[56]，并通过自我调节、自我导向的学习获得信息[28，31，57]。它试图理解并在真实世界的条件下工作，而不是试图控制采用、可接受性、覆盖范围和可持续性条件或消除它们对研究结果的影响[56]。随后，没有为研究参与者计划培训课程。虽然LIFE是为低收入环境设计的，但对于可能有兴趣进行这种自我指导培训的保健提供者来说，没有地域覆盖范围的限制;任何人都可以下载这款应用。然而，我们只分析了低收入国家的医疗服务提供者。没有任何地理位置数据的参与者(由于拒绝授予LIFE应用程序所需的Android权限)被认为来自发展中国家，因为我们的招聘工作是针对这些国家的专业团体的。

样本量计算

在其他学科领域发现类似的干预措施的平均效应大小在0.22 (95% CI 0.16至0.27)至0.70 (95% CI - 0.08至1.49)之间[16，58]。根据这些研究，为了检测效应量为0.22，双侧显著性水平为5%，功率为80%，达到研究主要终点的每组83名参与者的样本量是必要的。用于单向方差分析的样本大小计算，包括单样本和成对样本t测试分析使用相同的效果，功率和显著性参数产生相同的166名参与者所需的样本量。样本量计算公式见本研究方案[39]。

根据LIFE智能手机应用程序的alpha测试，我们假设研究参与者的退学率为50%，退学定义为不完整或单一使用LIFE智能手机应用程序，并计划招募至少332名参与者来解释这一辍学率。为了鼓励重复使用LIFE，所有参与者从他们参加研究开始每两周收到一次电子邮件提醒，在他们收到三次提醒后暂停。从LIFE应用程序开发的alpha和beta阶段对研究参与者的采访来看，来自较低临床干部的人倾向于将下载231 MB智能手机应用程序所需的电话数据费用描述为太高。为了减轻由于参与研究而给参与者带来的额外财务负担，他们可以在使用LIFE智能手机应用程序的几周内申请报销费用。

研究参与者在第一次学习课程结束时，如果他们同意，将在应用程序的初始使用中收集人口统计数据。这是因为人口统计数据被认为比追踪游戏数据更敏感，因此需要根据伦理批准获得额外的同意。这意味着，对于那些在完成第一次课程之前就辍学的学习者，或者选择不填写这些数据的学习者，没有收集人口统计数据。根据这些数据，进行统计分析，以评估研究参与者的流失是否存在系统性偏差。本分析中使用的研究变量为研究组、接受过新生儿培训、临床骨干、年龄和经验水平。这是因为考虑到临床干部的培训途径和实践时间的差异，专业水平可能会产生学习干预效果的差异[59]。此外，考虑到基于智能手机的学习需要数字敏锐度的新颖性，年龄也被纳入其中，以评估它是否与基于智能手机的学习模式和有效性有关[60]。我们认为性别在理论上不受这个实验研究问题的社会认知框架的影响。

随机化

对于参与者的分配，当智能手机应用程序首次启动时，应用内算法随机生成0到3之间的值。如果该值为0或1，则将其重新编码为0，否则将其重新编码为1。出于开发原因，我们使用游戏引擎提供的随机化程序来执行该算法，我们认为这是可靠的[61]。该算法确定了参与者是被分配到对照组(如果重新编码值为0)还是实验组(如果重新编码值为1)。该算法还使研究参与者和工作人员在实验过程中对参与者的分组不知情，但在分析阶段则不知情。随机分配的序列生成是一个与单个实例(如智能手机应用安装实例)相关联的计算机程序，它模仿了抛硬币的过程。因此，使用随机大小的排列块将参与者分配到对照组或实验组是不可能的，因此没有实施。

统计方法与分析

对于主要终点，我们使用Morris G效应量来分析研究组内评分相对变化的差异，如研究方案中详细描述的[39]。在通过智能手机应用程序完成第二轮训练场景后，对其进行评估，并记录每轮的表现分数。二次分析采用回归分析，因变量为归一化学习收益，自变量为卫生保健提供者的人口统计学特征和游戏玩法特征(如重复学习间隔、学习任务花费的时间、以前接受过新生儿训练)，评估其对学习收益的影响。

本研究中使用的主要学习结果不能计算以缺乏至少两个完整学习课程为特征的研究参与者。如果没有基线后评估，“意向治疗”分析就无法进行，除非我们计算结果，这往往会产生有偏见的估计[62]。因此，我们没有进行意向治疗分析。然而，报告的辍学人数与达到研究主要终点的人数有关，并讨论了考虑到自我调节、自我导向学习的影响[28，31，57]。

在实验的同时，从参与研究的卫生保健提供者的小样本(N=19)中进行了定性访谈，无论他们是否达到了主要终点。这些访谈用于探讨医疗保健提供者对影响基于智能手机的学习平台情境使用的自我调节学习的看法。他们为解释本研究中观察到的学习结果提供了一个背景，并将单独报道。

数据管理

从研究参与者的安卓智能手机应用程序中收集的主要数据保存在他们的设备上，并同步备份副本谷歌重火力点,一个安全的分布式基于云的数据库服务器，以加密格式传输后。实验后收集的数据存储在加密的有密码保护的USB设备上，并传输到肯尼亚和牛津的有密码保护的安全服务器上。与伦理批准表格上列出的研究机构的研究人员共享未识别的数据。

知情同意

在收集任何人口统计数据之前，除了使用明确的Android许可请求从应用程序中收集跟踪匿名学习数据外，还从移动应用程序中征求了个人参与者的同意。这种应用程序中的知情同意方法在医学研究中并不罕见;系统检讨[63]以及专门针对移动应用程序的研究[64]。知情同意过程还包括有关LIFE平台研究人员和开发人员的资格和隶属关系的信息。参与者无法知道他们是否接受了“感兴趣的干预”。

结果

研究样本

在数据收集期结束时，入组的897名参与者中有572人符合研究条件，247人(43.2%)最终达到了研究的主要终点(图1)，正如我们公布的协议所预期的那样[39]。

‎ 查看此图

由于用于随机化的算法不是集中的，因此无法在参与者到组的分配中实现阻塞机制，因此执行分配比例具有挑战性。随机化发生在个人医疗保健提供者的个人智能手机上，与其他参与者的分配方式无关，并在多媒体附录8．除了缺乏可强制执行的阻塞机制外，用于随机生成器函数(c++ rand函数)的软件库最有可能导致分配比例不平等，因为它在多个智能手机设备上的效率各不相同，这在很大程度上是未知的(多媒体附录9) [61，65]。这很可能是造成分配比例差异的原因。然而，这并没有使研究参与者分配到研究组是非随机的，详见下文。

共有30.6%(175/572)的参与者提供了他们的背景信息，其中135人达到了实验的主要终点(图1）.从均值检验的差异和比例检验的差异来看，试验组和对照组在生命使用特征(LIFE使用特征)方面均无显著差异(多媒体附录10)或人口特征(表1）.然而，在医疗服务提供者、临床官员干部和接受过专门培训的人员中，辍学率很高(多媒体附录11）.

据报道，损耗偏差的影响似乎很小表1和多媒体附录10．有充分的理由推断，随机化总体上达到了平衡干预组之间不同背景参与者的目的，同时也减轻了选择偏差，尽管分配比例出乎意料。

适应性反馈对学习收益的影响

在对照组和实验组中，学习者的表现都比前测成绩有了大约30%的实质性提高。表2）.由于使用LIFE的整体学习变化很大，这可能会模糊自适应反馈的直接影响。从Levene的检验来看，绩效分数方差同质的假设成立[66]。

我们感兴趣的主要结果，即自适应反馈对学习增益的影响，是在第二轮完成的学习场景之后计算的，其计算在其他地方有详细的解释[39]。自适应反馈的干预效应为0.09 (95% CI - 0.31 ~ 0.46;P=.47)，这在统计上和实质上都不显著。值得注意的是，这里计算的效应大小的计算并没有将分数视为重复的测量，而是作为独立的数据。它还假设前测和后测方差是均匀的。为了尽量减少这种偏差，对效应大小采用了0.998的校正调整因子，并在方案中进行了解释[39，51]。这表明，考虑到这是一个非常小的调整，效应大小计算中的偏差程度是最小的。在学习过程中，实验中提供的反馈信息的数量见表3．

自适应反馈对个体学习收益的影响

主要结局分析结果可能存在两种形式的检测偏倚:受试者-治疗相互作用偏倚和差分时间效应偏倚[67]，如多媒体附录12．为了消除这些偏见，并探索生活使用和学习者背景特征如何影响学习收益，我们在个人层面上使用标准化学习收益进行了二次分析。这与已公布的方案一致[39]。我们计算归一化增益的详情见[39，55]。

当考虑到个体医疗保健提供者水平上LIFE使用的差异时，学习者在随后使用LIFE之间的间隔超过一周，其标准化收益显著降低- 0.395 (95% CI - 0.557至- 0.232;P<.001)比间隔学习一小时或更短时间的学生要好。自我指导的LIFE使用间隔的任何变化(一周或更短)都不会对标准化收益产生显着变化。自适应反馈机制对医护人员的标准化学习收益有显著影响，为0.523 (95% CI 0.345-0.702;P<措施)。花在学习任务上的时间越长，每次学习任务中提供的反馈提示的比例越高，学生的标准化学习收益就越低。医疗服务提供者之前的ETAT+内容的面对面培训对其学习收益没有显著的正向影响。这在表4A型车。

当考虑到卫生保健提供者的人口统计学和背景特征时，他们的临床干部和实践/培训水平对他们的学习收益没有显著影响，除了医生的学习收益显著高于0.14 (95% CI 0.016-0.265;P= .027)。的模型B说明了这一点表4．控制卫生保健提供者的背景特征后，自适应反馈对个性化归一化学习收益的影响显著增加至0.644 (95% CI 0.347-0.941;P<措施)。它还提高了平均学生归一化增益的方差比例，这被回归模型A中的自变量解释了18.3% (表4）.总体而言，自变量在回归模型的两个变量中具有较低的多重共线性表4，如多媒体附录13．这两个模型都解释了医疗服务提供者使用LIFE智能手机应用程序进行新生儿急救培训时标准化学习收益的34.4%-40.7%的差异。然而，只有模型B在表4满足所有统计建模假设。

一小部分学习者玩了两轮以上的游戏，如图所示多媒体附录14-16．然而，在每一轮比赛中，卫生保健提供者的数量下降了大约40%-60%。这意味着纵向模型的拟合是不可行的，因为多个时间效应线性组合的方差接近于零(即奇异)，表明模型会过拟合[68]。此外，卫生保健提供者的学习间隔没有标准化，学习迭代变量违反了进行重复测量方差分析检验所需的球形假设[69]。

讨论

调查结果摘要

本研究旨在探讨低收入环境中基于智能手机的卫生保健工作者培训的自适应反馈的有效性，这是在此背景下医学教育的一个很大程度上未被探索的主题。我们发现，尽管两种形式的反馈都有相当大的学习收益(表2)，自适应反馈的影响较弱，为0.09 (95% CI - 0.31 ~ 0.46;P=.47)，差异无统计学意义。然而，当考虑到卫生保健提供者的背景特征和各种自主间隔学习选项，并在个体水平而不是群体水平上分析学习收益时，适应性反馈的效应量为0.644 (95% CI 0.347-0.941;P<.001)对学生标准化学习收益的影响。间隔学习一周或更长时间与标准化收益显著降低0.28相关。临床骨干、实践/培训水平和以前接受过新生儿急救培训的差异对个体卫生保健提供者的学习收益没有显著影响。

与其他研究的关系

该实验不同于以往类似的临床实践数字教育研究，因为它(1)使用移动设备提供数字教育干预，(2)评估新的教育模式，实现模拟学习，如适应性反馈，(3)为可比性目的提供必要的方法信息。(4)报告了本研究中所做的相对学习收益，除了一个(相反，他们倾向于报告实验组干预后得分的差异)，(5)来自低收入环境，如SSA或东南亚[11]。在Car等人通过系统综述确定的涉及复苏的三项研究中[11]，只有一项研究报告了相对平均值的变化，但发现不同的在线内容形式对学习收益没有显著影响[70]，这与我们的研究结果相似，尽管我们的主要结果计算方法与他们的不同。在该研究中，使用了个体学生归一化增益的变体，例如我们在本研究中使用的次要结局，我们发现对个体学生学习增益的影响为0.644 (95% CI 0.347-0.941;P<.001)。

这项研究解决了最近对健康游戏化教育的证据审查提出的一些建议，该建议建议未来的研究采用严格的实验设计来评估学习干预措施，并包括更多来自低收入和中等收入国家的研究，这是目前证据基础中代表性不足的两个方面[15]。即使考虑到数字教育中适应性反馈的干预措施，我们所知道的也没有一个是在健康领域[71]，使得这项研究独一无二。鉴于学习干预的实施适用于所有参与床边护理提供的临床干部，他们具有不同水平的经验(从学生到咨询师)，来自多个低收入国家，代表了不同的地理和资源组合，在本实验中，临床工作小组的不同人群确保了那些将从使用所提供的学习工具进行急诊护理培训中获益最多的人得到了充分的代表。此外，鉴于学习平台最小化了常规应用程序设置中通常无法获得的元素，因此两个研究组从LIFE使用中获得的总体学习收益都很大[56]，该实验的发现可以推广到低收入国家使用基于智能手机的平台进行医疗服务提供者的紧急护理培训。

研究结果的含义

在群体水平上，适应性反馈对医疗保健提供者学习收益的影响不显著，但在个人水平上的评估结果则相反。这可能意味着干预效果受到其他因素的强烈调节(这些因素在智能手机应用程序之外)，其中主要是医疗保健提供者的个性化学习重复间隔。加上人口统计学特征，个体学习收益的适应性反馈的可解释方差增加了18.31%。将自适应反馈水平与医疗服务提供者的个性化学习重复联系起来，可以解释个体学习者水平上更强的干预效应。

群体和个人学习收益之间的差异也可能意味着何时收集干预后或重复测量的决定是决定什么是有效的学习干预的重要因素。考虑到间隔学习，从直觉上讲，干预效果更多地反映了一种机制，即优化回忆率，而不是内化/理解内容的水平。尽管通过使用反射性线索(多媒体附录6)，从本研究正在进行的定性评估的早期发现来看，另一种模型使用详细的线索来说明为什么卫生保健提供者的选择是错误的，可以说可以增强学习内容的内化。

尽管缺乏最大的学习收益，但在随后的每一轮游戏中，高失学率(多媒体附录14-16)令人不安，并限制了对学习者技能掌握程度的评估。高失学率可能意味着(1)使用LIFE进行自主学习的努力调节和动机非常低，(2)医疗保健提供者自我评估的学习需求导致他们认为自己已经掌握了内容，因此不再需要这种培训，或者(3)实验之外的其他因素影响了LIFE应用程序的使用(例如，卸载LIFE应用程序以便在学习者的智能手机上为其他应用程序腾出更多空间)。定性访谈将用于探讨这些解释是否合理，以及如何利用它们来鼓励低流失率。

从我们的研究结果来看，一种基于智能手机的游戏化替代低剂量高频临床培训方法，这种方法通常在低收入环境中使用，采用自我调节的学习方法，可以提供显着的学习收益。当面对面的培训不可能，培训成本是一个问题，学习者更喜欢灵活的学习计划时，这是有用的。此外，这种学习方法的间隔重复可以在一周后得到鼓励，这种鼓励是根据临床角色和经验以及学习者进展的知识追踪方法来区分的。这可以在未来的研究中进行探讨。

研究的局限性

在这个随机实验中，我们使用了标准的贝叶斯知识追踪(BKT)建模方法，该方法在多媒体附录2在其他地方[49]，以确定自适应反馈阈值截止。然而，BKT有一组有问题的假设:它假设遗忘不会发生，知识组成部分(即我们的情况下的测验)被视为相互独立的，它的典型实施不允许学习者有不同的学习速度，它假设所有学生在第一次机会时掌握特定技能的概率是相同的(多媒体附录4)，在估计模型参数时存在多个全局极大值的问题[49，72]。此外，我们使用了来自187个医疗保健提供者的beta阶段的学习数据来训练模型，这是一个相对较小的数字。加上医疗保健提供者知识的中等预测准确性(多媒体附录2)，很有可能反馈水平的处方可能有偏差，从而低估了干预的效果。然而，之所以使用这种建模方法，是因为它更容易嵌入到智能手机应用程序中，并且与其他常见的替代方法相比，它能够离线运行[49，73]。

从对实际可访问的研究参与者的采访中，那些来自较低临床干部的人发现下载智能手机应用程序所需的一次性电话数据成本太高。为了减轻参与者因参与研究而产生的额外个人费用负担，他们可以在使用智能手机应用程序的几周内申请报销。这使研究参与者的数量偏向于一个可以报销的特定国家(多媒体附录1）.在这些资源背景下，这些成本在产生研究参与者方面发挥了作用，这些参与者可能不代表那些有意参与的人，而是代表那些具有“经济”参与能力的人，这在多国研究中很难减轻。由于将盲法参与者分配到研究分组以及缺乏将参与者(其数据以匿名来源收集)与报销联系起来，确定报销是否有利于任何研究分组是具有挑战性的。

考虑到允许以自我指导的方式在“现实世界”中使用智能手机应用程序，也会使全面控制暴露于兴趣干预之外的因素变得困难，双臂间表现偏差的风险是适度的。当一些参与者来自相同的同伴群体、医院或社交圈，并且可能合作使用智能手机应用程序时，情况尤其如此。尽管随机分配并没有导致研究小组中的参与者人数相等，但从我们的事后分析(表1；多媒体附录10和11)，我们不认为这对实验结果有偏见。

结论

本研究旨在评估一款基于智能手机的严肃游戏中自适应反馈对低收入国家卫生保健提供者学习收益的影响。从247名卫生保健提供者中，发现对学习增益的影响为g=0.09 (95% CI - 0.31至0.46;P=)。当控制被试-治疗交互作用和时间差效应时，自适应反馈对学习收益的影响显著增加至0.644 (95% CI 0.347 ~ 0.941;P<措施)。根据我们的研究结果，我们建议将提供给医疗保健提供者的适应性反馈水平与他们如何区分学习和临床水平联系起来，可能会在团体和个人学习者水平上产生更大的干预效果。对于反馈内容本身，作为对正确答案可能是什么的反思性提示的替代方案，详细说明为什么医疗保健提供者的回答是错误的，可能会增强对学习内容的理解。