医疗保健专业人员技术增强学习计划的评价:系统评价

简介

“技术增强学习”(TEL)一词通常用来描述用于支持和调解教育活动的广泛数字技术领域[1］．在这篇综述中，术语TEL被用来描述完全以数字为媒介的活动，以及那些与更传统的教育方法混合的活动。在过去的20年里，世界各地的本科和研究生阶段的高等教育中技术的使用有了相当大的增长[2］．有效和持续的持续专业发展(CPD)和教育对于提供高质量的卫生和护理服务至关重要。TEL越来越多地作为一种手段，为学习者提供增强或转变的教育体验。

多项已发表的报告均强调，电讯是支援保健教育的有效方法[3.，4］．在他们的电子学习策略中，英格兰高等教育基金委员会[5]总结了TEL的三个层次的潜在好处:(1)e成员，使现有工序能以更具成本效益、省时、可持续或可扩展的方式进行;（2）增强，以改善现有的程序和结果;(3) t转化，表示对现有流程的根本改变或新流程的引入。人们普遍认识到，需要持续教育和有效的工作培训，以支持医护专业人员提供优质、安全和有效的医护服务[6，7］．在资源和时间的限制下，对有效和负担得起的卫生保健教育的需求不断增长，以及对硬件、软件的改善，以及混合学习形式的流行，意味着TEL越来越被认为是卫生保健教育中的理想方法。

移动和灵活技术的普遍普及使学习者能够尽量减少离开卫生保健机构接受培训的时间，并在最适合其需要的时间和地点使用学习资源[8］．TEL为卫生保健教育提供了一系列特定的优势，考虑到在快速变化的领域中灵活地更新学习资源，并为学习者提供了在非临床环境中安全地分享知识和学习关键临床技能和决策的范围[9］．

证明TEL对卫生保健教育的附加价值和影响的能力仍然具有挑战性。以前的作者已经抓住了医学教育中TEL审查和评估挑战的性质[10-12］．皮克林和乔伊斯[13]强调了缺乏有力的证据和有意义的评估来支持TEL资源的广泛实施。主要的挑战是缺乏评估目的、全面性、深度和方法选择的清晰度，以支持所需证据基础的发展，在此基础上建立有效的未来TEL医疗保健计划。我们需要可靠、实用的机制来评估:物有所值;获取公平;以及TEL可能带来的学习者、服务和组织利益[14］．有必要对医疗保健中TEL实施和评估的文献进行批判性研究，以指导现在和未来有效的TEL医疗保健教育项目的制作和实施。

在TEL文献中存在一系列的研究，这些研究记录了TEL在医疗保健教育方法中的实施。然而，在实践中证明全面的TEL评价或使用标准化的TEL评价工具的研究较少。之前的作者，如Ellaway [10，11]、Cook和Ellaway [12]，以及皮克林和乔伊斯[13](除其他外)强调了强有力评估的必要性，并着手制定评估医学教育中职业教育的职业教育标准和框架。库克和埃拉韦[12提出了一个通用的评估模型。皮克林和乔伊斯[13提出了他们认为更全面的医学教育TEL评价模型。

本系统文献综述旨在确定对CPD、研究生或基于工作的TEL卫生保健教育项目实施了TEL评估的研究，并使用已发表的关键评估工具对这些研究进行评估。所确定的研究为卫生保健专业人员未来TEL项目的评估和发展提供了证据基础。

方法

设计

本研究采用系统综合评价方法进行。这种方法允许包括经验和理论文献以及定量和定性研究。这种方法使越来越多的研究被纳入综述，适用于对证据的回顾，以突出文献中的差距[15］．

资格和纳入

本综述的纳入和排除标准采用人口、干预、比较和结果(PICOS) [16]的系统检讨架构，详情见表1。在设计本研究的搜索策略时，PICOS框架被用作搜索工具和组织框架，根据搜索问题中的主要概念列出术语。该框架通常用于识别临床证据的组成部分，用于循证医学的系统评价，并得到了Cochrane协作网的认可[16］．

搜索策略

检索了以下电子数据库:Medline Ovid，护理和联合健康文献累积索引(CINAHL) +高级，应用社会科学索引和摘要(ASSIA)， ZETOC，电气和电子工程师协会(IEEE)探索数字图书馆，联合和补充医学(AMED)，以及教育资源信息中心(ERIC) 2006年1月至2017年1月(见)多媒体附件1详情)。在选定的数据库中使用三个概念(以及每个概念的适当同义词)进行搜索:技术增强学习、医疗保健和教育测量。在文献检索中共使用了13个同义词。这些短语包括技术增强学习、技术增强教育、电子学习、电子教育、混合学习、混合教育、数字学习、数字教育、评估研究、项目评估、有效性、验证研究和干预。手工检索相关研究的参考文献列表。的流程图图1说明了搜索策略。

‎ 查看此图

数据提取

基于纳入和排除标准，开发了特定的数据提取工具。对每篇文章进行了回顾，并提取了与参与者类型、研究设计、样本量、使用的TEL类型、使用的TEL评估工具和主要研究结果相关的信息。

质量评估

批判性评估是评估研究的一种标准化方式，以便根据现有的最佳证据做出决策。17］．开发Crowe关键评估工具(CCAT)是为了提供一种工具，可以可靠地评估一系列研究设计，提供全面的评估方法，并提供合适的评分方法[17］．对纳入研究的所有文章进行质量评估。CCAT用于评估八个类别报告项目的质量:序言、介绍、设计、抽样、数据收集、道德问题、结果和讨论。这些项目按照标称尺度进行评级(存在/不存在/不适用)。CCAT被选为本研究的适当关键评估工具，因为它可以可靠地应用于一系列研究设计，并已应用于一系列定量和定性研究[17］．CCAT强调衡量和记录每个类别分数的重要性，而不仅仅是每项研究的最终分数。这种方法可以防止总体得分高，但在一个或多个类别中得分低的论文比在所有类别中得分高的论文更不引人注目。研究的一个子集[14，18-20.)由其他评审员(SM和HVW)随机选择进行评分。

结果

搜索结果

通过在线数据库的初始标题检索和文献的手工检索，共确定了430篇文章。在将收录标准应用于标题和摘要之后，还剩下60篇文章。采用纳入标准对60篇文章全文进行评估，共21篇文章[14，18-37]，认为适合进行检讨。

多媒体附件2显示从研究中提取的信息摘要。其中10项研究使用学习者满意度调查来测量TEL, 8项研究将前测和后测知识得分测试与学习者满意度调查相结合(1项仅使用前测和后测知识得分测试)，2项研究使用定性框架。所选的研究描述了各种不同的TEL模式的使用或每种模式的组合，包括:12种使用基于网络的电子学习，4种使用学习管理系统，2种使用视频模拟，6种使用混合学习格式。

质量评估

质量评估的结果总结在表2。使用纳入标准选择的研究的CCAT评分表明，研究质量在所检查的研究参数范围内差异很大。在这21篇论文中，有19篇提供了足够的信息，可纳入CCAT评价。两篇论文[14，18]被认定为TEL文章，而不是研究论文，因为根据CCAT用户指南，早期部分的CCAT分数太低，无法继续评分。10项研究的总分高于68%的平均分，9项研究的总分低于平均分(其中有斜体部分)表2)．在19项研究中，平均得分最低的部分是伦理问题，得分为2/5。设计、数据收集和结果每一项的平均分都是3/5。初步，讨论，介绍和抽样部分每个产生较高的平均分数为4/5的研究。

这些要素为描述所有高质量研究中所包含的必要信息集提供了一个有用的起点。那些未能包含并补充这些基本要素的研究，其价值将大大降低，这些研究不能提供额外的标准或充分的研究信息数据。所调查的研究在道德部分总体上得分较低。本节查找与考虑标准研究伦理有关的信息，例如参与者伦理和研究员伦理，即使在不需要正式的伦理批准的情况下也是如此。传达伦理考虑的信息是所有研究的先决条件。

在设计、数据收集和结果类别中获得的相对较低的分数也令人担忧，因为这使得许多研究很难(如果不是不可能的话)复制。本节除了对研究设计和基本原理的充分描述外，还寻找了关于干预措施、结果或治疗措施的信息。有效的TEL评价研究的一个关键要求是确保对干预措施进行充分描述，以支持其他人进行比较，或自信地将研究应用于自己的实践或教育项目开发[11］．只有这样，我们才能开始围绕TEL评估建立可靠的证据基础。较高的平均质量评估分数与讨论部分以及初步和介绍元素有关，如标题、摘要、背景和目标信息。

研究的一个子集[14，18-20.]被随机选择进行PN附加评分。这些研究被提供给本文的两位合著者(SM和HVW)，让他们使用CCAT评分模板和指南提供额外的分数。其中4篇论文的原始分数和附加分数之间的平均差距为19%。

讨论

主要研究结果

尽管在过去的二十年中，TEL教育项目的受欢迎程度和类型都有所增长，但本综述只能确定一小部分研究符合医疗保健专业教育项目TEL评估的纳入标准。许多纳入的研究将TEL方法描述为虚拟学习环境、在线或电子学习模块、平台或混合格式。在选定的研究中，很少有关于双向TEL方法或新型TEL方法(如个人学习环境(PLEs))评估的证据。PLEs是学生们通过使用Web 2.0工具与其他学生以及专家进行交互和交流的活动空间。使用Web 2.0工具的最终结果是开发集体学习方法，例如“即时”和“触手可及”的学习机会，可以支持广泛的教学和学习活动[38］．本综述中确定的评价研究在很大程度上依赖于使用学习者满意度测量TEL。只有一项研究[37]引用了一种结构化方法来评估学习者和导师之间更具互动性的双向学习过程，这种方法是由模型(如Salmon-5阶段模型)提供的[39］．在教育评估中使用的最广泛引用的学习者结果测量类型是柯克帕特里克的[40)模型。虽然这些测量方法通常可以为有效评估TEL评估提供一个有用的起点，但模型本身可能并不理想地适合于评估TEL卫生保健教育。也就是说，柯克帕特里克模型强调对新获得的知识增强信心是重要的，有效的卫生保健教育需要证据，证明这种新知识是在实践中学习和实施的，而不仅仅是从业者自己对知识获得或信心的感知[13］．为了让医疗保健教育真正支持医疗保健实践，我们需要能够准确地衡量TEL项目可能提供或可能不提供的额外知识、技能或意识。

这篇关于TEL评价的文献综述强调了先前作者所注意到的一种模式，即在评价技术设备本身、学习者满意度的测量或知识前和知识后得分时采用狭隘的焦点[41，42］．一些研究在评估中包括了内部学习者活动的各个方面[18，22，27，28，30.，33，37］．然而，在评估研究的文献中，主要(或仅)测量个体测试前和测试后知识的主导地位，为卫生保健专业人员提出了一些关于TEL的担忧。也就是说，在依赖项目评估来确定附加价值、学习者收益或改进的情况下，有必要考虑它们与实际TEL目标或所寻求的改进相匹配的程度。

测试方法会严重影响学习者的注意力和学习方式。如果我们认为在学习中使用技术的关键功能之一是帮助人们更有效地连接彼此和学习材料，并根据社会建构主义学习方法激发学习者的互动，那么仅关注每个人的工作的评估(即认知主义风格，测试前和测试后评分)可能会对每个学习者的行为和整个项目的有效性产生相当大的影响[43］．目前还需要进行更多的TEL评估研究，以详细说明TEL干预措施的目的以及所采用的评估和总体方法，并证明该技术如何增强学习体验[2］．

有必要能够为卫生保健教育研究确定高质量的TEL，并能够比较来自这些来源的结果，以产生实用的TEL评估工具。在过去二十年中，在其他背景下的TEL文献中也强调了这一需求[44］．一个更具体和标准的方法来评估卫生保健教育中的TEL，使用通用的测量方法或工具，将使卫生保健专业人员、雇主和项目设计者能够测量并记录卫生保健教育的有效TEL。通过这种方式，一个可靠的TEL证据库可以增长，并逐步充分利用它来影响甚至改变现在和未来的卫生保健教育计划。

本研究中使用的CCAT工具使文献中提出的各种形式的证据能够在TEL评估和提出的证据质量方面进行探索。虽然有些研究确实提供了全面详细的研究信息，但其中一些研究缺乏高质量研究的基本要素的信息。Ellaway [11]强调了与在线学习发表的研究相关的类似问题，其中与TEL研究干预措施一样，它们经常被描述得不充分。在本研究中，可以使用CCAT工具对评估员之间的评分一致性进行更复杂的分析。然而，尽管在这种情况下，评估者之间的评分受到可用资源的限制，但它已经建立在Crowe等人概述的稳健方法的基础上[17］．

限制

这项审查没有衡量标准的教育质量参数，也没有着手确定一个强有力的TEL评估指南(或工具)的必要要素，用于卫生保健专业人员的教育。相反，它专注于确定文献中已经存在的医疗专业教育的TEL评估证据，并检查其是否有足够的数量和质量作为组织使用的证据基础，以开发越来越有效和变革性的TEL教育项目。尽管TEL的主题至少可以追溯到20世纪90年代，在继续教育和高等教育的背景下，它在卫生保健教育中的应用是最近的事情。在此基础上，决定将文献检索限制在2006-2017年。其他数据库(如Web of Science)也被检查，但几乎没有完全符合纳入标准的参考文献，因此这些数据库没有包括在本研究的文献综述方法中。

结论

本综述发现，在卫生保健教育项目中实施标准工具来测量TEL的已发表证据有限。发展和实施TEL卫生保健教育可能需要组织进行大量的财政、人力和基础设施投资。在卫生保健教育中采用TEL的规模与卫生保健教育中有意义的TEL评估的足够有力的证据基础之间存在不匹配。本研究的系统回顾和批判性评估结果支持Kirkwood和Price的观点[2他指出，很少有关于实际的TEL教育项目的已发表研究，这些研究产生的证据适合于所描述的干预措施，并且可以加以利用。

回顾TEL评估文献，以帮助确定一个基于证据的基本参数列表，包括在TEL卫生保健教育评估报告和研究中，这将是进一步研究的有用焦点。仍然需要开发有效和标准的TEL评估工具，并出版描述对卫生保健专业人员的TEL教育进行有效评估的高质量研究。研究往往未能提供足够的细节来支持可移植性或指导未来TEL卫生保健教育计划的设计和实施。在各种医疗保健教育项目中使用相同的工具(甚至参数)，使用标准、实用和高质量的方法对TEL进行评估、记录和报告，将随着时间的推移解决这一差距。这种类型的方法还将减少组织在创建或重新创建工具方面的重复工作，重要的是支持跨程序和跨组织的比较。

在文献和实践中出现了一系列指南、框架和标准，以指导医疗保健和高等教育机构、项目和资源中的TEL设计。已提出的模型需要广泛实施、严格的实践测试和有效的报告，以确保针对卫生保健专业人员的TEL教育计划以比目前文献中明显的更稳健的方式进行评估[13］．通过这种方式，这样的项目可以有效地塑造卫生保健教育的TEL评估的新兴领域。