研究生医学电子学习教学设计评价调查的发展:内容验证研究

简介

背景

电子学习和远程教育是研究生教育和继续医学教育日益增长的一部分。成本效益和物流效益已在以前得到证明[1]而且，尽管10年前电子学习很有前途，但现在它已成为主流医学教育的一部分[2］．然而，电子学习相对于传统教育(如面对面学习)的整体有效性和附加价值仍有争议，文献中的结果也各不相同[3.］．评估电子学习的一个问题是缺乏适当的评估工具[4］．

电子学习的效果可以分为学习目标的效果和电子学习模块的教学设计两部分。学习目标是指电子学习模块实现学习目标的能力，通常是新的知识、技能或态度/行为[5］．例如，学习目标可能是打一个腹腔镜结，这可以通过客观的技能评估工具进行评估。通过指导性设计，我们指的是功能(可见性)及其设计[6］．在电子学习的例子中，这些是用于实现学习目标的数字媒体和功能支持的设计——例如，具有交互性、反馈和游戏化的虚拟现实程序，用于练习打结。

尽管有方法上的限制，电子学习通常是通过比较使用前后的测试结果来评估的。通常，学习目标被用作主要结果，甚至当设计也被评估时，这通常是使用不针对研究生医学电子学习(PGMeL)的仪器完成的[7］．然而，当设计不包括在电子学习评估研究中，问题就出现了:如何确定电子学习方式是否适合学习目标(例如，虚拟现实不适合学习打结)，或者电子学习本身是否存在本质缺陷(例如，虚拟现实盒子设计得很糟糕)。我们认为，学习目标的评估应该与设计的评估一起进行，因为它们在最终的结果中是交织在一起的。为了正确地评估设计，我们需要一种具有适当内容验证并针对正确目标受众的工具——在我们的例子中，就是PGMeL。

医学教育调查的发展

评估工具的发展是复杂的，涉及许多步骤[8］．2014年，欧洲医学教育协会(AMEE)发布了医学教育调查的7步设计流程[9］．设计的第1步到第5步之前发表在两篇评论中[7,10]、焦点小组讨论[11]，以及一项国际德尔菲研究[4) (图1)．本研究的目的是继续进行第6步和第7步，并与PGMeL的创建者一起评估调查结果。我们想知道调查结果是否有助于提高电子学习(有用性)，他们是否能够理解教学设计环境中使用的指标(可理解性)，最后，调查是否为他们提供了比现有评估方法更多的信息(附加值)。这就引出了以下研究问题，本研究将试图回答:对PGMeL进行内容验证的评估调查是否有用，是否可以理解，是否对PGMeL的创造者具有附加价值?

‎ 查看此图

方法

研究设计

为了总结内容验证，本研究收集了响应过程有效性的证据，以评估参与者如何解释项目(AMEE步骤6)并进行试点测试(AMEE步骤7)。为了防止AMEE步骤与本研究方法之间的混淆，我们将本研究的步骤称为本研究阶段。为了回答研究问题，本研究分为五个阶段，从A到E (图2)．

• 根据先前德尔福研究的37个项目创建调查草案[4，并解决了专家在这项德尔菲研究中所关注的三个问题。首先，电子学习这个术语可能令人困惑;第二，另一项调查的附加值可能有限;第三，对于被评估的电子学习模块来说，这些指标可能过于笼统[4］．我们将该调查称为研究生医学电子学习评估调查(MEES)。
• 通过焦点小组讨论，确定与有经验的研究生的可读性和可理解性。
• 根据b阶段的反馈调整调查初稿，同时需要荷兰语调查(D阶段);因此，重写的英文调查被翻译，并再次试点测试的可读性。由于预期讨论较少，只有两名(本地荷兰人)居民(不是第一组居民的一部分)被要求阅读荷兰人的调查并提供反馈。
• 通过评估三个PGMeL模块来使用调查。我们通过电子邮件联系了几个欧洲PGMeL组织，邀请他们参加，前三个组织同意了。他们收到了参与者信息和mee。在同意使用调查后，他们被要求将其添加到他们可能已经拥有的标准评估调查中。用户自愿参与。匿名调查结果被发送给RDL。
• 与电子学习模块的创建者就调查结果进行焦点小组讨论。结果按域显示。对于每个领域，最小、最大和平均分数;所有项目;并讨论了自由文本评论(多媒体附件1)．最后，对每个领域进行得分优缺点分析、识别条目汇总和自由文本汇总。讨论指南和简短的人口统计问卷已经就位多媒体附件2．

我们选择焦点小组讨论作为主要方法，因为这是调查态度和信念并产生新想法的适当方法[12］．

‎ 查看此图

研究参与者

在这项研究中有三组参与者。A组成员是参与阶段1的有经验的PGMeL最终用户。这些都是在阿姆斯特丹大学医学中心度过第四年和第五年的妇产科住院医生。B组成员(也是有经验的居民)被要求参与从英语到荷兰语的翻译。RDL通过电子邮件邀请居民参与，他们可以拒绝，不承担任何后果或后果。

第二组(C组)由接受电子学习模块的用户组成，他们被要求在C阶段完成调查。该组被要求评估他们刚刚接受的电子学习模块，这是通常评估过程的一部分。电子模块必须是(1)一种旨在教授和学习采用代表全部或部分教育模式的新知识、技能或态度/行为的方法;(2)基于使用电子媒体和设备作为工具，以改善培训机会、交流和互动。使用者必须是医学专业的研究生，能够用英语或荷兰语读写。

第三组(D组)是上述电子学习模块的创建者或作者。对于阶段D，我们询问了负责每个评估模块的通常评估和改进职责的代表。荷兰医学教育研究协会给出了伦理同意(ID 2018.5.1)。

电子学习团体

本研究评估了三个PGMeL模块。目的是收集调查结果，以确定创建者模块的有用性、可理解性和附加价值。目的不是评估模块本身。

模块1针对的是荷兰阿姆斯特丹一家大型教学医院的新医生。电子学习的目的是训练他们使用当地的电子病人记录。所有新医生都必须完成这个模块，之后他们被要求完成评估。作者组没有向调查中添加额外的项目。共有160名参与者在2018年6月至10月期间填写了这项调查。

模块2的目标是外科住院医生，并在全球范围内提供。该平台为各种专业提供了不同的手术模块，重点是解剖、手术步骤和手术中的陷阱。作者组增加了19个额外的项目。在完成至少三个模块后，用户被要求自愿完成调查。2018年8月至11月，395名参与者被要求评估电子学习模块。

模块3针对的是主要在欧洲从事微创手术的妇产科医生。电子学习模块是认证的一部分，包括面对面和实际操作培训。作者组增加了8个额外的项目。从2018年8月到10月底，约2400名参与者被要求完成调查。其中大多数是老年用户，一些人的电子邮件地址已经不再有效。估计有1600名参与者最近使用了电子学习模块，并通过电子邮件与他们取得了联系。

数据收集与步骤

在B和C阶段，通过与有经验的用户在舒适的大学环境中进行焦点小组讨论收集数据。阶段D的数据是通过提供MEES作为在线调查和简短的介绍性文本(多媒体)．在获得书面同意后，通过录音收集E阶段的数据。这些焦点小组讨论由RDL在电子学习小组的主要办公室进行。

数据分析

前四个阶段没有进行分析，因为数据是在各个阶段本身使用的。分析E期的焦点小组评价。所有访谈均逐字记录，并按照Braun等人的方法进行专题分析[13］．访谈的抄录由RDL完成，以使作者熟悉数据。我们使用ATLAS。ti 8.0版本(ATLAS。ti Scientific Software Development GmbH)进行初始编码。专题分析已被证明可以有效地总结关键特征，并产生意想不到的见解[12,13］．为了进行分析，我们根据我们研究问题的预定义主题对代码进行排序:有用性、可理解性和附加价值。然后，我们审查了主题的内容，如果需要，根据Braun等人的意见重新定义了主题[13］．

结果

中对每个阶段的结果进行了描述图2．MEES的初稿和变更日志可以在www.MotivateLearnApply.com上找到。MEES的最终版本附于多媒体并附有创作者手册多媒体附件4．

第一阶段:研究生医学电子学习评估调查

为了处理专家的反馈，我们在调查中添加了一个解释，并为电子学习创建者添加了额外的项目。“电子学习”一词在之前的德尔菲研究中定义，并在迄今为止的所有研究中都被使用:“一种教学方法，代表所应用的全部或部分教育模式，它基于使用电子媒体和设备作为工具，以改善培训、交流和互动的机会，并促进采用新的知识、技能和/或行为/态度”[14］．这意味着基于教育模式的所有形式的电子学习都是电子学习。

为了说明这些指标的普遍性，本文将它们作为例子。例如，有很多方法可以激励你。前面的阶段提供了9种实现这一目标的方法，但是电子学习模块的创建者可能还使用了其他策略。在调查开始之前，这些模块的创建者被要求将这些指标作为示例添加到每个领域。因此，使用文献中的一般指标以及某个模块可能特有的项目对域进行了质疑。

MEES包含五个领域的问题，每个领域都以1到10的李克特量表开始。接下来是前几个阶段的指标，以及电子学习创建者根据特定模块的目标添加的指标。最后，还有一个关于域的悬而未决的问题。这些领域包括激励因素、障碍因素、学习促进因素、学习阻碍因素和现实世界的翻译人员。MEES包含10个问题、36个例子和5个开放式问题。图3显示域和之间的关系表1列出所有36个例子，并简要说明目的。

‎ 查看此图

阶段B:可读性和项目解释

八名居民被邀请参加讨论，所有人都同意，但有一人未能按时参加讨论。讨论持续了65分钟，于2017年5月在荷兰阿姆斯特丹大学医学中心举行。有四个项目的解释与预期的不同，三个项目不可读，两个项目在两个领域。详细信息可以在在线更改日志中找到。总的来说，领域和问题都很好理解。

阶段C:调整、重写和翻译

阶段A的项目被重写了。经过调整后，人们正确地理解了它们。完成英文MEES后，RDL将调查翻译成荷兰语。2017年5月，阿姆斯特丹大学医学中心的两名荷兰当地居民阅读了这项调查。所有项目都清晰明了，理解正确。没有其他变化。用于评估的MEES版本包含三个积极领域(动机、学习促进因素和现实世界的翻译)和两个消极领域(障碍和学习阻碍因素)，在这些领域中有36个项目，5个李克特量表问题(1到10)，5个开放性问题，要求参与者对每个领域进行自己的评论。图3提供MEES调查中各个领域的概述和每个领域的问题数量。

阶段D:收集完成的调查

三个评估模块的详细信息总结在表2，每个域的分数都在表3．所有评估都在2018年7月至11月底期间进行，之后我们结束了评估。

在积极方面(激励因素、学习促进因素和现实世界的翻译者)得分越高越好。在消极障碍和学习障碍方面，得分越低越好。注意正域和负域之间的区别。

总共有77个免费文本注释(见多媒体附件1所有评论)。积极的评论主要涉及该模块对当地教育的可用性和附加价值。

不幸的是，在我的大学里，由于住院医生人数众多，外科技能并没有得到很好的教授。教学也缺乏标准化。我很高兴能找到一种有趣的方式来学习最好的、标准的方法来执行常见的妇科手术，而不再依赖于粗略的YouTube视频。

消极方面，用户抱怨的主要是技术障碍，如加载时间长、登录问题、软件崩溃和搜索功能等功能不全。

尽管网络连接良好，但有时加载时间太长，我经常因此而被迫放弃一个程序。

视频流是一个严重的限制。有下载视频的需求。

另一个常见的抱怨是语言障碍，如英语很差或视频中说话人难以理解。

语言困难。Je ferais effort d 'aprendre。

E阶段:与E- learning创建者进行焦点小组讨论

2018年11月和12月举行了三次焦点小组讨论，分别由每个电子学习创建者小组在其总部办公室举行。10名参与者的平均年龄为51岁，参与者在创建电子学习方面有0到5年的经验，采访中有内容、教学和技术专家。80%(8/10)的学生有以前的评估经验，只有10%(1/10)的学生使用过任何正式的评估方法。现在对讨论的三个主题作了描述。

有用性:所有参与者都认为结果非常有用。

将结果分组为积极(领域)和消极(领域)，可以清楚地了解我们需要保持什么和改进什么。
(1 b)

所有小组都表示，为某个模块添加特定项目的选项增加了实用性。它提供关于被认为对创建者组重要的附加项的反馈。第一组人后悔自己没有添加任何项目，看到现在的结果，他们说他们会添加这些项目。

可理解性:一项一项地看，有些项目创作者看不清楚。即使他们理解了这个问题，他们也不知道如何从造物主的角度来解释它。10、12、36项符合多媒体附件4．一般的建议是为每个项目的创建者准备一份解释手册，以便在发生误解时可以查阅。

如果每一项都能有简短的解释就好了。
(2 c)

还有人担心结果的呈现形式。所有完成的调查都由RDL提供，并由他进行总结。

你花了多少时间得出这样的结果，我们也能做到吗?
[3]

附加价值:虽然参与者有评估电子学习模块的经验，但只有一人使用了正式的评估方法(尽管不知道是哪一种)。有三个主题为mee增加了价值，第一个是领域。使用域为创建者提供了一种结构，这是他们使用其他非正式的评估方法所没有的。其次，这些项目提供了具体的做和不做的例子，这激发了更新所需的更改。第三，使用形式化的方法给创造者一种重要的感觉，并允许他们将改进的需求形式化。创建者认为，使用正式的方法将使他们更容易说服管理层，并增加模块的商业利益。

这确实有助于提高我们电子学习的商业价值。
[2]

这项研究的五个阶段提供了环境评价的初稿，一个调整后的版本(多媒体)，三个PGMeL模块的评价数据(多媒体附件1)，以及与这些模块的创建者进行的三个焦点小组讨论的专题分析。

讨论

主要研究结果

据我们所知，MEES是第一个旨在评估PGMeL的调查。内容验证已经完成，本研究完成了AMEE描述的所有七个步骤。我们开始与三个PGMeL模块的创建者一起调查该调查的有用性、可理解性和附加价值。这项研究表明，MEES是非常有用的，在创作者手册的帮助下，理解能力是清晰的(多媒体附件4)，并说明“环境评价系统”对该项调查的结构化领域和验证性质有附加价值。尽管多边环境谈判已进入第二阶段，但仍存在两个问题。

首先，我们如何知道所有参与者都正确理解了这些项目?试点评估是由荷兰参与者进行的，他们似乎在小组会议上理解了问题。这可能适用于荷兰居民。然而，第二个和第三个评估的电子学习模块涉及欧洲和世界各地的用户，他们可能没有正确地解释问题。然后解释评估，重要的是至少要考虑内容整合和评估公平教学法[15］．内容集成意味着使用在不同文化中演示相同示例的内容。公平教学法是指修改课程以适应和促进不同群体的学术成就。尽管有争议，但利用Hofstede的文化维度[16也有助于从文化的角度来看待极高或极低的分数。例如，在一个高权力距离的文化中(换句话说，权力和不平等是社会的基本方面)，用户可能会通过提供极其积极的反馈来表达感激之情。

第二，一个正确的评估需要完成多少次调查?理想情况下，你会要求参与者继续完成调查，直到满足理论数据饱和。这将需要数据分析，例如，每10次调查之后。但如上所述，平均回答在8%左右;因此，当自愿回复时，92%的用户会被错过。除了确定数据饱和的实际问题之外，无论您是否需要更多，回复都会停止。例如，可以通过要求受访者在提供所需的证书之前填写一份调查来增加这一点。在这样的研究环境中，这可能会引发伦理困境。在本研究中，反应率相关性较低。我们的目标不是评估电子学习模块，我们的目标是评估模块创建者的结果。 When using this survey in practice, the authors should consider making it mandatory to get a higher response rate. Other ways to assemble a representative group include purposive sampling [17，但问题是多少才够。结论是，受访者越多，数据越好，但现实是，研究人员只能使用他们获得的数据。

另一方面，尽管缺少92%的用户似乎表明评估失败，但谁最有可能完成调查的问题是有效的。胡等[18]显示，提供反馈的用户最有可能非常满意或非常失望，因此可能正是需要的受访者;也就是说，中间组可能产生较少的信息用于评估。

优势与局限

遵循AMEE指南的所有步骤并在同行中发布它们可能是mee的最大优势。问卷验证是一个复杂而多样的专业领域，这项研究采取了重要的下一步。2010年的一项国际德尔菲研究(基于共识的健康状况测量工具选择标准)通过提供以下定义，帮助构建了这一领域内的各种术语:“有效性是一种工具真正测量其提议测量的结构的程度”[8］．可以评估许多类型的有效性，并且验证是一个连续的过程。一个简短的名单，部分基于Tsang等人[19]中所给出的验证形式表4并解释其对机电设备的适用性。可见，面孔效度和内容效度均已完成，结构效度、标准效度和预测效度均为未来研究留有空间。由于结构效度和并发效度不适用，故有意不进行因子分析。

另一个优势在于终端用户的参与。通过将有经验的居民纳入焦点小组讨论、德尔菲调查和试点评估，我们相信MEES是一种真正以用户为中心的评估方法，因为它不仅评估理论项目，而且还评估对用户重要的主题。来自李克特量表问题的数字并不能提供足够的洞察力，但自由文本字段确实增加了关于用户需求和愿望的知识。大多数评论都是关于电子学习的可见性和技术执行(例如，交互式视频加载太慢)。这种强调不仅表明了评估模块内容的重要性，而且表明了评估整个教学设计的重要性。

MEES的最大限制也在上面提到了。不可能知道那些没有填写表单的用户漏掉了什么反馈。这可能会通过强制评估来减少，但不可能预测用户会有多大的积极性来提供有用的反馈。因此，我们认为，在进行环境评价的同时，应始终与用户进行深入的焦点小组评价。这不仅能提供被遗漏的反馈，还能让研究人员找出某些项目被识别或遗漏的原因。正确的评估绝不应该只包含在线调查。

未来的研究

验证是一个永无止境的故事，有必要继续收集有效性证据[9］．我们认为应该采取三个步骤。首先，作为结构和标准验证的一部分，通过进行PGMeL、使用MEES和焦点小组讨论进行评估、相应地调整并重新评估以查看第二次评估是否更好，看看MEES是否可以用于衡量改进，这将是很有趣的。这将为未来的学习提供实际的好处。第二步是评估不同语言的可读性和可理解性。为此目的，调查应翻译成其他语言，并对这些新翻译的可读性和可理解性进行试点测试。

第三步是评估调查在不同亚文化中的可理解性和可靠性。评估不同文化群体如何理解数字评估和问题，可以深入了解创作者应该如何使用调查结果。

结论

本研究为医学研究生电子学习提供了第一个教学设计评价调查。内容验证已经完成，本研究完成了AMEE为医学教育评价仪器的开发所描述的所有七个步骤。调查被认为是有用的、可以理解的、有附加值的。未来的研究可以继续验证过程，并在评估电子学习的日常实践中进行跟踪。