发表在8卷,3号(2022): Jul-Sep

本文的预印本(早期版本)可在https://preprints.www.mybigtv.com/preprint/35820,首次出版
医学教育中作为学习的评估:学生产生的形成性评估的可行性和感知影响

医学教育中作为学习的评估:学生产生的形成性评估的可行性和感知影响

医学教育中作为学习的评估:学生产生的形成性评估的可行性和感知影响

原始论文

1穆罕默德·本·拉希德医学和健康科学大学医学院,阿拉伯联合酋长国迪拜

2战略与机构卓越,穆罕默德·本·拉希德医学与健康科学大学,阿拉伯联合酋长国迪拜

3.穆罕默德·本·拉希德医学和健康科学大学卫生专业教育卓越研究所,阿拉伯联合酋长国迪拜

通讯作者:

Ritu Lakhtakia, MBBS,医学博士

医学院

穆罕默德·本·拉希德医学和健康科学大学

穆罕默德·本·拉希德大学医学院14号楼

迪拜医疗城

迪拜,505055

阿拉伯联合酋长国

电话:971 521401101

电子邮件:ritu.lakhtakia@mbru.ac.ae


背景:自我调节学习(SRL)正被广泛认为是维持终身学习的重要能力,特别是与卫生专业教育相关的能力。当代教育实践通过创新的教学设计,如翻转课堂和基于团队的学习,强调本科医学教育的这一方面。评估实践很少用于建立SRL的能力。评估作为学习(AaL)可以是一种独特的方式,通过培养积极的学习习惯来灌输SRL。它要求学生进行形成性评估,加强以学生为中心的深入学习和批判性思维。

摘要目的:本研究旨在从学习者的角度探讨学生生成的形成性评价的可行性和感知的学习影响。

方法:本研究依赖于一种收敛的混合方法。在一个6年本科医学项目的第二年,54名学生被部署了教育干预,作为单课程课程的一部分。AaL干预使学生通过同伴合作、导师指导和反馈来进行评估。干预的结果是通过学生认知的定量和定性数据来衡量的,这些数据分别通过匿名的网络调查和面对面的焦点小组收集。定量调查数据采用SPSS (IBM)进行分析,定性输入进行专题分析。

结果:学生对AaL教育干预的总成绩为84%,这与5点李克特式量表上的轻松程度和影响程度的分数密切相关。从定性分析中得出的主题包括参与的突出特征、即时收益和预期的长期收益。突出的特征包括个人的参与度、有效的相互依赖性、新颖性和时间要求。所确定的直接收益突出表明增加了积极性和获得知识和技能。预期的长期好处包括批判性思维、解决问题和临床推理。

结论:作为AaL的一种形式,学生生成的评估被学生作者认为是可行的、建设性的和具有启发性的教育练习。从短期来看,该活动为学生提供了一个有趣和具有挑战性的机会,可以深入研究内容,创造性地设计问题,并提高应试技能。从长远来看,学生们希望增强批判性思维,并灌输以学生为中心的自我调节终身学习和同伴合作的属性,这对医学实践至关重要。

JMIR Med Educ 2022;8(3):e35820

doi: 10.2196/35820

关键字



背景

自我调节学习(SRL)是一种理想的学生属性,可以灌输终身学习的习惯,对初入职场的健康专业人士来说是无价的[1].SRL鼓励成人学习者计划、实施和评估他们的学习需求和结果。它作为传统学习的补充效果最好,成年学习者逐渐掌握自己的学习,而不是被动地接受学习。SRL包括认知、元认知、行为、动机、情感或情感方面,这些方面相互关联,决定最终结果是否有效[2].大多数SRL模型强调成人学习者通过准备、表现和评估阶段对这一属性的发展。在实践中,SRL模型可以分层,成为适合目标学生群体的阶段,这反过来又决定了学习策略和成功[2].

传统的成人学习理论和模型包括工具学习理论、人本主义理论、变革学习理论、学习的社会理论以及动机和反思模型[3.].在对其在医学教育中的应用进行回顾时,欧洲医学教育协会的一份指南提出,学生学习者通过连续的不协调、细化、组织和反馈阶段来负责他们的学习,以学习者-导师关系为基础,其中每个阶段都明确定义了这两个角色[3.].一些教学活动可以促进这种素质的发展。翻转学习课堂,以学生为中心的模拟课程,以及基于团队的学习是临床前医学教育中使用的一些教学形式。在实习期间,学习环境(如急诊室、住院病人床边或社区实践)决定了成人学习者对SRL的依赖程度。这些适应的格式促进了更高层次的认知,正如Bloom分类法(即应用、分析、评估和知识的综合)所确定的,医学毕业生的期望,并且被学生认为有利于学习[4].

在本科医学教育中,通过采用以评估为中心的学习技术来发展主动学习的关注相对较少[5].对形成性和总结性评估的反馈旨在弥合已确定的学习差距,但这仍然是一个被动的过程,其成功与否取决于学生的跟进。评估的最佳实践建议超越评估学习(AoL),它是总结性的,决定成果的成就,评估通过形成性反馈和评估来学习(AfL)作为以学习者为中心的学习(AaL)对于增强认知和技能至关重要[6].在对学习者导向评估(LOA)文献的批判性回顾中,Zeng等[7]讨论了Terrace-Kink传统评估金字塔的演变过程,从传统的底层人工智能(AoL)到金字塔顶端的AfL和AaL。在这个原始版本中,AaL的成就水平较高,但扮演的角色很小。原始模型的重新平衡将AaL转移到金字塔的底部,从而使其成为学习的基础和推动者,将AoL转移到顶峰,作为实现学习成果的确定指标[7].作者提出了一个适合LOA的整体框架,将AaL、AfL和AoL并排放置,教师和学生合作,通过创新的评估实践实现学习成果。这个复合框架可以满足学习、开发和认证的重叠目的。

AaL框架将上下文领域置于AaL教学轮的中心,并得到社会、沟通和行动领域的支持[8].它提倡通过促进认知(即学习)和元认知(即学会学习)来发展自我调节策略。评核机制透过学生参与评核、评核结果的前馈,以及制作高质素的评核任务[9].学生自创的评估旨在通过创建测试高阶思维的问题来鼓励深度阅读和展示改进的学习,从而挑战学生对学科知识的整合。学生可透过增加形成性问题的种类,提高考试的准备和成绩。[10].建设性的课程调整,包括使用教学设计,向教师和学生透明地展示学习成果,并与适当的评估方法相一致,可以通过学生生成的评估来加强[11].这种练习还有其他好处,包括通过同伴参与进行协作,并接受建设性的批评[12].虽然通过评估来提高学生的参与度和加强学习能力和风格的意图是可取的,但通过探索学生对这种教育干预的看法来倾听学生的声音也是必不可少的。只有当学生意识到教育干预在即时学习和提高学习学习能力方面的好处时,才能确保学生的积极参与和学习者的能动性[13].

目标

因此,本研究旨在从学习者的角度探讨学生生成的形成性评估的可行性和感知的学习影响。因此,本研究的研究问题如下:

  1. 学生们在多大程度上同意对形成性评估做出贡献的经历是可管理的(就难度水平而言)和有影响的,以及感知到的轻松和影响在哪些方面相关?
  2. 学生如何描述参与形成性评估的经历?
  3. 从学生参与形成性评估的第一手经验中学到了什么?

伦理批准

这项研究的伦理批准由穆罕默德·本·拉希德大学机构审查委员会批准(MBRU-IRB-2019-026)。获得所有参与者的知情同意。所有的方法都是按照相关的指南和规定进行的。由于没有个人细节、图像或视频,因此不适用发表同意。

研究设计

本研究依赖于一种收敛的混合方法研究设计[14],常用于卫生专业教育研究[15-17].这种多阶段研究设计的优势在于它有可能捕捉到主题的整体视角。其重点不是所生成结果的可泛化性,而是它们在其他类似情况下的可转移性。本研究设计有望产生足够深入的见解[1819].为此目的,研究团队在共识下设计了一项调查(本研究),以收集本科生医学生对他们参与发展形成性评估的看法的定量和定性数据。这种以学生为中心的评估(即AaL)的独特教育干预在一门名为“疾病病理基础”的必修3学分课程中实施。定量和定性数据独立分析,然后使用联合显示分析合并。因此,数据的整合旨在提高研究结果的稳健性和有效性[20.].

研究的教育背景和参与者

这项研究是在阿拉伯联合酋长国迪拜的穆罕默德·本·拉希德医学与健康科学大学进行的,对一组6年医学本科项目(MBBS)的学生进行了螺旋式课程,并分为3个连续阶段:基础基础科学、临床前科学和实习。第一阶段在第一学年进行,向学生介绍医学的基本概念,而第二阶段涵盖第二和第三学年,教学围绕身体器官系统进行,并与临床医学相结合。第4至6年为第3阶段。在这一阶段的前两年,学生进行临床实习或轮岗,最后一学年采取实习的形式。研究队列包括54名开始本科医学课程第二阶段的二年级学生(2019-2020学年)。

干预措施描述

被调查的课程是医学生病理学入门。在本学期的前6周,学生们每周都要接受由教授该课程的病理学教师进行的形成性评估,随后是反馈会议,以反映已确定的优点和缺点。在第8周期中进行课程总结性评估(占40%)。在第9周到第14周期间,学生们通过多项选择题(MCQ)的形式进行了形成性评估。期末总结性评估(权重60%)于第16周进行(图1).

图1。研究概述。前半学期由导师主导的形成性评估,之后是学期中期的课程总结性评估。在下半学期的学生形成性评估之后,是课程的最终总结性评估。W:一周。
查看此图

第一次指导学生MCQ构建原则的是一位病理学教授,他协调并教授了这门课程,同时也是学院的评估主席。一共有9组,每组6名学生,每周就当周的学习成果和课程目标创建一个MCQ。由此产生的9个mcq将在下周的指定时间进行讨论,并辅以导师提出的问题。每组一名代表介绍了他们的MCQ,并邀请同行提出批评性和建设性的意见。教授导师主持讨论,并就结构和内容提供反馈(图2).

图2。教育干预:评估即学习。教育干预包括每周由学生提出的多项选择题(MCQs),通过同行合作产生,并辅以同行批评和审查、导师审核和反馈。
查看此图

数据收集

数据收集使用专门为本研究设计的调查(文本框1).调查分为两个部分。第一部分是李克特式5分制量表(1=非常不同意,2=不同意,3=中立,4=同意,5=非常同意),共有10个组成部分,所有组成部分都是强制性的。第1至5部分旨在评估促进形成性评估发展的难易程度。第6至10部分旨在捕捉学生对促进形成性评估发展的影响的感知。必须对所有10个组成部分作出响应。这两个变量(即,缓解而且影响(与行为改变理论一致),学生对这种教育干预实施的障碍(即容易程度)和好处(即影响)的感知显著影响其有效性(就最大限度地学习而言)[2122].这种联系在SRL的研究中得到了进一步的加强[13].

该工具的定量部分的组成部分适用于本研究。

易于促进形成性评估的发展

  1. 这个练习相当简单。
  2. 这个练习使我更能胜任提出问题的能力。
  3. 有效地进行锻炼需要我走出我的舒适区。
  4. 我愿意在其他课程中重复此练习(愿意在其他课程中重复此练习)。
  5. 对形成性评估的创建做出贡献会增加学习经验的价值(增加学习的价值)。

促进形成性评估发展的影响

  1. 这个练习提高了我理解相关课程材料的能力(理解课程材料的能力)。
  2. 提出问题提高了我对这一主题的知识。
  3. 这个练习培养了我的批判性思维。
  4. 这次练习提高了我有效回答相关问题的能力。
  5. 就其本身而言,练习和课堂上对问题的反馈和思考提高了我将各自的基本科学概念与其医学应用联系起来的能力(即临床相关技能)。
文本框1。该工具的定量部分的组成部分适用于本研究。

参与者可以选择定性地阐述他们对10个组成部分中的每一个的反应。调查的第二部分是一个开放式问题,旨在通过以下开放式问题征求任何额外的反思性定性数据:“您对开发形成性评估有任何进一步的评论吗?”如有,请在下面注明:

这项调查最初是由教授该课程的病理学教师开发的,并进行了外观和内容有效性检查。面部效度测试由一个专业团队进行,包括相关课程的协调员、医学院学生评估和进步委员会主席、医学教育专家以及处理各大学质量保证和制度有效性组合的单位的工作人员。他们审查了该工具,以评估问题的清晰度、可理解性和可读性,以及它们所呈现的流程。随后,通过从同一项目的前一个队列中随机选择5名学生来评估内容效度。他们被邀请到一个教室,在那里他们被要求写下他们对第一部分中每个组成部分的解释,以及调查的第二部分中的问题。上述小组审查了这些答复。达成的共识是,除了轻微的语言更改外,调查已准备好进行管理。

参与这项数据收集行动是自愿的。学生的隐私和数据保密受到保护,没有记录个人身份。这项调查是在2020年5月使用微软表单在网上进行的。每个研究参与者被连续分配一个唯一的识别号码(1-27)。

数据分析

定量分析

采用SPSS (version 25.0;IBM (IBM . o:行情)推出Windows操作系统。对于10个定量成分中的每一个(用5点李克特式量表测量),计算平均值和标准差。随后,通过将各自的平均值除以5(因为这是可能的最大值)再乘以100来计算每个组成部分的平均值的百分比,这决定了10个相应的值在预定义的比额表上的位置。计算了所有组成部分的一致性的总分(即所有10个组成部分的平均值的总和),以及该工具的2个部分的每一个独立得分:易用性和影响力(即,5个组成部分的2组每一组的平均值的总和)。计算所有3个分数的平均值和标准差。

由于用于获取参与者感知的量表是为本研究量身定制的,因此分别进行Cronbach α效度检验和Kaiser-Meyer-Olkin和Bartlett检验的主成分分析,以检查所设计工具的内部一致性和外部方差。

为了选择合适的相关变量的方法,对10个组成部分中的每一个进行了正态性测试,并对以下3个分数进行了测试:总体、轻松程度和影响。10个组成部分的数据以及易用性和影响分数都不是正态分布。总体一致度评分呈正态分布(P= 38)。因此,使用斯皮尔曼检验开发了一个双变量相关性矩阵,以评估3个分数彼此及其组成部分的相关性程度。

定性分析

定性数据分析在数据收集阶段结束后开始。数据由2位研究人员(RL和FO)按照6步框架使用专题分析(基于建构主义认识论)分析[2324].因此,研究人员开始熟悉数据。他们每个人都独立地回顾了数据集,同时写下了对主要观察结果的笔记。然后他们聚在一起讨论他们的笔记。下一步是为在检查数据集的初始步骤之后确定的突出模式生成初始代码。第三步是最广泛的,涉及到寻找主题。这需要开发几次思维导图的迭代,其中生成的代码相互关联的方式是可视化的。第四步包括审查主题,以确保放在同一组中的所有文本片段之间有足够的相似性,同时确保组之间有足够的差异来区分它们。第五步是定义和命名生成的主题。最后一步涉及到定性分析结果的报告,该报告是基于最近发布的混合方法研究设计的定性分析报告标准[25].

联合显示分析

通过联合显示分析的迭代过程,定量数据和定性数据相互映射[18].整合的目的是揭示这些发现在哪些方面得到了证实或建立在彼此的基础上。也能解释这些发现相互矛盾的地方。因此,产生元推论[14].


定量分析

在54名学生中,有27人做出了回应(即回复率为50%)。定制评估工具的Cronbach α的信度得分捕捉学生的看法(即,10个成分)是0.84。同意总分的总平均分数的百分比为84%,介于两者之间同意而且强烈同意,按表1

凯撒-迈耶-奥尔金值接近1,样品被认为是足够的。此外,根据Bartlett球度检验,用对角元素均为1,非对角元素均为0的单位矩阵拒绝原假设。因此,主成分分析(以及相应的特征值)表明,10个成分之间的75.2%的方差可以用整个工具来解释。这意味着该仪器对于测量它打算测量的东西是可靠和有效的。

表1。描述性定量分析的输出。
组件 值,平均值(SD) 均值百分比(%) 类别
1 4.19 (0.736) 83.8 同意,非常同意
2 4.22 (0.641) 84.4 同意,非常同意
3. 3.41 (1.083) 68.2 中立表示同意
4 4.04 (1.055) 80.8 同意
5 4.52 (0.643) 90.4 同意,非常同意
6 4.56 (0.577) 91.2 同意,非常同意
7 4.33 (0.679) 86.6 同意,非常同意
8 4.19 (0.736) 83.8 同意,非常同意
9 4.30 (0.724) 86 同意,非常同意
10 4.26 (0.813) 85.2 同意,非常同意
轻松得分 15.85 (2.231) 79.3 同意
冲击评分 26.15 (3.45) 87.2 同意,非常同意
协议总分 42 (4.907) 84 同意,非常同意

相关的或推论的

表2,除了第三部分“有效地进行练习需要我走出我的舒适区”外,学生对所有部分的看法显著影响了总体的一致性得分(P<措施)。此外,所有3个分数:总体、轻松程度和影响,彼此相关(P<措施为overall and ease, and overall and impact &P=。01轻松和影响)。

表2。二元相关矩阵。
组件 P价值 相关

1 2 3. 4 5 6 7 8 9 10 分数
1

获得 无误一个 −23) .62一个 13。 一个 38一个 无误一个 .59一个 系数

- - - - - -b 02一个 措施一个 53 03一个 .049一个 02一个 。08 <措施一个 重要的
2

- - - - - - 获得 03 .33 29 . 21 的相关性一个 的相关性一个 53一个 一个 一个 系数

- - - - - - - - - - - - .87点 .09点 .14点 .30 . 01一个 . 01一个 04一个 .046一个 <措施一个 重要的
3.

- - - - - - - - - - - - 获得 −13。 0。 −。08 .007 02 口径。 系数

- - - - - - - - - - - - - - - - - - .60 结果 i = 56 .97点 公布 陈霞 重要的
4

- - - - - - - - - - - - - - - - - - 获得 低位 的相关性一个 .40一个 .30 36一个 一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - .18 54 . 01一个 .04点一个 13。 06一个 <措施一个 重要的
5

- - - - - - - - - - - - - - - - - - - - - - - - 获得 .57一个 算下来一个 主板市场一个 .41点一个 一个 .64点一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - .002一个 .002一个 <措施一个 03一个 <措施一个 <措施一个 重要的
6

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 获得 一个 一个 一个 .60一个 .60一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - <措施一个 <措施一个 . 01一个 措施一个 <措施一个 重要的
7

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 获得 .74点一个 .60一个 一个 结果一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - <措施一个 措施一个 <措施一个 <措施一个 重要的
8

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 获得 一个 .76一个 .85一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - <措施一个 <措施一个 <措施一个 重要的
9

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 获得 一个 综合成绩一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - <措施一个 <措施一个 重要的
10

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - 获得 尾数就一个 系数

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - <措施一个 重要的

一个显示显著性的相关性,定义为P价值。

b不适用。

定性分析

对定性数据的分析捕捉了学生的看法,得出了3个相互关联的主题:他们参与准备形成性评估的突出特征、即时收益和预期的长期收益(图3).

图3。本研究的概念框架。学生对自我生成的形成性评估的感知中出现了突出的特征,显示出即时的收益和预期的长期收益,并验证了教育干预对评估作为学习的效用。
查看此图
主题一:突出特色

这个主题包括一些文本片段,这些文本片段涉及学生如何描述这个项目,以及活动成功所依赖的变量对学生来说是什么。这包括沉浸在体验中的变量:

...这不是很容易,因为一个人需要集中精力和注意力来发展mcq……
(参与者23)

很明显,参与者需要与同事形成有效的相互依赖:

...我们需要提出与自己学习相关的问题……这是团队的努力……相互讨论这些问题,使我们能够更好地了解什么是好的干扰因素……当然,视角的多样性是有用的……
(参与者11)

一些学生强调,练习中固有的团队合作,并确保所有团队成员都平等参与,这很有挑战性:

...在我们的团队中,同样的人不断地提出问题。并不是所有的团队成员都做出了同样的贡献;一些成员没有提供任何意见。我们最终能够解决这个挑战……我需要和我的一些同事多交谈,我通常没有机会和他们交谈……
(参与者14)
...一些小组成员懒得做他们的工作,提出问题,这在团队中引起了一些挫折……
(参与者22)

学生们认为,参与经验使他们能够发展必要的洞察力和掌握或熟练地准备形成性评估。这种信念,再加上专注于手头的锻炼,帮助他们培养了自我效能:

...在我们学习一个新概念后,我们被期望很快生成mcq。这要求我们查找与各自概念相关的关键术语和附加信息。作为mcq准备工作的一部分,我们需要想出一些干扰物。我们需要真正理解内容才能完成任务……
[参与者3]
...培养自己创建mcq并与其他学生分享的能力……
(参与者11)

这个主题还包括文本片段,表明学生们意识到这种体验是新奇的,他们必须经历一个学习曲线:

...这对我来说无疑是一次新的经历;我们有机会从主考官的角度,从mcq提出者的角度来看待考试。感觉真的很好……
[参与者3]
...这相当简单,但提出更复杂的问题更具挑战性……
(参与者4)
...重要的是细节,一开始这有点困难。试图辨别两个相似的主题,同时思考顺序和相关元素,并制定可能的选择,其中“最佳”答案是需要额外努力的步骤……
参与者[8]
...为mative assessments allow us to test our understanding of concepts without the burden of having to perform well in terms of a test or a grade which gives us more opportunities to make mistakes and to learn from them...
(参与者11)
...我不熟悉这样的锻炼,所以我正在走出我的舒适区,但我想说,以一种积极的方式……
(参与者19)

学生们还强调了练习需要投入的时间:

...然而,因为我们有足够的时间来做这件事,这是很好的……
(参与者23)
主题2:即时收益

这个主题包含了所有的文本片段,涉及到学生在完成体验后所获得的东西。总的来说,大多数学生都表达了兴奋和高兴的经历:

...在形成mcq时,寻找合理、可靠的干扰物成为了一种“爱好”……这是一次宝贵的经验,也是一次很好的锻炼。另外,这很有趣……
[参与者3]
...这是一次有趣而有益的练习。
(参与者15)

很明显,学生们从他们的经历中获得了丰富的知识和技能:

...这对我们的学习是有益的,对我们来说也很有趣,因为我们看到了制定适当的问题实际上需要多少工作……这是一个非常有用和有趣的任务……
(参与者27)

学生们提到了与核心学科(即病理学)相关的学习:

...这个练习使我们有效地学习了病理学的核心概念。
[参与者3]
...这样可以对学习材料进行额外的练习。
参与者[8]
...这个练习涵盖了一些我一开始可能错过或没有完全理解的部分……
(参与者14)
...在order to structure a question, I had to gain good understanding of the topics, so it was really helpful...
(参与者20)

学生们也明显提高了评估方面的知识和技能:

...我们被要求从前几周的材料中准备一个类似测试的问题。我们了解了常用的问题类型和可能的答案,这使我能够以不同的角色来处理课程材料……
参与者[8]
...它真的提高了我解决问题的方式以及回答问题时的思考方式……
(参与者14)
...我们要了解考官是怎么想的;这是一项很好的技能,对我们在参加任何考试之前复习要求的内容都很有用。
(参与者15)
主题3:长期利益

这个主题包括一些文本片段,这些文本片段涉及学生期望从这种经历中获得的收获(例如,批判性思维和临床推理):

...这个过程让我有机会改变我的学习方式……要提出一个问题,你需要用不同的方式来处理这个话题;这加强了学生对主题的理解,并使学生具备可转换的技能。
参与者[8]
...病理学和临床是非常重要的,在将病因/病理与临床表现联系起来的灰色区域上遮蔽了巨大的光芒……
(参与者14)
...我学会了如何弄清楚演讲的重点是什么,重要的部分是什么……我认为这很棒;它让我们了解到实际的评估是什么样的,并帮助我们为课程评估做准备……
(参与者24)
...我的问题写作能力提高了,因为我必须提出一些高级的问题……这一切都对我的学习非常有益……
(参与者27)

数据集成

导致元推论的定量和定性数据的收敛显示在表3.从文本框1而且表1被映射到主题1到3的定性数据,作为对个人和群体的轻松和影响的看法。元推理的特点是优势、劣势、挑战和机会,这为巩固和扩大创新成果和弥补创新弱点提供了机会。除了有趣的定性描述,即通过评估学习更令人愉快,因为练习具有游戏化方面之外,教育干预的确定优势在学生的定量和定性感知中很好地匹配。然而,弱点完全是在定性的回答中发现的,而不是通过定量的得分,比如时间管理和破坏性的同伴动态。在感知到的挑战和机遇中,定性输入提供了额外的见解,增强了可用的定量数据,例如体验的新颖性。总的来说,定性数据本身提供了可操作的证据,这大大加强了研究的结论。

表3。联合显示:定量数据与定性数据整合输出。
定量的(文本框1而且表2一个 Meta-inferences 定性(主题1-3)


个人 集团
问题1-2、6和9-10:非常同意 的优势
  • 简单易行
  • 内容修订
  • Examination-taking技能
  • 没有得分压力
  • 同伴强化
  • 分层和排序的学习
  • 游戏化
定性方法提供了定量调查无法揭示的见解b 弱点
  • 耗时(但在所提供的时间内是可控的)b
  • 分组重复问题
  • 同伴参与不平等(团队合作)b
问题3:中立同意;问题4:agree to strongly agree;问题10:非常同意 挑战
  • 走出舒适区
  • 需要关注
  • 愿意重复练习
  • 创造更高层次思维的问题
定性方法提供了定量调查无法揭示的见解b(问题6-10):非常同意 机会
  • 一种新颖的学习方法b
  • 批判性思维
  • 解决问题

一个定量分析(表1).

b来自定性数据的其他见解。


主要发现及与先前工作的比较

这种促进SRL的教育干预为学生参与AaL练习提供了见解。干预措施的设计反映了准备、实施和评估的阶段,Panadero在一项富有洞察力的元分析中很好地说明了这一点[2],分别由Boekaerts、Efklides、Haldwin、Pintrich、Winne and Hadwin和Zimmerman提出的6个SRL模型。这项研究的重点是评估从学生的角度来看,这种形式的SRL充分利用了混合方法的优势。在此过程中,学生的定性输入大大加强了对AaL的易用性和影响的定量测量。后者提供了经验的突出特点,以及短期和长期的影响。整合关于AaL干预的易用性和影响的混合方法数据,为通过深入观察(定性)放大的优势、劣势、挑战和机会提供了可靠的度量(定量)。某些经历只能通过学生自己的主观表达来描述。积极的输入包括体验的新颖性和游戏化效应,这增强了学习的乐趣。对于某些群体中同伴贡献水平、问题质量或重复的不平等,也有一个有用的批评。在以下段落中,这些观察结果将与已发表的文献中的共同经验进行讨论。

这项研究实现了学生和导师之间的伙伴关系,正如LOA的整体方法所强调的那样[7].这项研究从建构主义的角度阐明了如何利用评估来推动学生的学习。建构主义意味着学习者在负责自己的学习、洞察学习差距和开发改进学习的方法方面发挥核心作用。AfL可以是这种自我调节机制的重要组成部分,但通常依赖于形成性评估后的反馈,这些评估仍然是导师驱动的、专注的和指示的。然而,在AaL中,学生通过主导学习过程的话语和产生自我调节和自我生产的身份来获得控制[6].学生设定目标,监测进度,并前瞻性地反思学习,而不是像形成性评估那样回顾。

在本研究中,AaL创新的设计解决了AaL轮中以学生为中心的交流和行动领域[8].评估学生对MBBS课程中实施的AaL的看法被证明是有益的。在本研究中,学生对创业评估创造的定性反思分为短期收益和长期收益。学生在参与设计评估的总体一致性以及相关的易用性和影响方面的得分都相当高,所有3个分数之间存在显著相关性。类似地,在之前对加拿大马尼托巴省温尼伯市马尼托巴大学医学院学生生成的题库进行的一项调查中,91%的学生表示对自己参与编写问题感到满意[12].

这项研究的定量结果表明,唯一与学生对体验的总体认同没有统计学关联的因素是,这项练习要求他们离开自己的舒适区。定性输入显示,经历的不安被认为是一个有利的挑战沿着同样的路线。离开一个人的舒适区可以带来额外的价值,这一观点在文献中得到了证实。26].在美国的一个牙科本科项目中,一项关于学生自创MCQ项目的研究报告称,学生能够准备比教师更高认知水平的问题[27].学生们认为这种干预有助于他们的学习。因此,学生创建评估为学习者在评估的发展框架内提供了一个独特的机会[28].

在本研究中,学生具体表达了对具体课程核心内容的评价强化学习附加值的认识。根据学生们的说法,这种情况发生在准备问题时,他们需要增加对主题的关注,并要求从不同的角度来看待问题。他们惊讶地发现,自己出题的努力有助于备考,也有助于洞察考官的观点。可以推断,这将减轻学期末准备考试的压力。高阶思维的发展最好通过询问和调查,将知识应用于新的情况和问题,提出想法和解决方案,以及协作解决问题来实现[29].

本研究中报告的高水平的一致性与学生对学习价值的看法有关。这反过来又鼓励学生投入时间和精力,积极地加强了练习与感知到的学习影响之间的联系。学生们评论说,每周提出问题可以促进他们阅读、反思和复习习惯的规律性。关于这一主题的文献表明了相互矛盾的发现。在新西兰一所医学院病理学课程的第四年,一项针对产生mcq的本科生的研究中,学生们可以创建具有认知挑战性的mcq。然而,他们并没有找到教育价值的任务。30.].学生们很好地参与了同侪平台的问题创建,但没有提供良好的同侪反馈。相比之下,在另一项涉及生物医学科学二年级学生(n=107)的研究中,学生对生物化学课程中学生撰写的评估的看法表明,他们渴望生成大量相关的高质量mcq。31].

德国医学院的一项多中心试点研究说明了学生生成的形成性评估的一个例子,该评估专门针对基于能力的进步[32].一个由17所大学第三至第九学期的17名学生组成的核心团队接受了MCQ生成和审查的培训,根据事先商定的能力蓝图,为144项评估提供了118个MCQ。研究对象是来自8所医学院的469名学生。项目质量高,具有高阶思维,产生较高的测试信度。然而,学生作者似乎更喜欢理论和实践技能能力的项目生成,而不是科学和沟通技能能力。考生更多地认为这是一个反馈的机会,而不是一次学习经历。

学生们强调的另一个意想不到但有益的方面是练习的“游戏化效应”。在放松的时候,把分心物扔来扔去成为他们的第二个习惯,这是一种智力娱乐工具。根据Gray [33),创造力是批判性思维的基础,而且总是包含一定程度的趣味性:“批判性思考者玩弄各种想法……看看会发生什么,探究结果。”通过玩耍培养这种本能的、愉快的学习能力,可以产生持久的影响,维持自我学习和建立同伴学习的习惯[34].然而,当团队成员没有积极参与并对问题的创建做出重大贡献时,也会出现不满的情况,这对团队产出产生了不利影响。其他研究在同行合作方面有相互矛盾的发现;在一项研究中,团队合作在项目生成方面被认为是不令人满意的[27],而在另一项研究中,86%的学生表示愿意与同伴合作[12].在当前的COVID-19大流行期间,向远程学习的快速过渡为贝尔法斯特女王大学的学生提供了动力,他们通过Instagram创建并分享mcq,以相互加强学习[35].因此,已经确定有益的结果是基于评估的同伴辅助学习的结果。

在这项研究中,一些学生认为生成的问题质量不一致。他们报告说,一些同龄人提出了认知水平较低的问题。这种明显的弱点突出了学习的社会调节,其中实现的共同调节的程度决定了学习的便利性和对个人和群体的影响的增强[2].相比之下,在卡迪夫一所医学院的另一项研究中,学生们在内容教师的适当指导和审查下创建了一个题库。在3个月的时间内,进行了2800次测试,表明使用此学习者资源很受欢迎[5].在卡迪夫的研究中,撰写mcq的学生是他们的最后一年,这可能是产生的问题质量更高的原因。

调查工具的统计信度和效度为调查结果提供了坚实的依据。在后续队列中基于相同框架的后续工作将进一步加强该工具的可重复性以及研究结果的一致性和可泛化性。调查这种干预的有效性可以通过比较前后学生的表现分数来进行。在一项研究中,单项最佳答案总结性检查的随访分数相关性良好,而临床检查的表现则没有相关性[10].

优势、限制和未来方向

本研究的关键优势在于从混合方法方法中得到的数据的整合。这使构建SRL的各个方面变得清晰,这些方面有助于纵向复制,并确定动态响应所感知的挑战和弱点的机会。本研究的第一个局限性是,参与研究的学生处于医学院之旅的早期阶段,这可能会影响他们对通过评估自我学习的价值的看法。在未来的研究中,通过收集不同阶段学生的认知,研究学习阶段是否对学生对练习的理解和感知及其影响起调节作用将是有趣的。其次,未来的研究可以使用额外的多项目格式,让学生深入了解他们的学习技巧。最后,本研究仅限于应用于一个学生队列的单一课程。因此,研究结果的概括性是有限的,可以通过进行多队列比较来补救。

结论

学生以AaL的形式进行的评估被学生作者认为是可行的、建设性的和具有启发性的教育练习。从短期来看,这个练习为学生提供了一个有趣的、具有挑战性的机会,让他们深入了解内容,创造性地设计问题,并提高考试技能。学生们期望长期效果包括增强批判性思维,灌输学生调节的终身学习属性和同伴合作,所有这些都对医学实践至关重要。

致谢

作者感谢穆罕默德·本·拉希德大学对出版费用的支持。

RL是医学院的病理学教授和前学生评估和进步主席,致力于构思和实施创新方法来改善学生的学习和评估体验。

FO是战略和制度卓越部门的高级专家,负责处理大学的质量保证和制度有效性组合。

洛杉矶大学是学生幸福和幸福的副院长,也是分子血液学的助理教授,从事学生学术支持和幸福的各个方面。

NZ是卫生职业教育卓越研究所的医学教育教授,该研究所通过教育、研究和创新培养卓越的教育评估。

数据可用性

本研究收集的数据包含在已发表的手稿中,并可从通讯作者处获得。

作者的贡献

RL概念化、设计并实施了教育干预,并解释和讨论了研究结果。FO设计并进行调查,分析定量和定性数据,并参与稿件准备。LA和NZ严格审查了研究的所有组成部分,确定了手稿审查,并贡献了插图。

利益冲突

没有宣布。

  1. 艾德蒙森博士,鲍耶,阿提斯。自主学习:成人学习构念的元分析综述。国际教育学报,2012;29 (1):1 - 7 [免费全文
  2. 自我调节学习的六种模式和四个研究方向。前线精神2017年4月28日;8:422 [免费全文] [CrossRef] [Medline
  3. 成人学习理论:医学教育中学习和教学的意义:AMEE指南第83号。2013年11月35(11):e1561-e1572。[CrossRef] [Medline
  4. 医学教育与实践的进展:学生对翻转课堂的看法。Adv Med Educ Pract 2017年1月13日;8:63-73 [免费全文] [CrossRef] [Medline
  5. 哈里斯BH,沃尔什JL,塔亚巴S,哈里斯DA,威尔逊DJ,史密斯PE。一种新颖的学生主导的方法来生成多项选择题和在线数据库创建,有针对性的临床医生输入。Teach Learn Med 2015;27(2):182-188。[CrossRef] [Medline
  6. 评估即学习:模糊理论、政策和实践中评估和学习的界限。评估教育2014年3月31日;21(2):149-166。[CrossRef
  7. 曾伟,黄峰,于林,陈松。以学习为导向的评价促进学生学习——文献评论。教育科学评审委员会2018年7月23日;30(3):211-250。[CrossRef
  8. 教与学的评估即学习(AaL)框架:AaL轮。评估学习2013;2:51-70 [免费全文
  9. Rodríguez-Gómez GI, Ibarra-Sáiz MS.作为学习和赋权的评估:迈向高等教育的可持续学习。入:Peris-Ortiz M, Lindahl JM,编辑。高等教育的可持续学习:为全球市场发展能力。瑞士占姆:施普林格;2015:1-20。
  10. 沃尔什J,哈里斯B,塔亚巴S,哈里斯D,史密斯p学生写的预测期末表现的单一最佳答案问题。临床教学2016 10月;13(5):352-356。[CrossRef] [Medline
  11. Wynn-Lawrence LS, Bala L, Fletcher RJ, Wilson RK, Sam AH。以问题为基础的合作学习的建设性课程调整。Adv Med教育实践2020年1月5日;11:1047-1053 [免费全文] [CrossRef] [Medline
  12. Gooi AC, Sommerfeld CS。医学院2.0:我们如何使用小组学习开发学生生成的题库。医学教育2015;37(10):892-896。[CrossRef] [Medline
  13. Altahawi F, Sisk B, Poloskey S, Hicks C, Dannefer EF。学生对评估的看法:基于能力的投资组合系统的经验。医学教育2012;34(3):221-225。[CrossRef] [Medline
  14. Fetters MD, Curry LA, Creswell JW。在混合方法、设计、原则和实践中实现集成。卫生服务决议2013年12月;48(6 Pt 2):2134-2156 [免费全文] [CrossRef] [Medline
  15. Rad FA, Otaki F, Baqain Z, Zary N, Al-Halabi M.由于COVID-19而迅速过渡到远程学习:牙科研究生学习者和教师的看法。PLoS One 2021 Feb 8;16(2):e0246584 [免费全文] [CrossRef] [Medline
  16. Otaki F, Zaher S, Du Plessis S, Lakhtakia R, Zary N, Inuwa IM。介绍向远程学习过渡的4Ps模型:在COVID-19大流行期间进行的一项融合混合方法研究。PLoS One 2021 7月15日;16(7):e0253662 [免费全文] [CrossRef] [Medline
  17. Alzaabi S, Nasaif M, Khamis AH, Otaki F, Zary N, Mascarenhas S.医学生在本科临床技能发展和评估中的同伴学习感知和感知价值:混合方法研究JMIR Med Educ 2021 7月13日;7(3):e25875 [免费全文] [CrossRef] [Medline
  18. Guetterman TC, Fetters MD, Creswell JW。通过联合展示,实现健康科学定量与定性结果的综合研究。安Fam 2015年11月;13(6):554-561 [免费全文] [CrossRef] [Medline
  19. Guetterman TC, Molina-Azorin JF, Fetters MD.“混合方法研究中的集成”虚拟特刊。J Mixed Methods Res 2020 9月13日;14(4):430-435。[CrossRef
  20. 在收敛混合方法研究的分析过程中指导集成的概念模型。Methodol Innov 2017 12月14日;10(2):205979911770311。[CrossRef
  21. 班杜拉A,亚当斯NE。行为改变的自我效能理论分析。国会决议1977年12月;1(4):287-310。[CrossRef
  22. 自我效能:行为改变的统一理论。精神病学杂志1977年3月;84(2):191-215。[CrossRef] [Medline
  23. Braun V, Clarke V,运用心理学的主题分析。精神病学鉴定2006年1月;3(2):77-101。[CrossRef
  24. 定性数据的专题分析:AMEE指南第131号。2020年8月;42(8):846-854。[CrossRef] [Medline
  25. Levitt HM, Bamberg M, Creswell JW, Frost DM, Josselson R, Suárez-Orozco C.心理学中定性初级、定性元分析和混合方法研究的期刊文章报告标准:APA出版物和通信委员会工作组报告。Am Psychol 2018年1月;73(1):26-46。[CrossRef] [Medline
  26. 张志刚,张志刚,张志刚,张志刚,等。医学生的主要学习方法。BMC Med Educ 2018 Jan 18;18(1):17 [免费全文] [CrossRef] [Medline
  27. Gonzalez-Cabezas C, Anderson OS, Wright MC, Fontana M.牙科学生开发的考试问题与更高认知水平学习之间的关联。中华医学教育杂志2015年11月;79(11):1295-1304。[Medline
  28. 潘加罗L, ten Cate O.医学学习者评估框架:AMEE指南第78号。医学教学2013年6月;35(6):e1197-e1210。[CrossRef] [Medline
  29. 达林-哈蒙德L, Flook L, Cook-Harvey C, Barron B, Osher D.对学习与发展科学教育实践的启示。应用开发科学2019 Feb 17;24(2):97-140。[CrossRef
  30. Grainger R, Dai W, Osborne E, Kenwright D.医学学生在病理学教育中创建多项选择题学习:试点研究。BMC Med Educ 2018 Aug 22;18(1):201 [免费全文] [CrossRef] [Medline
  31. 利用学生撰写和评估多项选择题的参与式生物化学学习方法。Biochem Mol Biol Educ 2011;39(5):352-361 [免费全文] [CrossRef] [Medline
  32. 杨晓明,杨晓明,杨晓明,等。基于能力的形成进度测试与学生生成MCQs的发展:来自多中心试点研究的结果。GMS Z Med Ausbild 2015 10月15日;32(4):Doc46 [免费全文] [CrossRef] [Medline
  33. Gray P.自由学习:为什么释放玩耍的本能会让我们的孩子更快乐,更自立,成为更好的学生。美国纽约州纽约:Basic Books;2013年7月2日。
  34. Seidlein AH, Bettin H, Franikowski P, Salloch S.医学术语中的游戏化电子学习:终结者工具。BMC Med Educ 2020 Aug 28;20(1):284 [免费全文] [CrossRef] [Medline
  35. Gulati RR, Reid H, Gill M.同龄人教学的Instagram:机遇与挑战。教育Prim护理2020年11月31日(6):382-384。[CrossRef] [Medline


AaL:评估即学习
AfL:学习评估
美国在线(AoL):学习评估
贷款:learner-oriented评估
MCQ:多项选择题的问题
生存研究实验室:自主学习


编辑:T Leung;提交19.12.21;P Dattathreya, S Prior, J Hegy同行评审;对作者15.04.22的评论;修订版本收到30.05.22;接受31.05.22;发表22.07.22

版权

©Ritu Lakhtakia, Farah Otaki, Laila Alsuwaidi, Nabil Zary。最初发表于JMIR医学教育(https://mededu.www.mybigtv.com), 22.07.2022。

这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用最初发表在JMIR医学教育上的原创作品。必须包括完整的书目信息,https://mededu.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。


Baidu
map