这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用最初发表在JMIR医学教育上的原创作品。必须包括完整的书目信息,https://mededu.www.mybigtv.com/上的原始出版物的链接,以及此版权和许可信息。
自我调节学习(SRL)正被广泛认为是维持终身学习的重要能力,特别是与卫生专业教育相关的能力。当代教育实践通过创新的教学设计,如翻转课堂和基于团队的学习,强调本科医学教育的这一方面。评估实践很少用于建立SRL的能力。评估
本研究旨在从学习者的角度探讨学生生成的形成性评价的可行性和感知的学习影响。
本研究依赖于一种收敛的混合方法。在一个6年本科医学项目的第二年,54名学生被部署了教育干预,作为单课程课程的一部分。AaL干预使学生通过同伴合作、导师指导和反馈来进行评估。干预的结果是通过学生认知的定量和定性数据来衡量的,这些数据分别通过匿名的网络调查和面对面的焦点小组收集。定量调查数据采用SPSS (IBM)进行分析,定性输入进行专题分析。
学生对AaL教育干预的总成绩为84%,这与5点李克特式量表上的轻松程度和影响程度的分数密切相关。从定性分析中得出的主题包括参与的突出特征、即时收益和预期的长期收益。突出的特征包括个人的参与度、有效的相互依赖性、新颖性和时间要求。所确定的直接收益突出表明增加了积极性和获得知识和技能。预期的长期好处包括批判性思维、解决问题和临床推理。
作为AaL的一种形式,学生生成的评估被学生作者认为是可行的、建设性的和具有启发性的教育练习。从短期来看,该活动为学生提供了一个有趣和具有挑战性的机会,可以深入研究内容,创造性地设计问题,并提高应试技能。从长远来看,学生们希望增强批判性思维,并灌输以学生为中心的自我调节终身学习和同伴合作的属性,这对医学实践至关重要。
自我调节学习(SRL)是一种理想的学生属性,可以灌输终身学习的习惯,对初入职场的健康专业人士来说是无价的[
传统的成人学习理论和模型包括工具学习理论、人本主义理论、变革学习理论、学习的社会理论以及动机和反思模型[
在本科医学教育中,通过采用以评估为中心的学习技术来发展主动学习的关注相对较少[
AaL框架将上下文领域置于AaL教学轮的中心,并得到社会、沟通和行动领域的支持[
因此,本研究旨在从学习者的角度探讨学生生成的形成性评估的可行性和感知的学习影响。因此,本研究的研究问题如下:
学生们在多大程度上同意对形成性评估做出贡献的经历是可管理的(就难度水平而言)和有影响的,以及感知到的轻松和影响在哪些方面相关?
学生如何描述参与形成性评估的经历?
从学生参与形成性评估的第一手经验中学到了什么?
这项研究的伦理批准由穆罕默德·本·拉希德大学机构审查委员会批准(MBRU-IRB-2019-026)。获得所有参与者的知情同意。所有的方法都是按照相关的指南和规定进行的。由于没有个人细节、图像或视频,因此不适用发表同意。
本研究依赖于一种收敛的混合方法研究设计[
这项研究是在阿拉伯联合酋长国迪拜的穆罕默德·本·拉希德医学与健康科学大学进行的,对一组6年医学本科项目(MBBS)的学生进行了螺旋式课程,并分为3个连续阶段:基础基础科学、临床前科学和实习。第一阶段在第一学年进行,向学生介绍医学的基本概念,而第二阶段涵盖第二和第三学年,教学围绕身体器官系统进行,并与临床医学相结合。第4至6年为第3阶段。在这一阶段的前两年,学生进行临床实习或轮岗,最后一学年采取实习的形式。研究队列包括54名开始本科医学课程第二阶段的二年级学生(2019-2020学年)。
被调查的课程是医学生病理学入门。在本学期的前6周,学生们每周都要接受由教授该课程的病理学教师进行的形成性评估,随后是反馈会议,以反映已确定的优点和缺点。在第8周期中进行课程总结性评估(占40%)。在第9周到第14周期间,学生们通过多项选择题(MCQ)的形式进行了形成性评估。期末总结性评估(权重60%)于第16周进行(
研究概述。前半学期由导师主导的形成性评估,之后是学期中期的课程总结性评估。在下半学期的学生形成性评估之后,是课程的最终总结性评估。W:一周。
第一次指导学生MCQ构建原则的是一位病理学教授,他协调并教授了这门课程,同时也是学院的评估主席。一共有9组,每组6名学生,每周就当周的学习成果和课程目标创建一个MCQ。由此产生的9个mcq将在下周的指定时间进行讨论,并辅以导师提出的问题。每组一名代表介绍了他们的MCQ,并邀请同行提出批评性和建设性的意见。教授导师主持讨论,并就结构和内容提供反馈(
教育干预:评估即学习。教育干预包括每周由学生提出的多项选择题(MCQs),通过同行合作产生,并辅以同行批评和审查、导师审核和反馈。
数据收集使用专门为本研究设计的调查(
这个练习相当简单。
这个练习使我更能胜任提出问题的能力。
有效地进行锻炼需要我走出我的舒适区。
我愿意在其他课程中重复此练习(愿意在其他课程中重复此练习)。
对形成性评估的创建做出贡献会增加学习经验的价值(增加学习的价值)。
这个练习提高了我理解相关课程材料的能力(理解课程材料的能力)。
提出问题提高了我对这一主题的知识。
这个练习培养了我的批判性思维。
这次练习提高了我有效回答相关问题的能力。
就其本身而言,练习和课堂上对问题的反馈和思考提高了我将各自的基本科学概念与其医学应用联系起来的能力(即临床相关技能)。
参与者可以选择定性地阐述他们对10个组成部分中的每一个的反应。调查的第二部分是一个开放式问题,旨在通过以下开放式问题征求任何额外的反思性定性数据:“您对开发形成性评估有任何进一步的评论吗?”如有,请在下面注明:
这项调查最初是由教授该课程的病理学教师开发的,并进行了外观和内容有效性检查。面部效度测试由一个专业团队进行,包括相关课程的协调员、医学院学生评估和进步委员会主席、医学教育专家以及处理各大学质量保证和制度有效性组合的单位的工作人员。他们审查了该工具,以评估问题的清晰度、可理解性和可读性,以及它们所呈现的流程。随后,通过从同一项目的前一个队列中随机选择5名学生来评估内容效度。他们被邀请到一个教室,在那里他们被要求写下他们对第一部分中每个组成部分的解释,以及调查的第二部分中的问题。上述小组审查了这些答复。达成的共识是,除了轻微的语言更改外,调查已准备好进行管理。
参与这项数据收集行动是自愿的。学生的隐私和数据保密受到保护,没有记录个人身份。这项调查是在2020年5月使用微软表单在网上进行的。每个研究参与者被连续分配一个唯一的识别号码(1-27)。
采用SPSS (version 25.0;IBM (IBM . o:行情)推出Windows操作系统。对于10个定量成分中的每一个(用5点李克特式量表测量),计算平均值和标准差。随后,通过将各自的平均值除以5(因为这是可能的最大值)再乘以100来计算每个组成部分的平均值的百分比,这决定了10个相应的值在预定义的比额表上的位置。计算了所有组成部分的一致性的总分(即所有10个组成部分的平均值的总和),以及该工具的2个部分的每一个独立得分:易用性和影响力(即,5个组成部分的2组每一组的平均值的总和)。计算所有3个分数的平均值和标准差。
由于用于获取参与者感知的量表是为本研究量身定制的,因此分别进行Cronbach α效度检验和Kaiser-Meyer-Olkin和Bartlett检验的主成分分析,以检查所设计工具的内部一致性和外部方差。
为了选择合适的相关变量的方法,对10个组成部分中的每一个进行了正态性测试,并对以下3个分数进行了测试:总体、轻松程度和影响。10个组成部分的数据以及易用性和影响分数都不是正态分布。总体一致度评分呈正态分布(
定性数据分析在数据收集阶段结束后开始。数据由2位研究人员(RL和FO)按照6步框架使用专题分析(基于建构主义认识论)分析[
通过联合显示分析的迭代过程,定量数据和定性数据相互映射[
在54名学生中,有27人做出了回应(即回复率为50%)。定制评估工具的Cronbach α的信度得分捕捉学生的看法(即,10个成分)是0.84。同意总分的总平均分数的百分比为84%,介于两者之间
凯撒-迈耶-奥尔金值接近1,样品被认为是足够的。此外,根据Bartlett球度检验,用对角元素均为1,非对角元素均为0的单位矩阵拒绝原假设。因此,主成分分析(以及相应的特征值)表明,10个成分之间的75.2%的方差可以用整个工具来解释。这意味着该仪器对于测量它打算测量的东西是可靠和有效的。
描述性定量分析的输出。
组件 | 值,平均值(SD) | 均值百分比(%) | 类别 |
1 | 4.19 (0.736) | 83.8 | 同意,非常同意 |
2 | 4.22 (0.641) | 84.4 | 同意,非常同意 |
3. | 3.41 (1.083) | 68.2 | 中立表示同意 |
4 | 4.04 (1.055) | 80.8 | 同意 |
5 | 4.52 (0.643) | 90.4 | 同意,非常同意 |
6 | 4.56 (0.577) | 91.2 | 同意,非常同意 |
7 | 4.33 (0.679) | 86.6 | 同意,非常同意 |
8 | 4.19 (0.736) | 83.8 | 同意,非常同意 |
9 | 4.30 (0.724) | 86 | 同意,非常同意 |
10 | 4.26 (0.813) | 85.2 | 同意,非常同意 |
轻松得分 | 15.85 (2.231) | 79.3 | 同意 |
冲击评分 | 26.15 (3.45) | 87.2 | 同意,非常同意 |
协议总分 | 42 (4.907) | 84 | 同意,非常同意 |
如
二元相关矩阵。
组件 |
|
相关 | |||||||||||
|
1 | 2 | 3. | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 分数 |
|
|
1 | |||||||||||||
|
获得 | 无误一个 | −23) | .62一个 | 收 | 13。 | 点一个 | 38一个 | 无误一个 | 点 | .59一个 | 系数 | |
|
- - - - - -b | 02一个 | 。 | 措施一个 | 厚 | 53 | 03一个 | .049一个 | 02一个 | 。08 | <措施一个 | 重要的 | |
2 | |||||||||||||
|
- - - - - - | 获得 | 03 | .33 | 29 | . 21 | 的相关性一个 | 的相关性一个 | 53一个 | 点一个 | 点一个 | 系数 | |
|
- - - - - - | - - - - - - | .87点 | .09点 | .14点 | .30 | . 01一个 | . 01一个 | 04一个 | .046一个 | <措施一个 | 重要的 | |
3. | |||||||||||||
|
- - - - - - | - - - - - - | 获得 | 厚 | −13。 | 0。 | −。08 | 点 | .007 | 02 | 口径。 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | .60 | 点 | 结果 | i = | 56 | .97点 | 公布 | 陈霞 | 重要的 | |
4 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | 获得 | 低位 | 点 | 的相关性一个 | .40一个 | .30 | 36一个 | 点一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | 只要 | 54 | . 01一个 | .04点一个 | 13。 | 06一个 | <措施一个 | 重要的 | |
5 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | 获得 | .57一个 | 算下来一个 | 主板市场一个 | .41点一个 | 点一个 | .64点一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | .002一个 | .002一个 | <措施一个 | 03一个 | <措施一个 | <措施一个 | 重要的 | |
6 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | 获得 | 点一个 | 点一个 | 报一个 | .60一个 | .60一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | <措施一个 | <措施一个 | . 01一个 | 措施一个 | <措施一个 | 重要的 | |
7 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | 获得 | .74点一个 | .60一个 | 点一个 | 结果一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | <措施一个 | 措施一个 | <措施一个 | <措施一个 | 重要的 | |
8 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | 获得 | 点一个 | .76一个 | .85一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | <措施一个 | <措施一个 | <措施一个 | 重要的 | |
9 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | 获得 | 正一个 | 综合成绩一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | <措施一个 | <措施一个 | 重要的 | |
10 | |||||||||||||
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | 获得 | 尾数就一个 | 系数 | |
|
- - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | - - - - - - | <措施一个 | 重要的 |
一个显示显著性的相关性,定义为
b不适用。
对定性数据的分析捕捉了学生的看法,得出了3个相互关联的主题:他们参与准备形成性评估的突出特征、即时收益和预期的长期收益(
本研究的概念框架。学生对自我生成的形成性评估的感知中出现了突出的特征,显示出即时的收益和预期的长期收益,并验证了教育干预对评估作为学习的效用。
这个主题包括一些文本片段,这些文本片段涉及学生如何描述这个项目,以及活动成功所依赖的变量对学生来说是什么。这包括沉浸在体验中的变量:
...这不是很容易,因为一个人需要集中精力和注意力来发展mcq……
很明显,参与者需要与同事形成有效的相互依赖:
...我们需要提出与自己学习相关的问题……这是团队的努力……相互讨论这些问题,使我们能够更好地了解什么是好的干扰因素……当然,视角的多样性是有用的……
一些学生强调,练习中固有的团队合作,并确保所有团队成员都平等参与,这很有挑战性:
...在我们的团队中,同样的人不断地提出问题。并不是所有的团队成员都做出了同样的贡献;一些成员没有提供任何意见。我们最终能够解决这个挑战……我需要和我的一些同事多交谈,我通常没有机会和他们交谈……
...一些小组成员懒得做他们的工作,提出问题,这在团队中引起了一些挫折……
学生们认为,参与经验使他们能够发展必要的洞察力和掌握或熟练地准备形成性评估。这种信念,再加上专注于手头的锻炼,帮助他们培养了自我效能:
...在我们学习一个新概念后,我们被期望很快生成mcq。这要求我们查找与各自概念相关的关键术语和附加信息。作为mcq准备工作的一部分,我们需要想出一些干扰物。我们需要真正理解内容才能完成任务……
...培养自己创建mcq并与其他学生分享的能力……
这个主题还包括文本片段,表明学生们意识到这种体验是新奇的,他们必须经历一个学习曲线:
...这对我来说无疑是一次新的经历;我们有机会从主考官的角度,从mcq提出者的角度来看待考试。感觉真的很好……
...这相当简单,但提出更复杂的问题更具挑战性……
...重要的是细节,一开始这有点困难。试图辨别两个相似的主题,同时思考顺序和相关元素,并制定可能的选择,其中“最佳”答案是需要额外努力的步骤……
...为mative assessments allow us to test our understanding of concepts without the burden of having to perform well in terms of a test or a grade which gives us more opportunities to make mistakes and to learn from them...
...我不熟悉这样的锻炼,所以我正在走出我的舒适区,但我想说,以一种积极的方式……
学生们还强调了练习需要投入的时间:
...然而,因为我们有足够的时间来做这件事,这是很好的……
这个主题包含了所有的文本片段,涉及到学生在完成体验后所获得的东西。总的来说,大多数学生都表达了兴奋和高兴的经历:
...在形成mcq时,寻找合理、可靠的干扰物成为了一种“爱好”……这是一次宝贵的经验,也是一次很好的锻炼。另外,这很有趣……
...这是一次有趣而有益的练习。
很明显,学生们从他们的经历中获得了丰富的知识和技能:
...这对我们的学习是有益的,对我们来说也很有趣,因为我们看到了制定适当的问题实际上需要多少工作……这是一个非常有用和有趣的任务……
学生们提到了与核心学科(即病理学)相关的学习:
...这个练习使我们有效地学习了病理学的核心概念。
...这样可以对学习材料进行额外的练习。
...这个练习涵盖了一些我一开始可能错过或没有完全理解的部分……
...为了组织一个问题,我必须很好地理解主题,所以这真的很有帮助……
学生们也明显提高了评估方面的知识和技能:
...我们被要求从前几周的材料中准备一个类似测试的问题。我们了解了常用的问题类型和可能的答案,这使我能够以不同的角色来处理课程材料……
...它真的提高了我解决问题的方式以及回答问题时的思考方式……
...我们要了解考官是怎么想的;这是一项很好的技能,对我们在参加任何考试之前复习要求的内容都很有用。
这个主题包括一些文本片段,这些文本片段涉及学生期望从这种经历中获得的收获(例如,批判性思维和临床推理):
...这个过程让我有机会改变我的学习方式……要提出一个问题,你需要用不同的方式来处理这个话题;这加强了学生对主题的理解,并使学生具备可转换的技能。
...病理学和临床是非常重要的,在将病因/病理与临床表现联系起来的灰色区域上遮蔽了巨大的光芒……
...我学会了如何弄清楚演讲的重点是什么,重要的部分是什么……我认为这很棒;它让我们了解到实际的评估是什么样的,并帮助我们为课程评估做准备……
...我的问题写作能力提高了,因为我必须提出一些高级的问题……这一切都对我的学习非常有益……
导致元推论的定量和定性数据的收敛显示在
联合显示:定量数据与定性数据整合输出。
定量的( |
Meta-inferences | 定性(主题1-3) | |
|
|
个人 | 集团 |
问题1-2、6和9-10:非常同意 | 的优势 |
简单易行 内容修订 Examination-taking技能 没有得分压力 |
同伴强化 分层和排序的学习 游戏化 |
定性方法提供了定量调查无法揭示的见解b | 弱点 |
耗时(但在所提供的时间内是可控的)b |
分组重复问题 同伴参与不平等(团队合作)b |
问题3:中立同意;问题4:agree to strongly agree;问题10:非常同意 | 挑战 |
走出舒适区 需要关注 |
愿意重复练习 创造更高层次思维的问题 |
定性方法提供了定量调查无法揭示的见解b(问题6-10):非常同意 | 机会 |
一种新颖的学习方法b |
批判性思维 解决问题 |
一个定量分析(
b来自定性数据的其他见解。
这种促进SRL的教育干预为学生参与AaL练习提供了见解。干预措施的设计反映了准备、实施和评估的阶段,Panadero在一项富有洞察力的元分析中很好地说明了这一点[
这项研究实现了学生和导师之间的伙伴关系,正如LOA的整体方法所强调的那样[
在本研究中,AaL创新的设计解决了AaL轮中以学生为中心的交流和行动领域[
这项研究的定量结果表明,唯一与学生对体验的总体认同没有统计学关联的因素是,这项练习要求他们离开自己的舒适区。定性输入显示,经历的不安被认为是一个有利的挑战沿着同样的路线。离开一个人的舒适区可以带来额外的价值,这一观点在文献中得到了证实。
在本研究中,学生具体表达了对具体课程核心内容的评价强化学习附加值的认识。根据学生们的说法,这种情况发生在准备问题时,他们需要增加对主题的关注,并要求从不同的角度来看待问题。他们惊讶地发现,自己出题的努力有助于备考,也有助于洞察考官的观点。可以推断,这将减轻学期末准备考试的压力。高阶思维的发展最好通过询问和调查,将知识应用于新的情况和问题,提出想法和解决方案,以及协作解决问题来实现[
本研究中报告的高水平的一致性与学生对学习价值的看法有关。这反过来又鼓励学生投入时间和精力,积极地加强了练习与感知到的学习影响之间的联系。学生们评论说,每周提出问题可以促进他们阅读、反思和复习习惯的规律性。关于这一主题的文献表明了相互矛盾的发现。在新西兰一所医学院病理学课程的第四年,一项针对产生mcq的本科生的研究中,学生们可以创建具有认知挑战性的mcq。然而,他们并没有找到教育价值的任务。
德国医学院的一项多中心试点研究说明了学生生成的形成性评估的一个例子,该评估专门针对基于能力的进步[
学生们强调的另一个意想不到但有益的方面是练习的“游戏化效应”。在放松的时候,把分心物扔来扔去成为他们的第二个习惯,这是一种智力娱乐工具。根据Gray [
在这项研究中,一些学生认为生成的问题质量不一致。他们报告说,一些同龄人提出了认知水平较低的问题。这种明显的弱点突出了学习的社会调节,其中实现的共同调节的程度决定了学习的便利性和对个人和群体的影响的增强[
调查工具的统计信度和效度为调查结果提供了坚实的依据。在后续队列中基于相同框架的后续工作将进一步加强该工具的可重复性以及研究结果的一致性和可泛化性。调查这种干预的有效性可以通过比较前后学生的表现分数来进行。在一项研究中,单项最佳答案总结性检查的随访分数相关性良好,而临床检查的表现则没有相关性[
本研究的关键优势在于从混合方法方法中得到的数据的整合。这使构建SRL的各个方面变得清晰,这些方面有助于纵向复制,并确定动态响应所感知的挑战和弱点的机会。本研究的第一个局限性是,参与研究的学生处于医学院之旅的早期阶段,这可能会影响他们对通过评估自我学习的价值的看法。在未来的研究中,通过收集不同阶段学生的认知,研究学习阶段是否对学生对练习的理解和感知及其影响起调节作用将是有趣的。其次,未来的研究可以使用额外的多项目格式,让学生深入了解他们的学习技巧。最后,本研究仅限于应用于一个学生队列的单一课程。因此,研究结果的概括性是有限的,可以通过进行多队列比较来补救。
学生以AaL的形式进行的评估被学生作者认为是可行的、建设性的和具有启发性的教育练习。从短期来看,这个练习为学生提供了一个有趣的、具有挑战性的机会,让他们深入了解内容,创造性地设计问题,并提高考试技能。学生们期望长期效果包括增强批判性思维,灌输学生调节的终身学习属性和同伴合作,所有这些都对医学实践至关重要。
评估即学习
学习评估
学习评估
learner-oriented评估
多项选择题的问题
自主学习
作者感谢穆罕默德·本·拉希德大学对出版费用的支持。
RL是医学院的病理学教授和前学生评估和进步主席,致力于构思和实施创新方法来改善学生的学习和评估体验。
FO是战略和制度卓越部门的高级专家,负责处理大学的质量保证和制度有效性组合。
洛杉矶大学是学生幸福和幸福的副院长,也是分子血液学的助理教授,从事学生学术支持和幸福的各个方面。
NZ是卫生职业教育卓越研究所的医学教育教授,该研究所通过教育、研究和创新培养卓越的教育评估。
本研究收集的数据包含在已发表的手稿中,并可从通讯作者处获得。
RL概念化、设计并实施了教育干预,并解释和讨论了研究结果。FO设计并进行调查,分析定量和定性数据,并参与稿件准备。LA和NZ严格审查了研究的所有组成部分,确定了手稿审查,并贡献了插图。
没有宣布。