基于web的专业继续发展课程评价:综合混合方法模型

简介

为忙碌的卫生保健提供者(HCPs)提供的基于网络的课程允许以相对较低的成本迭代获取知识并在现实世界的实践环境中应用。针对HCPs使用了各种不同的在线烟草依赖治疗培训项目和评估方法[1];然而，从功利主义到直觉主义的维度建立一个基于网络的课程有效性的综合评价仍然是一个挑战。现有的评估课堂继续教育培训的框架在评估网络课程方面是不够的。评估是课程设计和创新的必要组成部分，评估课程达到既定基准的能力。然而，评估的设计和实施也可以促进教学学术的发展[2］．尽管人们普遍认为培训和发展对增加保健服务提供方面的自信和能力的重要性，但研究表明，对培训的质量和长期效果重视不足[3.］．自1965年以来出现的许多评估模型范围从基本的清单到全面的框架，旨在解决不同的需求(即，自我、利益相关者、计划规划者等)。为了有效地使用评估模型，有必要首先确定自己的评估需求，然后确定每个模型中什么是有用的[4］．一个完整的概念框架可能包含许多经过检验的理论，它既不一定是一个完全经过检验的理论，也不是一个线性过程[5］．在缺乏全面检验的理论的情况下，概念框架对指导项目规划者和推进教学和学习学术是有用的。越来越多的方法方法不仅改变了设计和执行评价的方式，而且也为一个新兴的领域增加了丰富的视角，这个领域还太年轻，不能确定任何单一的、理想的评价方法。评估者对范式、理论视角、方法论方法和数据收集方法的偏好导致了不同的设计、数据收集、分析和解释[6］．这些不同的愿景评估导致了项目评估中使用的各种框架，因为它们源自哲学和意识形态信仰、不同的方法偏好、价值分配和最终用户的兴趣。

这项研究的目标是为基于web的培训计划开发一个全面的、聚合的和概念性的评估框架，重点是范例、理论和方法的使用。批判现实主义视角的体现，其特征是从功利主义(为大多数人谋取最大利益)到直觉主义(最大利益需要关注每个人的利益)的维度[4，形成了我们项目评估方法的基本哲学信念。本研究利用基于web的烟草依赖治疗培训——“应用戒烟咨询与健康培训增强”(TEACH)核心课程，对该评估框架进行试点，以确定指导TEACH评估的主要因素，并审查其应用于研究人员、HCPs和其他相关利益攸关方的可行性。

方法

在过去十年中，成瘾和心理健康中心(CAMH)的TEACH项目已成为地方、国家和国际各级卫生保健提供者(HCPs)的基准培训方案[7］．TEACH模式纳入了“知识到行动”框架的所有组成部分，以通过循证烟草依赖治疗解决更广泛的烟草流行问题[8］．作为TEACH项目强化戒烟咨询证书课程的一部分，参与者需要完成以下课程:(1)10小时的基于网络的先决课程，(2)19.5小时的基于网络的核心课程，以及(3)13.5小时的基于网络的专业课程。

建立一个综合评价模型

TEACH项目的评估方法基于Moore等人和Kirkpatrick的框架来评估持续专业发展(CPD)教育[5，7，9，10］．摩尔等人的评估框架包含七个层次的培训影响进行评估，是评估CPD教育的金标准。Moore等人的框架是衡量CPD教育结果的理想方法，通过关注培训的目标结果来评估影响，并迭代修改培训以达到预期的结果(即，评估者必须问自己我该怎么做呢?） ［5，10］．此外，我们选择了柯克帕特里克(Kirkpatrick)的评估框架，该框架通过跟踪参与者的反应、学习、行为和结果(即评估者必须问自己)的改善，概述了培训有效性的四个级别我怎么知道我做了?)．此框架是评估培训及学习成效的最知名及广泛使用的评估模式之一[9］．然而，我们决定加入Fitzpatrick的方法[11]创建一个聚合模型，以便讨论、识别和证明指导或指导我们的评估方法的主要因素，包括范式、理论、方法和方法工具(即，评估者必须问自己我在做什么，为什么要这么做?） ［11］．Fitzpatrick等人将评估分为四种核心方法:(1)对培训质量的综合判断，包括专门知识和面向消费者/学习者的评估;(2)培训的特征，包括面向目标的评估;(3)对项目的决策，包括面向管理的评估;(4)项目的利益相关者(包括患者、管理者、HCPs和资助者)的参与。这四个Fitzpatrick类别可以在多个环境下响应受评估影响的利益相关者的不同需求，并且可以很容易地沿House的维度分布[12从功利主义到直觉主义的方案评估方法。体现批判现实主义视角的[6，13通过House的维度可以支持这一概念，即定量和定性方法在充分理解培训的成功和影响方面都是同样有保障的。

我们制定了一个综合评估框架(图1)，采用了三个概念框架，Fitzpatrick等[11，摩尔等[5]，以及柯克帕特里克[9]，评估CPD计划(TEACH项目)，以便通过House的功利(客观主义本体论)到直觉主义(主观主义本体论)的维度，以批判现实主义的视角专注于实现预期的结果[4］．

综合起来，这个综合评估模型可以引出以下主要因素:(1)指导教育规划、组织、实施和评估期间的教学设计策略，(2)确定HCPs如何学习，(3)确定如何以及在哪里使用评估来衡量项目的进展，(4)确定告知决策者评估结果的方法。

我们通过评估2015年10月TEACH基于web的核心课程的一个队列(共48名参与者)收集的数据来检验聚合模型的可行性。我们通过以下四种基于聚合模型的评估方法来衡量培训效果:

‎ 把这个图

方法1(功利主义)

方法1基于Fitzpatrick等人的专业知识和以消费者/学习者为导向的方法，Moore等人的第1级和第2级(参与和满意度)，以及Kirkpatrick的第1级(反应)）．该方法关注完成培训的参与者(以学习者为导向)的数量、总体满意度、参与者对培训质量的期望达到的程度，以及与其他现有项目相比项目的质量。我们通过注册数据库、在整个培训过程中执行的形成性评价以及在培训结束时执行的总结性评价来获取参与和满意度。我们通过外部机构认证的证据来衡量项目的质量。这与以专业知识和消费者/学习为导向的方法相一致，参与者根据培训的可信度做出有价值的判断(例如，培训是否经过同行评审，信誉良好，我会获得证书吗)．

方法2(功利主义到直觉主义)

方法2是基于Fitzpatrick等人的目标导向方法、Moore等人的3a和3b级别(陈述性和程序性知识)和Kirkpatrick的Level 2(学习)。这种方法关注的是培训对参与者的影响(即，参与者在多大程度上可以(1)陈述培训希望他们知道什么，(2)陈述如何做培训希望他们知道的事情)。为了实现这一点，评估人员需要确定课程结束后立即达到明确定义的课程目标的程度。我们通过课程前和课程后的评估来获取陈述性和程序性知识。这种方法帮助教学设计人员、评估人员和其他利益相关者通过一些培训的直接结果(例如，学员在课程结束后是否提高了知识和技能)来判断培训的成功或不足。我们还通过管理能力为基础的考试管理后课程捕获参与者的学习。学员必须取得70%或以上的成绩，才能通过课程。此外，参与者可以为课程开发提供免费的文本评论和开放式反馈问题，以提高未来参与者在课程中实施的形成性评价中的学习效果。

方法3(功利主义到直觉主义)

方法3是基于Fitzpatrick等人的管理导向方法，Moore等人的第4和5层(能力和绩效)，以及Kirkpatrick的第3层(行为)。这种方法的核心关注是识别和满足管理决策者的信息需求，评估自我评估的实践变化，以及知识和技能的实施(即，参与者在实践环境中完成培训意图他们做的事情的程度)。我们通过培训后3个月和6个月的跟踪调查来衡量能力和表现。在培训后3个月和6个月收集的量化数据可以为决策者提供评估数据，证明项目在较长一段时间内的有效性，这有助于指导项目继续或扩大的决策。为了确保一个直观的评估方法，3个月和6个月的调查应该包括定性反应选项，以捕获参与者对实践变化后课程的经验。本队列研究在3个月和6个月随访调查中不包括定性反应选项;但是，我们修改后的工具将包含这种方法。

方法4(直觉主义的)

方法4基于Fitzpatrick等人的以利益相关者为导向的方法，Moore等人的6级和7级(患者和社区卫生)和Kirkpatrick的3级(结果)。该方法侧重于一种实用的参与式评估方法，与工作相关的绩效的长期结果，以及培训计划带来的机构和社区层面的变化。通过将以前的评估数据与当前的健康结果联系起来，并随后与人口健康数据联系起来，来衡量患者和社区的健康结果。然而，实践的改变和实现是动态和复杂的行为。此外，将以前的评估数据与患者和社区健康结果联系起来并不总是容易、可行的，而且由于相互竞争的因素，只能显示培训的边际效果。因此，方法4需要一种植根于主观主义认识论的更直观的方法。通过定性归纳和/或演绎方法的长期随访应涉及多个利益相关者(包括管理员、患者、HCPs和教职员工)，以确定项目的成功和缺点(即通过使用回顾后，然后预先设计深入访谈)。本队列研究方案中未包括方法4;然而，我们未来的评价研究将探索这一层面。

图1提供了这四种评价方法的可视化表示，它们沿豪斯的功利主义到直觉主义评价维度不均匀分布[4，12］．尽管许多不同的评估方法可能看起来令人费解，但它们的多样性允许评估者挑选最适合规划评估的方法或方法的元素。

聚合模型的应用:基于web的TEACH核心课程的评价

混合方法设计采用了通过在每个基于web的模块和总结性评价管理后课程收集的数据，收集了定量和定性的反馈，知识和技能的前和后课程评估，能力为基础的考试管理后课程，3个月和6个月跟踪调查测量自我报告的实践变化。因此，我们能够试验我们的聚合模型的方法1到3。采用IBM SPSS统计24将数值数据汇总为描述性统计进行分析。计算了简单频率和百分比;此外，获得了课程前和课程后评估的均值和标准差。配对t计算检验、方差分析(ANOVA)和CI，以检验组间和组内的差异，概率水平为.05。对于连续和分类变量，缺失数据用大平均值或模态响应代替。为了收集定性数据，形成性和总结性问卷和广泛的定性评论使用专题分析来呈现参与者的课程评价。采用SPSS 24和NVivo 11 (QSR International)对定量和定性数据进行分析。在本研究设计之时，CAMH研究伦理委员会认为该研究不需要正式的审查和批准。

结果

方法1

遵循专业导向的方法，TEACH获得了多伦多大学医学院CPD项目、加拿大家庭医生学院、加拿大皇家内科和外科医生学院、加拿大成瘾咨询师认证联合会和安大略省皇家牙科外科医生学院的认证。共有59名学员注册了该课程，其中48名学员(81%)完成了所有课程要求。表142%(20/48)的参与者是护士(注册护士、执业护士和病例管理护士)。使用功利主义视角和以消费者/学习者为导向的方法，课程的总体满意度评分为4.55/5(其中5=最佳/优秀)。

方法2

课程前和课程后评估由29个与课程能力相关的封闭式问题组成，用于收集定量数据，并配对样本t测试。表2对每门课程能力的自我感知知识进行了定量分析，展示了一种目标导向的方法。采用Wilcoxon检验，结果表明，在TEACH核心课程期间，自我报告的所有课程能力的知识前和后排名之间存在显著差异，Z= 6.03,P< .005。

此外，我们通过12个封闭式问题来衡量参与者应用课程能力领域的可行性、重要性和信心。对于每个域，使用0-10李克特量表(10为最高评级)。通过Kolmogorov-Sminrov & Lilliefors检验(95% CI)进行可行性和置信度分析，可以观察到数据的正态性。然而，数据并未正常(P<.001)为重要性变量。采用非参数方法支持李克特量表对可行性、置信度和重要性(表3)．Wilcoxon检验的反应表现陈述的可行性，重要性和信心显示，自我报告在学习前和学习后的显著差异P˂措施。

为了衡量参与者的纪律是否对他们自我报告的知识和技能后课程的影响，进行了组间和组内的方差分析。采用Shapiro-Wilk检验在5%显著性水平上评估正态性假设。我们发现的证据表明，HCPs自我报告的知识和技能课程后评估分数呈正态分布，W= .96点,P=。3.8，而且for Allied HCPs,W=点,P= . 21。然而，此外，我们发现的证据表明，自我报告的知识和技能课程后评估分数并不正常分布于卫生支持/研究服务部门，W=主板,P= .002。

以能力为基础的考试的百分比分布表明成功实现了预期的结果，48名参与者中有47人获得了及格分数(n=10在80%-90%之间，n=37在90%-100%之间)，只有一名参与者获得了低于70%的不及格分数。最后，对形成性评价(34条评价)参与者提供的与三个主题相关的定性评价进行专题内容分析:(1)知识获取, (2)加强未来参加者学习的建议和(3)实践变更计划（表4)．为了通过直觉主义的评价概念来遵循主观主义认识论，在课程结束时进行的总结性评价中，从61个定性评论中产生了以下五个主题:学习目标, (2)interprofessional协作, （3）未来的相关话题(4)整体改造,和(5)整体满意度。

方法3

采用管理导向的方法对培训后3个月和6个月进行的随访调查进行分析。我们评估了参与者自我报告的戒烟知识和技能的实施情况、看到的客户数量、项目材料向其他提供者的传播情况、改变的障碍以及未来将知识和技能付诸实践的意愿。随访3个月的平均回复率为27.08%，随访6个月的平均回复率为29.17%。回应表明，在3个月的随访中，76.9%的参与者为客户提供了单独的戒烟课程，而在6个月的随访中，这一比例上升到了85.7%。与会者提供了信息，说明他们认为改变自己的做法和实施新的戒烟方案编制岗位课程的障碍是什么。的必要性更多的练习在3个月随访时被确定为主要障碍。在6个月的随访中，64%的受访者仍然认为需要更多的练习是一个障碍。在6个月的随访中发现了另外3个障碍发现的时间提供戒烟咨询(平均71%)，与病人的动机参加戒烟会议和想要更多的经济支持戒烟计划和服务(各占50%)。通过面向管理的方法使用功利主义视角的另一个重要成果涉及向其他提供者传播戒烟知识和技能。在两个随访时间点，参与者都被问及他们在完成课程后是否将所学到的知识或技能与同事交流过。在6个月的随访时间点，78.90%的参与者表示他们曾与同事进行非正式讨论/信息共享;32.90%的受访者表示曾与同事作简短的汇报(最多1小时);8.11%的人表示曾写过文章或报告与同事分享。

讨论

主要研究结果

此前，TEACH项目被介绍为加拿大第一个大学认可的继续教育证书项目，该项目专注于强化戒烟培训的循证研究，从而增强系统能力。研究结果表明，证书项目影响了临床实践，突出了从研究到实践的成功知识转移[7］．我们开发了一个聚合的评估模型，在这个模型中，不同的评估模型根据它们的价值观、哲学和方法的相似性被分组。本研究通过从功利主义到直觉主义的评价维度，论证了体现批判现实主义视角的可行性，并使用混合方法设计Fitzpatrick、Moore和Kirkpatrick的综合模型，以提高质量和实现评价目标。然后我们应用这个模型来评估TEACH网络核心课程的有效性，从方法1到3的结果表明TEACH在以下方面是成功的:为不同学科的HCPs提供基于网络的戒烟咨询培训;教学内容和总体满意度(专业知识和以消费者为导向的方法)的高评级;显著提高参与者的知识和技能(面向目标的方法);有强烈的改变和维持实践改变的动机(管理导向的方法)。该模型还帮助我们(1)确定指导计划评估的主要因素，(2)平衡功利主义和直觉主义哲学在指导方法方法和工具方面的重要性，(3)鼓励多个利益相关者参与CPD计划评估。我们的聚合模型对受本体论和认识论不同观点影响的不同评估方法进行了分类，也根据我们认为的进行评估背后的驱动力，以及影响研究内容选择和研究方式的因素，对获取有效信息的方法进行了分类[14］．

我们的评价模型的方法1引导我们对节目质量进行综合判断，其中包括以专家为导向的评价和以消费者为导向的评价。它们是最古老的评估方法，指导评估者专注于评估或判断他们所评估项目的质量。15，16］．Scriven [16]认为，以消费者/学习者为导向的评价因素，如参与和满意度，可以作为评估项目的关键标准。参与可以引出培训是否具有竞争性(面向消费者/学习者)，特别是培训是否经过认证(面向专业知识)。方法1中的消费者/学习者导向的方法与House的[12的功利评价概念，以使参与者的满意度最大化。因此，评估者可以通过使用结果评分(如满意度数据)来关注整个群体的收益。以专门知识为导向的通过认证进行评价的方法是向学术界、一般公众、儿童保健中心和其他有关机构保证，培训是根据适当的教育目标设计的，并具有促进参与者取得成就的既定基础设施。这一发现与柯克伍德此前发表的一项研究一致，后者强调课程认证对项目评估的影响[17］．

我们的评估模型的方法2帮助我们确定我们的培训目标实现的程度。布鲁姆等人[18]，不仅强调在培训发展中确定适当目标的重要性，而且强调发展和衡量参与者实现这些目标的重要性。克伦巴赫(19，20.]还开发了一种方法，使用一种客观的和相关的测量技术，以提高培训内容的质量，与我们的目标导向的评估方法一致，其重点是指定目标和确定这些目标达到的程度(即，测量知识的变化，可行性，重要性和对课程能力的信心)。与直觉主义哲学一致，收集定性反馈也可以引出培训目标达到的程度。例如，这个试验中的定性反馈说明了未来技能发展的潜在领域和改进意见。

方法3面向决策制定，关注评估结果如何支持决策者(例如，经理和资助者)对项目改进和继续做出判断。基于对(可预测实践中实际变化的)变革承诺研究的回顾[21，22]，我们在培训后进行了3个月和6个月的随访调查，以评估实践变化。尽管通过我们当前的定量方法收集自我报告的实践更改数据有助于确定知识和技能岗位课程的实施，但它并没有提供指导具体项目改进所需的信息[5］．因此，我们未来的评估设计，根据直觉主义的哲学，将在3个月和6个月的随访调查中纳入定性问题，以支持决策者对项目改进做出判断的能力(管理导向的方法)。

通过方法4对整个聚合模型的应用有可能涉及到不同的利益相关者，包括那些直接受培训影响的人(例如，患者)，而不是把项目变更和实施的决策留给培训参与者和项目经理。我们的项目评估的未来方向将包括对TEACH的长期评估，通过对以前的参与者、他们的患者和他们的管理人员进行深度访谈，以充分捕捉项目评估的直观方法。该评估还将参与者以往的评估数据与患者健康结果联系起来，以确定培训对参与者以外的影响[12］．这种聚合模型有许多局限性。在不同的时候，政策制定者、资助机构、规划者、管理者或HCPs需要区分有价值的培训项目和无效的培训项目，并修改现有的培训项目，以达到理想的效果。为了全面做到这一点，评价方法需要包括成本效益分析措施。通过在形成性或总结性评价中增加一个与完成课程所花时间有关的问题，综合模型方法有可能客观地衡量培训的效果和效率。

本研究的另一个局限性是，我们在2015年通过基于网络的TEACH课程进行了试点研究，参与者为48人。这样做是为了评估需要重新设计评价问题和方法的新的评价模式的可行性。因此，我们无法利用我们之前研究中可用的大规模数据[7，因为之前的评估数据与我们新试点的问题不匹配。此外，我们在本研究中没有使用样本量计算。2015年，我们对一组首次体验新评估模型的参与者进行了综合评估模型的测试。试点研究的目的是测试解决新聚合模型和我们的设计的四种方法的可行性。一般来说，一些试点研究可能不需要样本量计算[23］．此外，正如康纳利所论证的[24,山25], Julious [26和范·贝尔[27]， 10至30名参与者是一个足够的样本量的试点研究。这个48个参与者的试点研究是排除我们开发的聚合模型故障的好方法，使团队熟悉程序，并测试模型和实验设计中的潜在缺陷。

聚合模型的另一个局限性是它的整体应用(例如，包括方法4)-评估可能是复杂的和资源密集型的。为了解决这一限制，评价人员需要考虑他们所拥有的资源和时间，以及方法4是否适合可行的工作范围。此外，我们在3个月和6个月的基于网络的后续调查中获得了27%和29%的回复率，尽管后续会向非受访者发送邮件提醒。尽管我们希望得到更好的回应，但其他针对HCPs的调查也往往得到较低的回应率[28，29］．

使用混合方法，平衡定量和定性数据，使其在评估中具有同等价值，这与使用现实主义方法来确定成功培训项目的背景因素是一致的，因为这些因素与培训的成败密切相关[6］．我们评估的量化结果与评估数值结果的客观主义认识论一致，以明确定义不同时间点的项目结果，并展示培训项目的整体影响。与许多其他评估方法类似，量化结果可用于指导评估者、管理人员、计划人员和参与者区分有价值的培训项目[30.从无效的。我们的评估目标之一将是提高这些调查执行后课程的回复率。TEACH项目评估方法的定性结果与主观主义认识论一致，即评估参与者的反馈以决定项目的成功和影响。定性结果也可以用来区分有价值的培训项目和无效的培训项目，并有助于指导项目修改。我们未来的研究将通过在3个月和6个月的随访调查中纳入定性问题，并通过对HCPs、他们的管理人员和培训后患者的半结构化深入访谈，更充分地结合这一点。

动态人类行为(即实践变化)的实现模型，如KTA周期，需要一个具有不同方法的综合评估框架，可以为未来的决策提供信息。一些评估者对评估模型的泛滥表示遗憾，并敦促努力综合现有的模型[31］．相反，一些研究表明，如果不过早地抑制评价领域的关键发展，就无法实现实现评价方法和措施的一致性的目标[32］．

结论

在这项评估研究中，不同的方法帮助我们理解与评估基于网络的TEACH核心课程相关的广泛需求。我们在哲学和方法论维度上的倾向和偏好导致我们选择了不同的模型、方法、数据收集工具、分析方法和解释技术。当我们继续前进时，我们必须确定在面对特定的评估需求时，每种方法中什么是有用的。这项研究还有助于证明聚合模型可以检测基于web的课程的效果和影响，因为每种方法都收集了影响不同利益相关者的丰富数据。这种综合评估方法似乎可以兼容并适用于基于实施框架的其他项目(如KTA)。聚合模型的一些主要特征和主要特征如下:

• 在建立评价模型时，必须考虑范式、理论框架、方法方法和数据收集方法。
• 一个全面的评价模型应该包括数据收集、分析和解释的定性(演绎或归纳)和定量方法。
• 功利的评价方法有助于通过更客观的视角确定影响。然而，直觉主义的方法，通过主观主义的镜头，可以发现信息来指导程序改进，超出最初的预期。