《应用健康科学电子学习:跨案例综合》，审查生产和交付中的成本测量

简介

基本原理

世界卫生组织(世卫组织)《世界卫生报告(2006年)》[1]传达了需要大幅增加全球卫生保健资源，以满足当前和未来对卫生专业人员的需求。目前卫生保健资源方面的挑战包括人口老龄化对慢性病管理的需求不断增加，以及人口增长对初级保健的需求增加[2］．对资源的需求增加，需要一种可扩展的手段来培训资源;通过替代面对面教学来优化培训的机会，提供了增加保健资源教育的速度和广度的可能性。2015年世卫组织对本科卫生专业教育电子学习的系统审查得出结论，“在知识和技能获得方面，基于计算机和基于网络的电子学习并不比面对面学习更好，也不差。”[3.］．e-Learning被定义为“一种教学方法，代表所应用的全部或部分教育模式，它基于使用电子媒体和设备作为工具，以改善获得培训、交流和互动的机会，并促进采用新的理解和发展学习的方法”[4］．它提供了一个可能的机会来改变和优化卫生专业的培训(包括临床、联合和应用健康科学，以及患者教育)，通过提供一种可扩展的教学手段，从而降低交付和实施所需的成本。如果我们接受教育学上的电子学习可以在最佳情况下产生积极的教育效果，这仍有待持续调查，那么电子学习的部署仍然有可能影响卫生专业教育的规模、成本和覆盖面。

研究问题

推行网上教学的动机之一，是其教学模式可长远提高效率[5，6］．数字授课与讲师面对面授课的成本相比，似乎具有长期的成本优势。7］．文献经常表明，与面对面教学相比，网络学习的好处在于其成本效益。8];然而，在电子学习课程的制作和执行中，与其他形式的教学或标准的成本预算进行比较的证据有限。就大规模在线开放课程(MOOCs)而言，有关其制作成本的证据有限。9］．此外，如果按照高标准执行，开发电子学习课程的成本是巨大的。虽然有些研究捕获了与教育成本相关因素相关的数据，但这些研究中的测量数据收集不一致，并且包含了各种各样的因素[3.，10］．成本计算模型的透明度有限，因为直接成本应应用于何处很敏感[11］．需要有系统的方法全面记录费用，以便随后测试电子学习课程是否具有理想的经济性质，以及在什么情况下具有经济性质[12］．如果事实证明是这样，这将有助于解决提供卫生专业教育的高成本问题。相比之下，如果证据指向相反的方向，拥有离散的数据点将使在线健康教育的参与者能够确定优化交付成本的方法。这里的主要问题是确定执行过程中的直接和间接成本，从而可以进行进一步的经济评价。

宗旨和目标

本研究的目的是建立一种方法，以确定应用健康(定义为应用健康学科)科学电子学习课程的设计、开发和部署中的成本，并随后为电子学习课程实施的规划和管理提出预算框架。本研究的成本包括从开课到课程交付的直接成本和间接成本。这种方法将允许课程设计者和实施者利用从研究的电子学习案例研究中获得的知识，跨越不同的实施环境，更好地计划和管理未来的实施，这也将创建一个可重用的框架来应用成本计划。这项工作将根据拟议的框架证明在执行前预算管理方面的效果，并应导致更好的课程规划。

本研究的目的如下:

• 建立一种方法，以获取电子学习课程生产成本的标准组件或成分。
• 确定教学设计对电子学习课程生产成本的影响。

这项研究的目的和目标，旨在弥补有关在卫生专业教育中规划和执行电子学习的实施细节的研究文献中的空白[8］．除了关于卫生专业教育电子学习的有限的以成本为中心的研究外，关于课程设计者和制作者如何计算这些课程类型的相关成本的细节也有限。开发模型将允许采用数据共享和课程规划，以改进课程方法执行中的管理，并进一步细化和分析。为了探讨这个问题，本研究考察了以下3个不同的电子学习实现作为案例研究。

教育行政人员与年轻患者接触

该课程是作为一个小型私人在线课程(SPOC)创建的，旨在为青少年管理问题的一般实践行政人员提供准备。该课程使用案例研究提供培训，以帮助全科医生有信心帮助青少年改善患者体验。

气候变化对公众健康的影响

本课程是一门MOOC课程，通过使用数据科学的多学科学术框架来分析、解释和展示证据，教育公民了解气候变化与公共卫生之间的关系。核心案例研究侧重于气候变化及其对地方、区域和国家卫生系统的卫生经济影响。

使用真实世界证据的医疗保健中的数据科学

本课程是一门混合式MOOC课程，目的是让学习者意识到数据科学对医学的影响，并激发这些方法在各个本科课程学科、英国国家卫生服务委托支持组织、卫生保健监管组织和生命科学行业(即制药、生物技术和医疗设备)中的应用。混合式MOOC课程是面向学习者的面对面课程;学习者首先参加MOOC课程，然后学习一门案例研究的住校课程。MOOC的目标受众是希望在医药行业或生物技术组织等卫生保健相关行业转型或提高数据科学技能的联合卫生专业人员或公民。该课程的主要目标之一是建立一个全球人员网络，以继续和推进卫生保健领域的数据科学对话。一些课程成果包括在卫生保健环境中使用和应用真实世界的证据数据收集和分析技术。

方法

选择了混合方法的案例研究设计，以支持观察调查对象的系统手段[13]以及结合定量和定性方法的能力[14］．混合方法研究为结合定量和定性研究的优势提供了机会，以抵消单独使用每种方法所固有的局限性[14］．例如，在本研究中，定量隔离3个案例中的成本差异的局限性因用于解释结果的定性方法的可重复性和可泛化性而得到加强。案例研究的选择是基于它们与研究调查的相关性以及从每个案例中捕获、记录和分析数据的能力。每项研究都通过一个研究方案来组织，以管理案件的执行。

案例研究概述

情况概述

本案例研究的目的是为未来电子学习课程开发的成本预算提供参考。这项研究是对电子学习课程制作成本进行更广泛调查的一部分;每个案例的主要焦点是收集这些成本构建的主要证据，以便进一步研究将结果与其他基于web的学习实现类型进行比较。

• 研究问题:如何计算制作和交付电子学习课程的总成本(取决于类型)?
• 命题:实际成本和预算成本会因课程类型的制作或交付而有所不同。

现有的研究文献表明，尽管有标准的成本计算方法，但在获取基于网络的学习生产的总成本方面存在挑战[8］．造成这种差异的原因可能是因为创建教学设计和获取成本所需的技能是不同的，而且教育工作者没有接受过成本会计方法的培训。

这项调查的分析框架是基于Levin [15]，扩展了作业成本法的标准成本及差异计算原则[16-18］．的成分的方法［15]用于根据成本类别捕获总生产成本。它审查了提供教育干预的核心成本构成;这是一种基于作业的成本计算方法，旨在了解交付所需的核心组件。定义核心成本对于进行进一步的经济评估是至关重要的，尽管需要注意的是，这项研究的范围仅限于成本识别，而不是进一步的经济分析(如成本效益分析、成本效益分析、成本效用分析和成本可行性分析)。

个案研究方案(多媒体附件1，2,3.，)在研究开始时开发，以演示捕获和分析成本的方式。这些方案，除了用于学习效果的定性和定量分析的方案(这超出了成本调查的范围)之外[19起草、提交、同行评审并获得批准。

数据收集程序

预期证据

为了验证实际预算中报告的成本(这是一个实际的成本报告)，至少需要2个单独的来源来确认最终报告的金额(例如，对于报告的工作人员已发生的成本，审查时间表以使工时与成本、任务完成和项目计划中的分配相匹配)。这些数据比较增加了报告数据准确的可能性。

需要观察的事件

虽然对课程实施进行了观察，并完成了调查教育效果的额外研究，但本研究的范围集中在成本决策和生产影响成本交付的方式上。因此，本研究的观察范围集中在报告成本以及这些相关数据与实际时间的关联方式。

待审阅的文件

本研究回顾了项目预算、实际成本和进度表。虽然会对已完成的课程进行回顾，并观察完成课程的方式，但后者不包括在本次研究中。在Microsoft Excel中维护可追溯日志，将研究问题与数据源和研究结果联系起来。

协议的问题

研究问题:如何计算制作和交付电子学习(类型取决于实施类型)课程的总成本?

• 成本将被衡量，成分将被捕获和分析，以了解影响课程制作的因素。
• 将收集数据以支持成本分析类别。
• 相应的证据将用于总结成本捕获实践可以改进的方式。

研究框架

计划

每个个案研究在调查过程中遵循六个阶段(表1) [13］．研究问题集中在确定这些电子学习实施的生产和交付的总成本，以及与预期预算差异的因素的影响。之所以选择它，是因为来自文献的证据表明，在确定网络课程的交付成本方面存在不一致性[20.］．这是很重要的，因为基于web的学习缺乏一致的成本捕获机制会影响任何进一步的评估。尽管有一些方法可以避免这种结果，但文献研究表明，基于网络的学习更有效成本效益而不是面对面的学习。本研究提供了一种结构化的方法来生成证据，以便通过收集课程制作的基线数据来进一步评估这种说法。

设计

研究设计(表2)，由4个组成部分(命题、案例定义、数据与命题的关联逻辑，以及解释研究结果的标准)构成，探讨以下研究问题:如何计算电子学习的生产和交付总成本(电子学习实施类型因案例研究而有所不同)?鉴于文献中对成本的表述不一致，并认识到用预算来确定教育交付的成本是不够的[21]，调查的主导命题是，制作课程的预算成本和实际成本之间会有差异。这是通过案例来探索的，这些案例将检查成本和成本的测量，并对成分进行价值评估。莱文提出了这个成分的方法获取并分析教育项目实施过程中的成本。为了将案例与命题联系起来，完成了成本计算，然后通过实际成本与预算成本的方差计算来解释，并提出了证明变化的理由。

对这些案例的研究为分析电子学习中课程制作与预算之间的关系提供了数据，并为构建准确的预算模型提供了证据。

每个案例都进行了结构有效性(测试数据源是否来自多个来源)、外部有效性(测试主要发现如何可扩展)和可靠性(测试研究活动如何可复制)的测试，以确保数据三角化、研究复制的能力以及项目数据收集的标准化[13］．每项研究都通过帝国理工学院教育伦理研究委员会获得伦理批准(案例1:EERP1516-005;case 2和3:EERP1617-030)。

准备

调查的重点是成本测量和分析，由3个成本类别构成，并使用7步流程进一步细分(见表3下)分析制作前和制作后预算[21］．Levin的模型使用了一种基于活动的标准成本会计方法，该方法在每个实施领域消耗成本时分配成本[25，26］．

收集

课程中的证据来自项目文件和财务活动记录。数据收集策略从现实主义的角度执行，以捕捉课程设计师所做的决策;然而，通过进一步的定性调查，它并没有纳入关于利益相关者的相对主义观点。这一决定是为了避免干扰课程的交付。为了控制有偏见的选择性和报告偏见，数据来自多个来源，包括财务日志(和注释)、提交给雇主的数据、出资人和时间表。保持一个可追溯日志，将研究问题与相关数据源和研究结果联系起来。

分析

数据分析以3个成本类别为中心，并遵循成本定义的7步过程。

A类:成本的概念和计量

对生产前预算进行了以下成分类别的分析:(1)人员，(2)房地产费用，(3)设备和材料，(4)间接成本和(5)利益相关者成本。最初的预算没有反映出利益相关者成本的时间(来自第三方讲师的努力);因此，这被记录为研究中监测的额外时间(并添加到预算方差计算中)，因为在提交给资助者的数据中没有这一价值。

B类:赋予成分价值

在确定了生产的全部成本后，将价值与每个成分子类别相关联，以反映应收取的成本(包括直接和间接成本)。

C类:计算成本

由于每门课程都在1年内实施，而且课程是基于网络的，因此不需要计算多年的成本;项目的一次性成本和预计预算与实际预算的差异是唯一考虑的变量。为了做到这一点，在项目完成时对预算与已发生成本进行了方差计算。方差计算将实际成本与根据发生情况调整的标准条件进行比较[28］．

方差计算公式为:方差=实际支出−预算支出。

分析观测预算方差计算的成本

为了确定有利或不利的预算差异的原因，我们采访了课程设计师，以确定造成预算差异的因素。这项定性工作是通过报告定性研究的综合标准来计划的[29]为确保由适当的训练有素的工作人员进行访谈，研究设计包括对课程设计者进行有目的的抽样，访谈可以验证课程的有效性，并且由此产生的分析和发现是可重复的[29］．会议以半结构化访谈的形式进行，采用主题分析进行转录和编码[30.使用全面质量管理(TQM)作为编码标准。全面质量管理(31]是一种质量评估方法，用于分析影响运作效率的因素[32］．TQM提供了一种方法，通过将系统方法应用于管理，对与人、过程或技术相关的问题进行分类图1)．对于每一个成本差异的领域，课程设计师都被要求审查预算报告，以确定项目生命周期中预测差异的阶段，并描述造成差异的因素。访谈结束后，两名研究人员对这些数据进行了独立编码，以创建一种解释成本计算方差的新方法。例如，如果成本差异归因于涉众成本，研究人员将检查报告的季度预算(或项目时间间隔)，并确定差异开始发生的位置。如果差异开始于项目的构建阶段，则分析项目计划，并向课程设计人员询问围绕项目活动的问题，以确定根本原因。

全面质量管理分析的关键主题在每个案例中都被提出，表明了在电子学习预算创建中需要改进或提高效率的领域的总结观点。

分享

方差计算的结果和导致变化原因的演绎-归纳解释已在案例报告中提交给课程设计和制作团队。收集分析和结果的反馈;每一份报告的主要发现都准备在同行评议期刊上发表。

Cross-Case合成

为了从个案的综合分析中得出结果，本研究采用了跨个案研究综合[13]如图2．案例中的标准变量集中在配料及其与预算的成本差异上。

‎ 查看此图

‎ 查看此图

结果

课程制作成本

A类:成本的概念和计量

每个案例的成本被总结为组件，并被分为成分成本类别(表4)．

B类:赋予成分价值

在完成课程制作的成分分析后，初步预算被创建并提交给资助者。

C类:成本分析

预算方差计算

案例1

在这种情况下，项目实施成本的负方差为41% (多媒体附件4)．最显著负方差(135%;多媒体附件4)的成本来自设备和材料，主要来自创建一门基于网络课程的应用程序开发成本。由于制作团队之前没有创建过基于web的课程，因此构建和配置系统(使用Open edX学习管理系统平台开发)和完成课程编辑所需的时间大大低估了。此外，必须采购在完成预算时还不了解的专业录音设备。其次是显著的负方差(76%;多媒体附件4)是第三方利益相关方制作学习材料所需的时间。分配给讲师录音的时间被低估了;为了解决内容的变化，不得不重播了几次录音。最低的负成本方差(31%;多媒体附件4)在提供课程的人员成本中。虽然差异是三个类别中最小的，但它很重要，因为课程制作团队没有因为他们的额外工作而获得任何额外的补偿;这些额外的工作已列在项目时间表中，但没有提交给出资人报销。

案例2

实际成本与预算成本在人员、设备和材料以及利益相关者成本方面存在差异，生产总成本的负方差为113% (多媒体附件4)。最显著的差异是利益相关者成本，其中外部讲师和主题专家交付工作的总时间大大低于预算，负方差为190% (多媒体附件4)．这种低估的原因是视频必须重拍两次，分配给利益相关者和完成相关课程更新的时间极大地影响了预算。第二大差异是在人员方面;成本差异与视频重拍所需的额外制作时间直接相关，此外还有平台开发的迭代。课程实施在线学习提供商在项目期间也从edX切换到FutureLearn学习管理系统，需要重新完成之前完成的任务。由于团队在FutureLearn平台上没有经验，这进一步解释了额外的工作和不利的预算差异;一个在课程材料设计方面有经验和训练的团队很可能会得到不同的结果。最后，设备和材料也被低估，负方差为133% (多媒体附件4)，以处理视频编辑所需的额外软件，以及为处理课程开发所需的额外编辑工作而增加的工作站。

案例3

与之前的案例研究相比，本案例显示了16%的正方差(多媒体附件4)。利益相关方对专题专家讲师的费用估计略高，但接近预算。需要注意的是，第三方涉众团队在制作相关课程作业方面有丰富的合作经验，这可能导致工作量估算的准确性。设备和材料的显著正方差为37% (多媒体附件4）;原因是，并不是所有为课程开发计划的设备都是必要的，因为在课程制作和数据科学模块的精简中获得了效率，而这些模块被认为需要定制应用程序开发。人事方面的负方差为13%;这与视频编辑需要额外的努力有关。此外，课程提前完成，比预期的时间更短。

成本成分的构建和随后的成本分析进行了3次验证测试(表5)．

使用全面质量管理对影响预算的因素进行分类，对影响预算差异的问题进行分类(表6)．虽然每门课程都采用了不同形式的电子学习，但影响每个案例的问题是相似的，而且是交叉适用的。预算的关键考虑不是电子学习类型的一个方面，而是与课程创建的项目管理相关的计划。

项目管理

每个案例都以不同的方式实施了项目管理方法，用于在设计中组织关键的可交付成果和任务，以及集成学习设计方法。案例1采用了与项目相关的以任务为中心的行动来匹配每个学习结果。案例2集成了分析、设计、开发、实现和评估(ADDIE)模型，课程计划是沿着每个设计阶段构建的，而案例3在课程建设中使用ADDIE模型时实现了敏捷项目管理模型(带有迭代)。

参与者信息

案例1

2016年9月至2016年12月，共有124名学员在SPOC注册(表7)．其中84%的学生完成了课程并获得了毕业证书。然而，课程的接受和完成并不影响课程实施后的生产成本，因为课程被设计为一个自我管理的SPOC，在部署后不需要进一步的管理。

案例2

2017年11月至2017年12月，共有968名学员参与MOOC课程(表7)．其中17%的学生完成了课程。课程完成率与慕课的完成率一致[33在这些国家，尽管初级学习者的入学率很高，但课程活动完成率在8%至20%之间。

案例3

2018年9月至2018年12月，共有5036名学员参与MOOC课程(表7)．其中，12%的学生完成了课程。课程完成率也与慕课的完成率一致[33］．2018年11月举办了混合住宿课程，有14名学员参加(这些学员包括在MOOC集合中)。在本次住宿课程中，学员先完成MOOC预学习，然后进行案例研究，将课程学习付诸实践。

讨论

主要研究结果

本研究旨在建立一种方法，以确定在设计、开发和部署应用卫生专业电子学习课程的成本。构建电子学习课程的标准组成部分由本研究中使用的方法确定，该方法将现有的成本预算方法与结果解释的定性方法相结合。尽管Levin的成分法提供了一种用于预算的成本分类、设计和实施成本的机制，TQM提供了一个定性框架来检查设计和生产决策对预算的影响。在项目结束时，影响预算能否按照预期执行的关键问题与过程问题有关。熟悉技术也是情况1和2中的一个关键问题，熟悉生产方法和学习技术对预期的努力有影响。

从这些案例的审查中提出的主要建议集中在3个与过程相关的增强领域，1与项目管理有关，其余2与预算管理有关，两者都与课程制作和教学设计有关:

项目管理:教学设计方法与项目生命周期阶段的联系，并进行时间跟踪

项目管理使活动的规划和优先排序成为可能;风险、问题和行动的管理;保证质量。在这些观察到的案例中，使用稳健的项目管理方法和开发迭代方法来验证学习材料往往会产生良好的结果。此外，将教学设计方法与项目阶段联系起来，并按时间跟踪每个组件的任务，可以提高意识，并将交付的相关财务影响与课程建设联系起来。

预算计划:在预算时间估计中的信心因素的使用

在所有情况下，一个至关重要的问题是高估了构建任务所需的工作量。为了更好地管理时间跟踪，我们建议按照与学习设计相关的时间跟踪任务，但作为一个额外的措施，在预算中建立信心因素，在建立初始预算时允许一定程度的错误和偶然性。信心因子是添加到初始成本预测中的方差百分比，可以作为应急添加;基于需求、方法熟悉度和其他因素应用置信度因子可以获得更高的估计精度。

预算规划:类似实施的预算预测建模

案例3在交付方面是最成功的，因为课程团队一起交付了类似的内容，能够在已有的关系中获得效率，并且有一个建立成本模型的证据基础。在规划e-Learning实施时，起点同样应该是以前的项目或使用影响成本因素的文献数据，因此预算不是从零开始确定的。在情况1和2中观察到的预算差异问题的一部分与没有根据事先证据作出的费用估计有关;这可以通过使用经验驱动的起点来控制。

优势与局限

本研究分析了3个不同的电子学习案例，涵盖了3年6128名应用健康学习者，并对影响课程制作和开发的问题进行了全面总结。这些信息对于课程设计者在规划其电子学习实施时很有用，也有助于他们吸取经验教训来规划预算，以确保项目达到目标。

我们注意到这项研究的4个局限性。案例研究只能提供在每个案例中观察到的活动的快照，而且这些案例可能对其他情况的适用性有限。在每个案例中，使用结构效度、外部效度和信度测试可以缓解这一问题，但重要的是要注意，由于设计原因，案例研究在观察所考虑的事件时具有固有的局限性;实验方法提供了比测试结果更严格的结果。此外，案例研究的选择是机会主义的，因为它们是第一作者研究单位内可访问的电子学习项目。第二个限制是没有对利益相关者的态度、观点和看法进行进一步的定性调查。这将增加一个额外的数据集来分析影响预算的因素，这意味着研究人员从数据中得出的结论可能与利益相关者的进一步直接询问不同。然而，值得注意的是，利益攸关方确实审查了最终病例报告的准确性和与事件的一致性。第三个限制是，该研究没有对课程设计师在创作工具、许可成本、专业知识和其他影响直接成本的因素方面所做的决定进行严格的审查;对这些费用的审查，包括对三个来源进行三角定位，将会得到进一步影响结果的证据。 Finally, the study made use of a mixed-methods approach to analyze horizontal budget analysis but did not undertake an analysis for offsetting or magnifying variances, return on investment, forecasting, sensitivity analysis, or other financial planning and analysis methods. An economic study focused on outcomes and cost could provide further data that would potentially influence implementation considerations.

进一步的研究

本研究的产出，除了执行过程和对优势和局限性的反思之外，还为未来的研究提出了3个可能的领域:

电子学习实施的成本经济评估标准

对电子学习进行的经济评估有限，很可能是因为教育工作者关注的是内容交付和教育效果，而不是创造成本证据。这项研究对现有的成本计算方法进行了扩展，并演示了如何将其应用于电子学习，允许未来的研究人员重用这种方法来创建一致的成本计算数据，随后可以对其进行基准测试。随着电子学习成本数据的证据基础越来越多，这也可以促进对各种经济评估形式的进一步研究，为未来投资电子学习创造可能的商业案例，如果价值得到证明的话。

综合项目管理，教学设计方法，和成本计算

本研究观察到项目管理方法与教学设计方法相结合的好处;进一步研究如何将现有的教学设计方法与项目管理方法结合起来，并将这些方法与成本管理方法联系起来，有助解决电子学习所需的高投资成本问题。

学生和教育者的成本和价值观念

使用本研究方法中改进的成本数据，进一步的研究可以尝试通过比较学生和教育者的观点来确定对成本和价值的看法。

结论

与面对面教学相比，电子学习研究一直认为其成本效益的前景和机会;然而，支持其交付所需成本的基础数据并不为人所熟知[8］．为了实施进一步的经济评估，以了解电子学习相对于其他学习类型的价值，首先有必要制定一种标准的方法来计算这些类型项目的交付成本。通过持续管理影响课程制作成本的因素，可以使用标准的经济评估方法进行进一步研究，以评估使用电子学习的优势。本研究有助于了解影响电子学习课程设计、开发和部署成本计划的问题，并就控制电子学习项目的成本差异提供建议。本研究为电子学习的成本计算提供了一个系统的方法，课程设计者和研究人员可以使用它来设计和计算生产和部署的成本。