电子学习评估采用混合方法，采用融合设计[ 12， 13)(见 图1)，从不同角度搜集资料，并全面了解以下研究问题[ 12]:

数据收集遵循了一个有目的的，非随机抽样程序，因为所有参与电子学习平台的学生和教师都被包括在内。定性研究报告综合准则指导定性数据收集[ 14］．定量数据收集遵循"评估定量健康科学研究的严谨性"准则[ 13］．结果通过合并和比较两组数据进行验证[ 12］．

定性数据包括:(1)给学生提供关于电子学习材料和使用情况的反馈的学习者日记，(2)6次半结构化学生访谈，使用12个指导性问题，有目的地选择，包括3名女性和3名男性，年龄≤30岁，≥31-45岁，>岁(见 多媒体附件2)，以及(3)2016年7月学年结束时，在一般平板电脑维护期间，来自学生陈述和平板电脑现状(即平板电脑状况、已安装的应用程序、特定的平板电脑配置)的非正式反馈。

定量数据包括:

赞比亚大学生物医学研究伦理委员会以及德国海德堡大学医院伦理委员会批准了这项研究的方案。所有参与研究的学生在参与本研究之前都同意将跟踪和分析用户数据(使用频率)。所有接触和选择的访谈参与者都被告知访谈的范围和目的以及他们退出的权利。所有参与者都给予书面同意。参与研究的所有学生和教师都受到了尊重。在分析之前，调查中收集的所有数据都是匿名的。

整体而言，网上学习平台的试验阶段取得了以下成果:

结果根据各自的评估方法，然后根据研究问题简明扼要地提出。

共有14名女性和38名男性(52/65学生)参与了这项研究，除了期末考试，所有65名学生都参加了考试。ML学生是一个异质性群体，最年轻的学生为27岁，最大的学生为54岁 图2)．学生分布反映了临床经验从新手到相当有经验的成人学习者(见 图3): 85%(44/52)有超过10年的临床工作经验，8%(4/52)有超过25年的连续工作经验，15%(8/52)有少于5年的连续工作经验 图3)．医学指导员(2名女性，14名男性)年龄在36-56岁之间。大多数医学指导员(14/ 16,88%)具有10年以上的专业医疗实践经验。

所有ML学生在最后一学年都有期末考试(65/65)。对于参加考试的所有65名ML学生，结果与涵盖IS成功模型的所有因素(即信息质量、服务质量、系统质量、用户满意度、系统使用、净效益)和TAM的问卷结果进行相关性检查(单向方差分析)。 图4而且 5为医学指导员提供基于IS成功和TAM模型的结果。 图6用IS成功模型和TAM对ML学生的结果进行比较。研究人员还检查了学习者日记中自我报告的使用情况。没有发现相关性。

2016年1月至3月期间，共有12名医学教师和5名学生登录了在线电子学习平台。事实证明，在线学习平台的使用频率太低，不适合纳入混合方法分析，结果被丢弃。

在52个学习者日记中，只有34个被收集 多媒体附件6)．从2017年1月到5月，日记平均包含27个条目(范围2-85个条目) 图7)．最常用的评论笔记是“好信息”、“极好的笔记”、“好笔记”、“理解得很好”、“总结得很好”、“好”、“极好的”和“有用的信息”。对内容的评价总体上是积极的:“好信息”、“优秀笔记”、“好笔记”、“理解得很好”、“总结得很好”、“好”、“优秀”和“有用的信息”。

学生们几乎正确地回答了预测的所有问题。因此，在课程结束后，前测并没有提供对评估知识差异有用的细微差别结果，因此后测被省略了(见 多媒体预备考试)。

共有52名学生和16名医学指导教师完成了问卷调查 图6)．对两组的以下变量进行了相关性测试:年龄、性别和医疗实践年限。我们发现，学生年龄越大，对电子学习干预的满意度越高( P= .02点)。男生对资讯质量的满意度较高( P=.03)，用户满意度较高( P=.01)，系统使用( P<.001)，以及技术接受度( P<措施)。行医年限与问卷调查结果无关。

在卢萨卡CCHS校园的一间僻静的办公室里，共进行了6次半结构化访谈。访谈结果包含在以下对结果的合并解释中。

总的来说，ML电子学习平台被学生们认为是有益的，支持他们的临床表现，并很好地符合他们的临床职责:“非常有信息量……在随叫随到的时候，因为[平板电脑]很容易在查房期间携带”，“在分娩病房的晚上查房期间阅读”，“在查房期间，被咨询师问了一个问题-必须做参考，非常有帮助。”大家普遍认为通过电子学习是一个好主意，也很适合ML学生的学习风格。一名学生提到，“我不用回家看课本了”，另一名学生说，平板电脑“很方便”，“用于咨询”。

电子学习作为一种新的学习技术的接受度很高(超过80%的受访者，包括ML学生和医学教师)。学生们对信息系统的态度略不乐观(超过75%的受访者持肯定态度)。学生的反馈也证实了这一点，因为他们认为平板电脑和电子学习平台是机器学习项目的积极发展，而电子学习平台是程序开发的一种地位象征。在ML学生和医学导师中，该问卷在信息质量、用户满意度和净收益方面的评分最低。学生对用户满意度和净效益评价很高。对于大多数学生来说，使用和访问平板电脑上的资料相对容易。学生表示，学习如何使用网上学习平台的努力是可以接受的，他们认为网上学习平台的用户界面合适，而且功能吸引人。学生们评论说，这是“方便”和“非常好的获取信息”。大多数学生认为他们的同学对ML在线学习平台持积极态度。ML学生和医学导师认为感知效用是足够的，但ML电子学习的范围被认为是不够的。

大多数医学教师表示，他们喜欢使用计算机来辅助教学，并且不同意计算机使他们感到不舒服、不安或困惑。医学导师们也认为电脑不仅仅是年轻人的专利。大多数医学教师打算使用电子学习平台来辅助教学。他们对网上学习平台持积极态度，并认为该平台有助提高他们的生产力和教学表现。对于大多数医学讲师来说，学习如何使用ML电子学习平台是很容易的，就像有人提到的那样，这“并不费力”。大多数医学讲师认为对使用电子学习平台的信心是合理的。人们认为计算机不能提高教学和日常医疗实践的工作效率。使用电子学习的医学指导员对电子学习平台的积极态度比他们的医学指导员同事的积极态度要高。

大多数学生报告说他们经常访问这个平台，通常是每天。一些学生表示，由于技术问题，使用该平台很困难。一名学生提到，“由于设置错误，无法将内容下载到平板电脑上，所以几乎没有机会有效地使用该设备。”少数学生表示，他们在实习轮岗期间并没有经常使用电子学习平台，因为他们还没有找到足够的实习轮岗材料。两名受访者报告说，他们在选修课期间较少使用该片，因为ML电子学习平台上还没有麻醉等科目。在学生调查问卷中，ML研究和医疗实践对ML电子学习平台的依赖程度被评为较低。在学年结束时对平板电脑的维护显示，许多学生下载了额外的应用程序，如Medscape，儿科离线手册和疾病离线词典。

医学导师评价在线电子学习平台的感知效用为中性。ML电子学习平台的使用数据显示参与率较低。12名医学导师在2016年1月、2月和3月的5个日期在在线电子学习平台上注册，时间不超过30分钟。

问卷调查结果显示，ML电子学习平台为ML医疗实践提供了相关信息。然而，学习材料的数量和质量被评为不足。一个学生说:“书本清楚，ppt不清楚。”另一位表示，“编入的教材数量对于这门课程来说太少了”，而且“学习课程中的其他课程内容缺失了”。学生们更喜欢有更多多媒体支持的内容，如“更多关于手术的视频”，例如外科、产科和妇科。可用的音频演示被认为是“精美的视频，精心制作的”。受访者要求提供快速参考指南或手册，例如儿科营养不良或急诊治疗。此外，ML学生认为，如果有更多与考试相关的材料，这是有帮助的。针对一些电子学习内容提出了改进平板电脑导航的建议。

医学导师透露，高度一致认为，电子学习是一个有用和有价值的工具，可以作为机器学习计划的核心组成部分。医学教师并不认为电子学习比传统的教学方法更费时。

学生们认为电子学习平台有助于提高他们的医疗表现。他们发现这对他们的研究很有用，并培养了临床思维。学生对学习成绩的提高感到满意，净效益也不错，因为网上学习节省了学生搜寻相关学习资料的时间。电子学习材料补充了面对面的教学课程，并引发了小组讨论。一名ML学生报告说，他“从以前课堂上的笔记中发现了新的信息，非常有教育意义，在我的小组中进行了小组讨论并进行了比较。”一位受访者建议学生在电子学习平台上相互分享学习材料。一些学生要求设立一个讨论板，由医学导师对学生的问题和评论进行反馈。

医学导师反映，他们对ML电子学习平台提供优质教育，提高学生的学习效果持积极态度。然而，在电子学习积极影响学生作为ML从业者的表现方面，这一协议较低。医学教师大多对电子学习优于教科书学习持中立态度，而普遍认为电子学习可以提高教学效果。

学生们发现平板电脑没有SIM卡插槽是一个限制因素:“如果它(平板电脑)有SIM卡”，“需要有SIM卡的平板电脑来连接互联网”，“如果平板电脑有SIM卡来连接网络，而不是依赖WiFi，那就更好了”。移动数据被认为是一个至关重要的特征，特别是在互联网接入有限的农村实际站点:“由于接入互联网的挑战，平板电脑没有SIM卡，学校也没有互联网”，“只有有限的地方有互联网服务”，“没有WiFi”，“互联网关闭”，“没有WiFi”。

另一个挑战是电子学习平台和平板电脑的技术支持水平，学生们认为这是不够的。学生们报告说，支持“没有帮助”，有时“没有来自IT的反馈”。

总体而言，学生对在线电子学习平台的访问和使用评分最低。一些学生认为他们的技能不足以充分利用ML电子学习平台，并表示“需要定向和实践”，有时他们“需要咨询某人”，因为目前“没有教练”。所提供的教程确实支持学生，但需要更多和更详细的材料。调查问卷的结果强调了电子学习培训的必要性和正式工作人员发展的必要性。医学讲师提到“一些(医学讲师)需要适应环境，”另一位承认“我遇到了一些挑战。”

电子学习平台的试点阶段持续了6个多月，并证明了电子学习平台和离线平板电脑组件是在这种低资源环境下可行的教学工具。

最初，网上学习平台只提供少量互动和多媒体学习资料。大多数电子学习材料由课堂笔记组成，主要用于课堂演示，而不是作为综合电子学习材料。因此，这些材料并不是学生理想的学习材料。信息质量类别的评分较低，可能是由于电子学习平台上的课堂笔记占主导地位。使用者满意度及净效益亦较低，显示网上学习平台未能充分满足学生的需要。提高电子学习材料的数量和质量以及调整现有材料可能会解决这些缺点。对更多电子学习材料的需求反映在各种其他医疗平板电脑应用程序的使用上，如在平板电脑上下载的Medscape和医学词典。此外，学生们认为平板电脑并没有发挥应有的作用，因为它没有SIM卡插槽，无法使用移动数据，而且需要进行全面的培训。一张SIM卡将使赞比亚农村地区的学生也能访问在线资料。当我们决定在试点阶段使用平板电脑时，我们认真考虑了相关成本，例如，学生支付平板电脑的费用。 Therefore, we selected a comparatively inexpensive device that did not provide a SIM card slot. Although usage and materials of the online e-learning platform show a clear need for improvement, ML students regarded the tablets and the e-learning platform as a privilege and a development in the ML program.

年龄较大的学生比年龄较小的学生对电子学习干预更满意。有可能他们一生中没有像年轻的学生那样接触过那么多的技术，因此认为在他们的教育环境中包括这种技术是非同寻常的。

医学导师认为电子学习平台对机器学习项目非常有利。然而，由于只有少数医学教师登录，在线电子学习平台的实际使用率并不高，没有达到预期的高使用率。印度的另一项研究也有类似的发现[ 20.]，其中电子学习用户反馈积极，但使用率较低。本研究中的一些医学指导教师表示，他们从未使用过该平台。因此，辅导员使用评价只能反映总体趋势。让医学教师更积极地参与电子学习是一个重大挑战，因为即使在机器学习项目中，医学教师也是稀缺的。医学导师和学院需要大量投资来开发更多的电子学习材料。一个潜在的促成因素可能是使电子学习对医学教师更有用，并提高电子学习平台的有效性，例如引入电子学生评估。

评估方法是试点的一部分。选择混合方法是为了更全面地理解评价结果[ 21， 22］．据我们所知，这是第一个为低资源环境提供自我导向的离线电子学习方法的研究之一，使用混合方法进行评估。大多数电子学习干预措施提供了个人电脑可访问的在线设置。然而，我们的搜索确实发现了报告中低收入和中低收入家庭使用个人电脑的离线方法的出版物[ 23- 26］．报告的方法产生了不同程度的见解，也揭示了需要调整以产生评估结果的方法，例如与学生预测的知识评估被证明太容易了，因此没有产生知识的细微差别。由于只有少数学生和医学教师登录在线平台，因此在线使用数据不充分。电子学习平台主要是离线访问。因此，在线数据是稀缺的。从预测试中获得的经验教训，以及下一个评估阶段的使用数据，包括增加知识评估预测试的难度，以及收集平板电脑上离线Moodle应用程序的使用数据。

学习者日记确实对学习材料的使用、质量和有用性提供了有用的反馈。这一发现强调了学生认为电子学习平台是一个有价值的改进。然而，他们对学习材料质量的看法并没有被揭示出来。如果选择标准是结构化的，学习者日记可能会提供进一步的见解，即包括访问时间，电子学习材料的类型和专业，学习持续时间和缩放评分。然而，只有少数学生勤奋地写学习日记，有些日记丢失了。总体而言，试点阶段的评估方法和结果能够突出电子学习平台的需求，并指出需要进一步改进。虽然结果不能定量地提供知识和技能提高的见解，但电子学习干预被认为是相当积极的，可能是增加ML项目吸引力的一个因素。

这种电子学习干预的试验阶段的结果证实了它在这种低资源环境下的可行性。评价结果表明，该技术框架对学生是有用的和支持性的，受到学生和医学教师的好评和接受。应用混合方法来评估这种电子学习干预被证明足以在教材质量、有用性、电子学习平台的使用、技术的适当性和挑战方面产生有价值的结果，尽管像前后测试、学习者日记和使用数据等方法需要调整以获取有意义的数据。

总的来说，从长远来看，电子学习平台有潜力加强机器学习培训。然而，建立可靠的it基础设施和坚定的利益攸关方(尤其是敬业的医学辅导员)至关重要，以便在资源匮乏的环境中可持续和全面地整合医学教育电子学习。