这是一篇开放获取的文章,根据创作共用署名许可协议(https://creativecommons.org/licenses/by/4.0/)的条款发布,允许在任何媒介上不受限制地使用、分发和复制,前提是正确引用最初发表在JMIR儿科学和育儿杂志上的原创作品。必须包括完整的书目信息,https://pediatrics.www.mybigtv.com上的原始出版物的链接,以及此版权和许可信息。
迫切需要有效扩大身体活动干预措施,以解决缺乏身体活动的高患病率。为促进有效的校本体育活动计划(physical activity 4 Everyone [PA4E1])的推广,对体育教师的实施支持从面对面和纸质交付模式调整为部分通过网站交付。缺乏对包括网站在内的数字交付模式的参与(使用和主观体验),可能在一定程度上解释了使用数字交付模式的大规模干预措施的有效性普遍下降。针对PA4E1网站进行了过程评估。
研究的两个目标是:(1)用定量方法描述校内冠军(在学校内领导该项目的体育教师)和体育教师对PA4E1项目网站的使用情况;(2)采用混合方法,从校内冠军的角度考察PA4E1项目网站的使用情况、主观体验和可用性。
第一个目标使用了PA4E1实现支持的9个学校学期中收集的所有用户(n=273)的网站使用数据。4项使用指标分别是会话数、页面浏览量、平均会话时长和下载量。在为期26个月的项目期间,计算和探索了描述性统计数据。第二个目标使用混合方法,将第一个目标的数据与自言自语调查和可用性测试的数据进行三角分析,这些数据由校内冠军(n=13人)在12个月时完成。定性数据与三角测量矩阵中定量数据的描述性统计数据一起进行主题分析,使用“循线”方法生成横切主题。
对于第一个目标,校内冠军平均每个用户有48.0节课,体育老师有5.8节课。体育老师的授课时间更长(10.5分钟对7.6分钟),页面浏览量也更多(5.4分钟对3.4分钟)。第二个目标的混合方法分析结果发现9个主题和2个元主题。第一个元主题表明,该网站是一个可以接受和适当的交付方式,网站的可用性较高。第二个元主题认为网站内容是可接受和适当的,并提出了具体的改进建议。
针对身体活动的数字健康干预经常遇到缺乏用户参与的问题。相比之下,定量和混合方法分析的结果表明,PA4E1网站对学校教师的使用率高,总体可接受性和适当性。研究结果支持了该网站在多交付模式实施干预中支持学校实施体育活动推广实践的价值。分析确定了干预措施的改进建议,可用于未来的迭代和进一步扩大PA4E1项目。
澳大利亚新西兰临床试验注册中心ACTRN12617000681358;https://www.anzctr.org.au/Trial/Registration/TrialReview.aspx?id=372870
多达四分之一(25%)的成年人和五分之四(80%)的青少年不符合有氧运动的全球建议,因此罹患非传染性疾病和过早死亡的风险增加[
有许多有效的健康干预措施[
缺乏与数字技术的接触[
建议将过程评价作为所有随机试验综合评价的一部分,以帮助解释试验结果,并更好地理解和解释为什么干预措施有效或无效[
鉴于缺乏针对利用多种交付模式的干预措施的数字交付模式的过程评估,本研究试图通过对用于支持扩大有效卫生干预措施的数字交付模式进行过程评估来解决这一证据差距。这项研究旨在扩大“每个人都参加体育活动”(PA4E1)的规模,这是一项以中学为基础的体育活动计划,其中包括一个网站,以支持向学校教师(体育教师和校内冠军[在学校内领导该计划的体育教师])提供实施支持策略。本研究的目标如下,随后概述了PA4E1项目和评估试验,为本研究提供了更详细的背景。
采用定量方法描述校内冠军和体育教师对PA4E1项目网站的使用情况。
使用混合方法,从校内冠军的角度考察PA4E1项目网站的使用情况、主观体验和可用性。
学校的做法、项目和政策可以支持青少年进行体育锻炼,世界卫生组织和国际各国政府建议采用全校方法[
PA4E1于2012年至2014年首次在澳大利亚低社会经济中学进行为期2年的随机对照疗效试验[
该计划扩大了规模,在更大的地理区域内的更多学校实施,利用一个针对桌面、移动和平板设备优化的网站,支持向学校交付实施支持战略。PA4E1扩大试验为III型实施-效果混合聚类随机对照试验[
主要试验结果是学校在研究中点(12个月)和24个月进行体育活动的情况。在12个月时,试验的主要结果(采用7种体育活动实践中至少4种的学校比例)是显著的,项目组中实施7种实践中的4种的学校(16/ 24,67%)比对照组(1/ 25,4%;
PA4E1放大试验逻辑模型,扩展自[
这些方法是客观报道的。
跟踪了整个研究期间的使用数据(2017年10月至2019年12月;PA4E1网站的所有注册用户,包括校内冠军、体育老师、校长、学校行政人员和非学校工作人员(支持人员和PA4E1研究团队)。在项目开始时,所有用户都通过电子邮件获得注册链接,以便注册该网站。在该项目中,学校为新员工提供了一个注册网站的链接。
使用数据通过谷歌Analytics在项目的9个学期(26个月,2017年10月9日至2019年12月20日)中收集。2018年3月29日前(第3期),数据无法按网站用户类型进行分析;只能捕获总体使用情况。为了进一步了解不同类型的用户,从那时起,谷歌Analytics应用了“自定义视图”来前瞻性地隔离不同的学校用户类型(即校内冠军,体育老师)。
“分析及量度使用情况及用户参与情况数据”框架所描述的事后分析方法[
与“登录”类似,会话被定义为一组发生在单一时间段内的用户交互(例如,页面浏览,下载),特别是在30分钟不活动或用户离开并重新访问网站后,会话结束。对于PA4E1网站,选择会话作为比“登录”更好的衡量标准,因为用户会连续登录30天,用户只有在30天不活跃后才会注销。
页面浏览量是网站每个页面的总访问量。如果用户在到达页面后单击重新加载,这将被算作额外的页面视图。如果用户导航到不同的页面,然后返回到原始页面,则记录第二个页面视图。
会话从第一次单击到最后一次单击的时间长度,不包括紧接在最后一次单击之后的会话的非活动时间。
从网站的资源页面下载资源的总数。用户必须点击特定资源才能算作一次下载。
整个研究期间的数据首先从谷歌Analytics下载。描述性统计数据由SAS软件生成[
所有校内冠军(n=24名)均获邀请在学校使用网站四个学期后,以电邮方式完成“自言自语”调查及可用性测试(2018年11月)[
大声思考调查和可用性测试是通过校内冠军自己的数字设备(即校内冠军自己的手机、笔记本电脑或电脑)远程进行的。使用Loop11用户测试软件进行think-aloud调查和可用性测试[
两张参与者完成“大声思考”调查和可用性测试的截图,调查结果发布在项目网站上。
可用性测试包含3个任务。在Loop11中记录任务完成的平均时间和任务完成的成功率。任务要求参与者导航到网站的某些部分。第一个任务要求参与者导航到讨论论坛,第二个任务要求参与者找到关于形成社区链接的信息(参见表S2中的实践7)
该调查还包含12个提问性问题,要求参与者大声思考,用语言表达他们的回答(见
额外的管理数据用于确定实施支持策略的其他交付模式的使用情况(
Perski等人的混合方法数据分析[
所有定量数据下载并在MS Excel中分析。验证工具的定量数据根据其说明进行评分[
音频数据逐字转录,并采用归纳主题分析方法进行分析[
定量和定性数据在分析过程中混合使用三角矩阵。两组数据都被同等重视以实现目标。描述性统计与定性数据的初始编码同时进行。根据工艺评估方案[
混合方法分析的迭代阶段[
熟悉数据(包括音频和屏幕截图以及定量数据)。
生成初始代码并跟踪线程(MM生成描述性统计数据,跟踪线程,并使用Nvivo 12开发转录的初始代码[
搜索主题(MM审查了每个代码,并在标题下对它们进行排序,然后与JD讨论排序代码以生成初始三角测量矩阵)。
审查主题(EC、TM和RS审查了主题、参与者报价和矩阵标签——通过与MM和JD讨论解决分歧)。
定义和命名主题(所有作者讨论并同意最终主题)。
生成报告。
该试验已前瞻性注册(ACTRN12617000681358),并获得了纽卡斯尔大学亨特新英格兰研究伦理委员会(Ref No. 11/03/16/4.05)的批准。H-2011-0210),新南威尔士州教育部(SERAP 2011111),梅特兰纽卡斯尔天主教学校教区,布罗肯湾天主教学校教区,利斯莫尔天主教学校教区,阿米代尔天主教学校教区,以及土著健康和医学研究委员会。
支持本文结论的完整数据集,包括未包含在文章或其附加文件中的数据,可根据合理要求从通信作者处获得。
结果客观地报告如下。
在整个研究期间,共有273名PA4E1网站用户。网站的学校用户是校内冠军(n=30)和体育教师(n=198)。很少有校长(n=7)或学校行政人员(n=2)注册参加该项目。此外,还有非学校用户(n=20;例如,支持官员和PA4E1研究团队)和计划网站的身份不明的用户(n=16)。
每个人(PA4E1)按用户类型划分的网站使用情况。
使用 | 校内冠军(n=30)一个 | 体育教师(n=198)一个 | 所有用户(n=273)b |
平均每用户会话数 | 48.0 | 5.8 | 22.8 |
平均每用户页面浏览量 | 276.6 | 57.0 | 179.4 |
平均每个会话的页面浏览量 | 3.4 | 5.4 | 7.9 |
会话持续时间(分钟),平均值 | 7.6 | 10.5 | 8.6 |
平均每用户下载量 | 33.6 | 2.3 | - - - - - - |
一个该项目开始期间(2017年10月9日至2018年3月28日)没有数据。数据为2018年3月29日至2019年12月20日。
b“所有用户”组包括校内冠军(n=30),体育教师(n=198),校长(n=7),学校行政人员(n=2)以及非学校用户(n=20)和身份不明的用户(n=16)。
校内冠军最常浏览的网页是首页(18.4%)、调查和进度报告(15%)、专业学习(10.3%)和资源(7.3%)。体育教师最常浏览的是专业学习(19.7%)和主页(9.6%)。
校内冠军或体育老师至少一次从该网站下载了90种不同的资源,相当于总共下载了1007次。下载量最高的前20个资源占总下载量的一半以上(n=559)。下载最多的资源是直接协助特定实施支援策略的资源(
通过查看每学期的会话数量、每个会话的页面浏览量、平均会话持续时间和下载数量,研究了这段时间的使用情况。
(A)每学期平均课时数。(B)每学期每节课的平均页面浏览量。(C)每学期平均课时。(D)平均下载数,每学期。请注意,2017年第4学期和2018年第1学期的数据不可用(如“方法”部分所述)。体育:体育教育。
在24名被邀请完成大声思考调查和可用性测试的在校冠军中,有13人(54%)参与了这项调查。完成调查和可用性测试的平均时间为20分钟。校内冠军(9名女性,4名男性)分别来自主要城市(n=6)、内部地区(n=6)和外部地区(n=1)的学校[
交付和内容元主题和主题的总结。
主题 | 主题的解释 | ||
|
|||
|
|
网站是一个可接受的和适当的交付模式。网站的可用性很高。 | |
|
|
主题1 | 网站是其他授课模式的补充,但校内学员更喜欢其他授课模式(支持人员和面对面授课)。 |
|
|
主题2 | 网站被用作“实用”传递模式(即,仅在需要时使用,而不是首选的传递模式)。 |
|
|
主题3 | 如果该项目在全州范围内实施,该网站将会很有用,尽管嵌入到教师已经使用的其他系统中可能会有所帮助。 |
|
|
主题4 | 对于可能增加的网站聊天功能,支持人员可以在工作时间进行视频通话,人们的反应不一。 |
|
|
主题5 | 论坛没有被使用,但校内冠军报告说,如果使用不同的方式,它可能会有潜在的用处。 |
|
|||
|
|
网站内容总体上是可接受和适当的,并有一些具体的改进建议。 | |
|
|
主题1 | 缺少提醒(或提示)来突出网站上的新事物,降低了网站的回访流量。 |
|
|
主题2 | 课程观察表单(实践1的资源)很难在网站上找到,很难跟踪课程观察完成情况,并且在互联网范围外完成时存在一些可用性问题。 |
|
|
主题3 | 定期调查(支援策略7)普遍可接受,并已完成。 |
|
|
主题4 | 这些资源是可以接受的,并且经常下载。 |
定量数据表明,校内冠军同意或强烈同意PA4E1网站是可以接受和适当的。对于校内冠军(n=13),干预措施的平均可接受性为4.52 (SD 0.04)(满分5),干预措施的平均适当性为4.46 (SD 0.0)(满分5),两者都表明同意网站是可接受的和适当的。此外,在校冠军(n=13)的整体用户参与量表平均得分为3.4 (SD 0.7)(满分5分)[
校内冠军认为网站的可用性“不错”。学校总冠军(n=13)系统可用性量表得分为77.7,这对应于在系统可用性量表的“可接受”范围内的“好”网站[
定性数据也显示了良好的接受度、适当性和网站交付模式的可用性。以下是一些引用的例子:
...它的设置非常清晰,易于使用,易于访问,并且更新相对频繁。
所以,我们都知道老师是世界上最穷的人。所以在线模式绝对是非常合适的。
定量数据显示,学校利用该网站(
定性数据显示,校内冠军利用该网站来补充与支持官员的互动。网站通常不是第一个呼叫点,它可能无法完全取代支持人员面对面和直接的联系方式。该网站可能对工作时间以外的支持特别有用(例如,周末和晚上)。示例引用:
很明显,你有你的支持官(和网站),但有这个门户网站就很好了。
是的(我喜欢这个网站),但它需要伴随着其他的东西,比如面对面交流。
...这是一次宝贵的经历,在一个公共的地方,在那里你可以实际推出,最初的交付和培训,人们第一次运行PA4E1。然而,如前所述,在线交付仍应是该计划的一部分。
...老师们通常无法在他们在校的实际时间里完成这些额外的工作或专业学习。所以我经常在周末下班后在家访问这个网站。
来自目标1的定量数据表明,校内冠军平均每两周使用一次网站,相当于每学期6.3次(SD 2.0)。定性数据表明,该网站可能没有充分发挥其潜力,而是被用于其核心功能(例如,定期调查,专业学习),而不是用于阅读额外的想法和资源。示例引用:
说实话,我认为我没有在线使用PA4E1(网站),可能没有充分发挥它的潜力。
是的,很明显我没有真正使用这个(指向资源部分的光标),因为我应该。不过,我已经使用了其中一些(资源)……
我知道网站的大部分组成部分,但有些事情我不知道……
所有校内冠军(13/13)都同意PA4E1课程的在线授课应该保留。大多数校内支持者(12/13)建议,如果PA4E1计划在全州范围内推广,以目前的形式,PA4E1网站将是一种合适的交付模式。
定性数据中出现了相互矛盾的建议。校内支持者表示,虽然网站对全州范围内的项目实施很有用,但它可能成为教师被要求使用的另一个平台,因此最好将任何推广嵌入现有平台中。示例引用:
...这是我们实施教学需要的另一个平台。
我确实认为,如果不做任何改变,以目前的形式推出是非常合适的。
在这个网站上的人越多,我认为就会产生更多的讨论....
定量数据总体上是支持的;大多数校内支持者(11/13)喜欢支持人员在工作时间通过视频、音频或文字聊天功能在PA4E1网站内提供支持的想法。定性数据褒贬不一,有些人支持这一功能,而有些人更喜欢传统的联系方式,如电话和面对面。以下是一些例子:
支持性:这是一个很棒的想法,因为只要你有空就会有人和你讨论,所以你不必等到校内冠军或内行来帮助你……这太棒了。
中立:我的意思是,这可能会减轻后勤人员(在新南威尔士州)到处奔波的负担,因为这样你就可以选择坐下来,像面对面一样与他们交谈。我喜欢它,但我不讨厌它,但我不知道它是否非常必要。
不支持:我不喜欢,因为我更喜欢面对面。电子邮件也可以,必要时可以打个电话。
定量使用数据显示,该论坛的使用率非常低。支助干事为生成内容而在论坛上发表了3篇帖子;然而,在整个项目期间,校内冠军或体育老师的论坛帖子为0。作为回应,支持人员在2018年11月7日为校内冠军创建了一个Facebook小组。从Facebook群的启动到项目结束,PA4E1团队(支持官员和工作人员)在Facebook群中发布了10个帖子,校内冠军在Facebook群中发布了12个帖子。
定性数据表明,论坛不是很有用,可能在网站内更好地传递,或者使用Facebook更好地传递。示例引用:
是的。这是[论坛]…有点受限。
我想这是在培训日提到的,建议一个讨论论坛可以弹出在首页…所以,不管你什么时候去那里,它都是你看到的第一件事,也是你最先出现的一件事。
我不认为论坛是一种很好的交流方式。似乎没有人真正在使用它。也许是一种不同形式的社交媒体,比如正在发生的Facebook,更多人使用。
根据定量数据从以前的元主题有关
定性数据也表明网站内容是合适的。示例引用:
是的,我认为在线门户目前的形式是合适的,我认为一些小的改变和调整会使它更好。
...在线门户网站对该计划的实施至关重要。没有它你做不到。这是你的首选资源。
没有关于这一主题的定量数据。定性数据强调,通知将有助于突出网站的更新,这可能随后增加使用量。
...有时候新事物就会突然冒出来,我都没有意识到
也许还会有某种形式的通知在右上角。这样你就能看到新的…正在发生的事情…
...门户网站不是我每天都会登录的东西。就像我们说的,每个人都上Facebook之类的东西。所以,那就是你手机上弹出的通知,我通常不知道东西已经在论坛上发布了,直到我回来,通常是在它们发布之后很长一段时间。
超过一半的校内冠军(7/13)无法在网站上找到课程观察区。定性数据还显示,校内冠军在查找课堂观察、跟踪体育老师完成观察的过程中存在困难,在不在网络范围内时,网站信号也存在问题。示例引用:
你必须向下滚动页面才能找到《观察课表》,这是一个非常小的链接,我知道我们学校的一些工作人员很难找到它。
...你只需要统计一下一个老师观察了多少次。
有时我们不在手机范围内,或者如果这个人没有手机,就不太合适。
在0 - 12个月期间,24/24名在校冠军完成了所有的定期调查,并收到了这些调查的反馈报告。在12至24个月期间,21/24名校内冠军完成了所有定期调查,并收到反馈报告(各有3所学校错过一项调查)。收到反馈报告的校长很少,7/24的校长已经在项目网站注册了账号,因此收到的反馈报告是通过电子邮件发送的。其余的校长没有直接收到反馈报告,但可能是由他们的校内支持者向他们展示的。定性数据很少,但对定期调查的可接受性提供了一些支持。示例引用:
...定期调查,我的意思是,这很方便看到我们在哪里,但我想在我做调查之前,我有点知道我们做得好,做得不好。
校内冠军或体育老师至少一次从该网站下载了90种不同的资源,相当于总共下载了1007次。示例引用:
我真的很喜欢这个特别的资源部分。是啊,听着,我怎么说都不够,你知道,我爱它什么。
我喜欢这些图形和图像。我真的,我真的很喜欢使用体育活动策略模板。我觉得它看起来很专业,是的,我真的很喜欢……这些方面。
我们之前曾报道过,在澳大利亚新南威尔士州的低社会经济中学,PA4E1扩大试验中使用的多模式实施支持策略增加了体育活动促进实践的实施[
研究结果支持了该网站在多交付模式实施干预中支持学校实施体育活动推广实践的价值。尽管其他针对身体活动的数字健康干预措施经常遇到参与问题[
完成这项关于网站参与的研究,将其作为我们更广泛的过程评估的一个组成部分,提供了在基于学校的体育活动项目的试验中通常没有收集到的信息。以前的研究要么忽略了对网站交付模式的评估[
这项研究的新颖之处在于它使用了“大声思考”的方法来探索教师使用网站来支持提供基于健康的干预措施的经验。自言自语方法在很大程度上被用于为网站和应用程序的开发提供信息,以便直接与健康干预的目标用户使用[
这个过程评估揭示了PA4E1网站的一些改进和建议。校内拥护者认为网站与其他传递方式(面对面、电话、电子邮件)结合使用,这些实施支持策略的传递方式也很受重视,另外多种传递方式的使用数据也支持了这一点。此外,虽然项目网站在目前的形式下是可以接受和适当的,但它往往不是校内冠军的“首选”;通常情况下,校内冠军会首先使用其他交付模式。校内支持者还建议,该网站可以嵌入到教师已经访问的其他系统中,比如州教育门户网站。因此,我们建议PA4E1计划的未来迭代应该仔细考虑用于交付实施支持策略的交付模式的平衡。
校内冠军建议,网站聊天功能(与支持人员联系)和论坛(与其他校内冠军聊天)都可能有用,尽管这并不是一致的建议。可能需要一些策略来提高用户对这些功能的参与度,这一点在学校的支持者中得到了进一步的强调,他们建议在网站内和通过电子邮件添加通知,以促进网站的使用,并突出新内容。其他可能提高用户粘性的功能包括社交网络平台。
支持PA4E1交付的网站的未来迭代可能受益于在推出网站交付之前的用户测试和优化[
这项研究的一个关键优势是详细的混合方法设计,对多个数据源进行三角划分,以从数据中提供一组更连贯和可操作的主题。另一个优势是使用了生态有效的远程思考调查和可用性测试程序,以收集校内冠军使用PA4E1网站的经验。
本研究的局限性包括对大声思考调查和可用性测试的反应率较低。尽管这项调查具有远程性质,但一些受访者发现很难使用Loop 11自言自语调查和可用性测试软件。超过一半的在校冠军(13/24,54%)对大声思考调查和可用性测试做出了回应。这可能导致了反应偏差,即那些做出回应的人更有可能报告网站的高可接受性和适当性。然而,就样本量而言,5名参与者被认为足以发现大多数可用性问题[
本研究的结果为支持试验的主要结果提供了背景,强调校内冠军和体育教师都使用该项目网站,并且该网站在校内冠军中接受度和适当性都很高。我们的研究着重于网站交付模式的多交付模式实施支持策略,以支持学校实施体育活动的推广做法。我们将在其他地方发布进一步的工艺评估结果,重点关注我们工艺评估方案的其余组成部分[
补充文件补充表1和补充表2。
补充文件2。好玩的框架。
补充文件3。大声思考调查和可用性测试——问题和任务。
补充文件4。三角矩阵。
分析和测量使用情况和用户粘性数据
体育活动4每个人
体育课
各地区社会经济指标
作者感谢为项目设计做出贡献的专家咨询小组以及中北海岸地方卫生区、中央海岸地方卫生区和西南悉尼地方卫生区的交付合作伙伴。该项目由新南威尔士州卫生部转化研究资助计划资助。新南威尔士州卫生部没有在本方案中概述的研究设计中发挥任何作用,也不会在数据收集、数据分析、数据解释和结果传播方面发挥任何作用。该项目还得到了亨特医学研究所(HMRI)的基础设施支持。RS由NHMRC TRIP奖学金(APP1150661)支持。LW由NHMRC职业发展奖学金(APP1128348),心脏基金会未来领袖奖学金(101175)和亨特新英格兰临床研究奖学金支持。
MM和JD构思了这项研究的设计。RS、EC、JW和LW构思了“每个人都参加体育活动4”的设计。MM和TM对定量数据进行分析。MM和JD分析定性数据,随后将定性和定量数据混合。MM主导了手稿的撰写。所有作者都对手稿的多个版本做出了贡献,并最终批准了它的出版。
没有宣布。