基于美国运动医学学院指南的移动运动应用程序质量评估:可靠有效的评分工具

简介

体育活动

经常运动有益于健康[1-3.]是为解决美国流行生活方式相关疾病而提出的建议之一[4，5］．定期参加体育活动可降低早死和许多疾病的风险，包括冠心病、中风、血脂状况不良、2型糖尿病、代谢综合征、某些癌症、肥胖、高血压、骨骼和关节疾病、一些自身免疫疾病和抑郁症[1，6-9］．前瞻性流行病学研究已证明缺乏体育锻炼与心脏病之间存在因果关系，心脏病是美国人死亡的主要原因[10-16］．这些研究表明，身体活动多的人患心脏病的几率较低，身体活动多的人患心脏病的几率是久坐不动的人的一半[17，18］．然而，尽管有规律的体育锻炼有很多好处，但大多数美国成年人都没有达到国家体育锻炼指南的要求。6，19，20.］．据估计，只有20.9%的美国成年人同时满足有氧和肌肉加强活动的建议。6］．

在过去的十年里，移动电话和移动电话应用程序的普及和使用都有了巨大的增长[21，22］．2015年的一项调查显示，年龄在18岁至49岁之间的美国成年人中，64%的人拥有一部手机，82%的人拥有一部手机。21］．手机使用的增加导致了与体育活动和锻炼相关的手机应用程序的增长。据估计，仅苹果商店中就有10万个与健康和健身相关的应用程序，加上Android的谷歌Play商店，应用程序就超过16.5万个。23］．这些应用程序包括健身和运动跟踪器，如心率监测器、计步器、运动程序和教练应用程序。初步证据表明，这些应用程序可以有效地用于改善各种慢性疾病的健康相关行为[22，24-40］．然而，很少有运动项目应用程序是循证的，并遵循美国运动医学学院(ACSM)制定的运动指南。41，42］．

锻炼计划的三个组成部分

美国卫生与公众服务部建议，成年人除了每周至少进行两次肌肉增强活动外，还应每周进行至少150分钟中等强度的有氧运动或75分钟高强度的运动[43］．此外，根据与健康和健身有关的累积证据，ACSM建议，任何锻炼计划都应该遵循频率、强度、时间和类型(FITT)原则，以获得健康益处，同时避免受伤和其他不良事件。锻炼过程应该包括安全防范、热身、强化和冷却。此外，锻炼计划应该以适合个人健康水平和目标的速度安全地进行。ACSM运动处方原则建议，最佳的运动方案包括3个主要组成部分:有氧运动、力量和阻力运动以及柔韧性运动。这些成分可以改善心血管健康、力量、神经肌肉健康和整体健康[42］．

目前，可用的移动锻炼程序应用程序的质量和准确性以及支撑这些应用程序的理论基础尚不清楚。莫德弗等[41]使用初始评分系统来确定与运动编程相关的免费移动应用程序的内容是否基于证据，并符合ACSM关于有氧运动、力量和阻力运动以及灵活性的指南。这些发现表明，应用内容与ACSM指南存在显著差距。从第一项研究中的系统开发的标准化仪器可以确定运动编程应用程序的质量，这对临床医生和必须对选择哪些应用程序做出明智决定的消费者有广泛的好处。我们通过开发一种可靠有效的评分工具来解决这一重大问题，该工具可以根据ACSM制定的最高标准来评估健身和运动规范应用程序的质量。据我们所知，目前还没有基于ACSM运动指南开发的健身应用程序评分工具。Stoyanov等人开发了一个评估移动健康应用程序总体质量的评级量表[44］．但这个量表评估的是参与、功能、美学和信息质量等领域，而不是基于证据的锻炼原则。在本文中，我们描述了我们的仪器开发过程，并提供了数据，证明了仪器的内部和内部评分者的可靠性和标准有效性。最后，使用开发的工具对最受欢迎的免费运动处方应用程序进行评分和排名。

方法

焦点小组和仪器开发

我们的研究包括两个焦点组(N=14)，我们从他们那里获得了调查项目改进和问卷设计的输入和指导。具体来说，我们要求焦点小组参与者识别不清楚的单词或句子，建议不同的问题措辞方式，推荐回答格式，并考虑这些问题如何引发回应。佛罗里达大学(UF)医学院的员工和学生被招募参加这些焦点小组。

在焦点小组之前，研究人员根据发表的ACSM练习原则编写了调查问题，以创建评分工具的初始版本。(ACSM指南，第9版)例如，有氧运动的单次训练原则“热身:5-10分钟轻度/中度强度心血管运动”被写成“应用程序是否建议您在开始任何有氧运动之前，先进行5-10分钟轻度或中度心血管运动热身?”最初的回答以3分制编写，0表示“原则缺失”，1表示“原则存在但不清楚(或与ACSM指南不100%一致)”，2表示“原则存在且清楚”。计分工具分为3个部分:(I)有氧运动，(II)力量和阻力，(III)柔韧性。第一部分和第二部分进一步分为3个小节:(1)安全，(2)项目原则，(3)单次培训原则。第三节分为两个小节:(1)安全性和(2)程序原则。

接下来，我们为参与者提供了初始仪器，并要求他们独立地对5个健身应用程序进行评分，这些应用程序是从[41］．我们指导参与者在应用评分时列出仪器的问题。所有参与者都被允许至少有一天彻底检查仪器。在焦点小组讨论期间，我们的主持人检查了工具中的每个问题，并要求参与者讨论潜在的问题，例如文本、措辞和问题的格式以及伴随的回答的模糊性、过于复杂或不准确。对于每一个问题，我们都询问参与者是否可以转述问题，或者他们是否认为问题应该以另一种方式提问。焦点小组调查结束后，研究人员开会审查调查结果，并制定最终的评分工具。最终测试由27个问题组成，其中10个问题是关于有氧运动的，12个问题是关于力量和抵抗力的，5个问题是关于柔韧性的多媒体附件1）.

评分策略

ACSM运动原则的3个主要组成部分(有氧运动、力量和阻力以及柔韧性)根据ACSM在健康和健身标准运动计划中分配的时间进行了3:3:1的加权。对于这3个原则中的每一个，子部分(安全、项目原则和单次培训原则)被分配了相同的权重，因为缺乏证据表明子部分应该得到不同的强调。因此，总体质量评分的最高可能得分为70分，其中有氧运动30分，力量和阻力30分，灵活性10分。

数据收集与心理测量分析

样本

为了测试评分工具的心理测量特性，我们选择了与[41］．这些应用程序是通过在苹果商店的“健康和健身”类别中搜索关键词“锻炼”和“训练”，并根据它们的受欢迎程度选择前50名应用程序来选择的。在从这两个搜索词中删除重复应用后，生成了一个包含83个应用的列表。然后，研究人员评估并删除了没有提供锻炼规定程序的应用程序。最后，我们选择了30个应用程序在[41］．在新仪器的开发阶段，有两个应用程序在应用商店中不再可用。因此，我们使用剩下的28个应用程序进行评分和心理测量分析。

评分者之间和内部的可靠性

我们评估了仪器的内部和内部(测试-再测试)的可靠性。为了评估相互评价的可靠性，我们请了3名评论者同时但独立地使用该工具对所有28款应用进行评分。审稿人包括佛罗里达大学骨科和运动医学研究所的1名工作人员和2名大学生。为了评估内部评分者的可靠性，从28个应用程序中随机选择了5个应用程序(7 Minute Workout, Body Space, FitStar, jetit和Sworkit)。然后，大约1个月后，这3名评论者再次使用该工具对5款应用进行评分。斯皮尔曼相关系数r对之间的分数计算作为可靠性的衡量。

效标效度

我们请佛罗里达大学人类表现实验室和佛罗里达大学健康运动表现中心主任(专家评审员，ACSM研究员)在1-10(标准评分)的范围内对所有28个应用程序进行评分。此外，专家评审员使用我们的评分工具对5个应用程序(7 Minute Workout、Body Space、FitStar、JEFIT和Sworkit)进行了评分。然后，通过计算标准评分与非专家评审员给出的仪器评分之间的斯皮尔曼相关系数来评估标准效度。对于使用该工具评分的5个应用程序，我们计算了专家和非专家评论者得分之间的斯皮尔曼相关系数。此外，我们计算了一个加权kappa统计量来评估每个应用程序的专家和非专家评审员之间的一致性。我们使用以下指导方针来解释Landis和Koch建议的kappa统计量:<0=一致性差，0-。2=轻微一致，2-。4=完全一致，.4-。6=moderate agreement, .6-.8=substantial agreement, and .8-1=almost perfect agreement [45］．

结果

仪器项目开发

焦点小组在使用初始工具进行评分时发现了多个挑战。最大的挑战是需要澄清特定领域的单词和短语的含义和定义。例如，其中一个问题是“应用程序是否建议你每周训练每个主要肌肉群2-3次?”焦点小组参与者不知道“主要肌肉群”是什么，也不知道“建议”代表什么，因此无法判断该应用程序是否提供了全面的力量训练计划。此外，一些参与者不理解一些专业术语，如代谢当量(MET)和本体感觉神经肌肉促进(PNF)拉伸。为了提高理解能力，参与者被要求提出不同的问题措辞策略。最终，我们删除了过于专业的术语，并在大多数问题上添加了脚注，解释了不清楚的单词和从焦点小组中汇编的短语。

测试了参与者对回答选项的偏好。大多数参与者认为最初的3点反馈量表并没有完全区分应用程序的质量，因为只有一个中间类别“原则存在但不清楚(或未100%符合ACSM指南)”。因此，最终的回答选项被修改为包括5分李克特量表，1为“否”，3为“部分”，5为“是”。

评分者之间和内部的可靠性

每对评审人员的原则部分、分段和总体得分的评分者之间的可靠性水平总结在表1．总体而言，信度很高，大多数系数大于0.7。R1-R2、R1-R3和R2-R3之间的平均信度分别为0.88、0.81和0.73。信度系数范围为0.59 ~ 0.99，所有系数均有统计学意义。最不可靠的问题与有氧运动的安全警告有关，问题是:“该应用程序是否提供有关健康状况的安全警告，或建议你在开始任何有氧运动之前咨询医生?”“(第一节)。在这个安全警告问题上，评分者对之间的平均信度为。69。总的来说，有氧运动(平均r=.75)和强度和阻力(平均r=.79)段的信度低于弹性段(平均)r= .88点)。

来自评分者内部(测试-再测试)信度分析的结果总结在表2．总体而言，内部评分者的可靠性很高，大多数系数大于0.7。信度系数范围为0.47 ~ 1.00，各信度系数均有统计学意义。在应用程序中，jetit的内部评分可靠性最低(平均r=点)。审稿人2对JEFIT的信度仅为0.47。另一方面，FitStar的评分者内部信度较高。1个月后，所有评分者都能为FitStar提供相同的评分。

效标效度

在评估该工具的有效性时，标准评分与使用该工具获得的评分之间的Spearman相关系数为.70 (P<.001)对于审稿人1，.69 (P审稿人2 <.001)，.78 (P<.001)为审稿人3。标准评分与非专家评审员平均评分之间的Spearman相关系数为0.72 (P<措施)。高相关性为我们评分工具的有效性提供了支持。

表3总结加权kappa统计κ和Spearman相关系数r来自我们的协议分析。加权kappa统计值在0.67至0.99之间，表明有大量的(κ介于。6和。8之间)或几乎完美(κ专家和非专家评审员给出的分数在0.8到1之间。来自非专家审稿人的评分与来自专家审稿人的评分之间的相关性很高，范围在0.58到0.99之间，大多数系数大于0.7。FitStar的协议相对较差κ= =收;平均r=.76)和Sworkit(平均κ= .79;平均r=.76)。

整体和部分质量疮

使用评分工具评估的28个应用程序的整体和部分质量得分汇总在表4．这些应用程序的总分从高到低依次排列。这些应用程序的总体质量得分都没有超过35分(满分为70分)。这证实了[41最流行的运动处方应用程序不符合ACSM制定的标准。在这28款应用中，只有4款应用的总分超过30分(the Johnson and Johnson Official 7-Minute Workout, 33.5分;耐克+训练俱乐部，32.6;跑步减肥:间歇训练，32.6;免费健身伙伴，31.0)。在有氧运动原则部分，《为减肥而跑步:间歇训练》(分数为26.7)是唯一一款质量分数高于20的应用程序，而最高分数为30分。在强度和阻力原理部分，有3个应用程序的质量得分高于20分，最高可能得分为30分(strong升降机5x5, 24.0;免费健身伙伴，22.9美元;FitnessBuilder, 21.2)。在灵活性原则部分，有3个应用程序的质量得分高于5分，最高得分为10分(FitnessBuilder, 7.1分; Simply Yoga Free, 6.4; Daily Yoga-Lose Weight, Get Relief, 6.2). The average overall quality score was 17.8 (SD 8.9). The average section quality scores were 11.7 (SD 5.9) for aerobic exercise, 13.9 (SD 5.2) for strength and resistance, and 4.0 (SD 1.9) for flexibility.

本研究中评估的28个应用程序的所有分项得分汇总在多媒体附件2．尽管总体得分较低，但在提供安全预防措施和描述力量和阻力训练的程序原则方面，这些应用程序的表现要好于有氧运动。在具有强度和阻力成分的应用程序中，超过一半(23人中有12人，52%)在安全分段中得分至少为5分(满分为10分)，其中9人(39%)在程序原则分段中得分至少为5分(满分为10分)。另一方面，在含有有氧运动成分的应用程序中，12个应用程序中有3个(25%)在安全分段中得分高于5分，只有2个(17%)在程序原则分段中得分高于5分。

讨论

主要研究结果

我们开发并提出了一种新颖的评分工具，用于评估与ACSM运动处方指南相关的运动计划应用程序的质量。使用Spearman相关系数和加权kappa统计来评估评分者之间和内部的信度和标准效度。我们的结果表明，我们的仪器具有良好的信度和有效性，这表明它可以准确和稳定地测量运动应用程序的质量。此外，我们的研究结果证实了Modave等人的初步研究，即只有极少数最流行的运动处方应用程序具有足够的质量，能够提供基于证据的运动处方。这是一个很重要的问题，特别是对于那些没有必要的专业知识来制定自己的计划或评估一个计划是否设计良好的新手来说。此外，与有氧、力量和阻力以及灵活性相关的子分数表明，大多数应用程序的质量都不达标，即使我们假设它们是为解决运动处方的某个方面而设计的。

对于评分者之间的可靠性，最不可靠的问题是，在开始有氧运动之前，应用程序是否会提供任何安全警告。可靠性低的一个潜在原因是，健身应用提供安全警告的方式多种多样。目前的健身应用程序在用户界面设计和内容呈现方面都非常复杂。安全警告可以作为用户需要阅读的介绍性文本的一部分，也可以作为用户在开始培训计划之前必须阅读并关闭的推送通知提供。此外，安全警告可能会作为运动教学视频的一部分，因为许多应用程序都在视频中提供训练项目。安全警告传递方式的多样性给应用审查人员寻找和判断安全警告的适当性带来了一些困难，尤其是在复杂的健身应用中。

尽管总体上评分者内部信度较高，但我们观察到一些相对较低的信度系数。考虑到测试和复测相隔1个月，有可能是应用程序的一些内容和功能更新了，导致应用程序审核人员产生了额外的意外测量误差。为了在拥挤的健康和健身应用市场中生存和保持竞争力，应用公司不断地重新设计他们的产品。看到健身应用重新设计用户界面，增加或删除功能，或从应用商店中消失，这并不奇怪。

本研究中评估的应用程序的总体质量分数和主要部分质量分数都较低。它表明，大多数流行的健身应用程序都没有完全遵循ACSM制定的基于证据的锻炼原则。另一方面，整体质量得分低的一个原因是，并非所有应用程序都具备有氧运动、力量和阻力训练以及灵活性这三个组成部分。随着健身应用程序的数量不断增长，它们变得更加专业化，功能更加集中，许多应用程序只提供一种特定类型的锻炼程序。例如，在力量和阻力部分的得分为24.0(总分为30.0分)，strong升降机5x5是一款高质量的力量训练应用程序。但是，对于有氧运动和柔韧性并没有提供足够的规定性原则，使得该应用的整体质量得分相对较低。因此，我们建议始终使用整体质量评分来评估部分质量得分，这样可以更全面地评估应用的质量。此外，应用程序设计师在设计运动应用程序时可能需要考虑ACSM运动处方原则的所有3个主要组成部分，这可以提高应用程序遵守ACSM标准的程度。

限制

这项研究的一个局限性是，使用目前形式的仪器评估健身应用程序的质量可能很耗时。我们的评论者表示，他们平均花费30-40分钟去评估一款应用。当需要评估大量应用时，这可能会很乏味。然而，评论者也注意到，在审查了一些应用后，评分过程变得相当自动。因此，通过练习可以缩短评分过程。然而，未来的研究需要开发可靠和有效的短形式的仪器。该研究的另一个局限性是对评分者内部可靠性测试的样本量较小。需要审查更多的应用程序，以计算和分析部分特定的内部评分者的可靠性。尽管如此，本研究的可靠性系数都具有统计学意义，为仪器的可靠性提供了初步证据。最后，我们承认，这个评分工具是为整体运动项目而设计的，而不是为强调举重、瑜伽或跑步等某一种活动的专业项目。需要额外的评分方法来确定这些专业锻炼项目的质量。

结论

我们根据ACSM运动处方指南开发了一种可靠有效的评估运动计划应用程序质量的工具。这个仪器可以用来确定哪些应用程序对初学者和医疗保健提供者有用，他们正在寻找提供安全、渐进的健康和健身一般锻炼计划的应用程序。鉴于该工具为ACSM原则的3个主要组成部分提供了单独的分数，它也可以用来确定哪些应用程序适合锻炼程序的每个组成部分。

在未来的研究中，我们计划检查来自我们的工具和来自其他工具的分数之间的关系，以评估应用程序质量，包括Stoyanov等人发表的工具。这将为锻炼应用程序提供更全面的评估，从而帮助用户不仅根据基于证据的锻炼原则，还根据功能和美学来选择应用程序。此外，我们计划评估应用程序用户的应用程序质量分数和行为结果(如坚持、锻炼和健康结果)之间的关系。量化应用程序质量方面对这些结果的不同影响，以设计更好的锻炼应用程序是很重要的。