移动应用程序评分量表:评估健康移动应用程序质量的新工具

简介

全球智能手机应用程序使用情况

近年来，移动应用程序在促进健康和福祉方面的使用呈指数级增长[1］．从2013年到2014年，全球智能手机的使用量增加了4.06亿部，达到18.2亿部(一年增长5%)，通过移动设备的互联网使用量在一年内增长了81% [2］．2013年第一季度应用下载量达134亿次。3.]，预计全年的数字为1,020亿元[4］．智能手机的便携性使人们能够在任何时间、任何情况下获取健康信息和干预措施。智能手机的功能(例如传感器)也可以加强这些卫生资源的提供。

鉴于智能手机应用程序的迅速普及，用户、卫生专业人员和研究人员越来越难以轻易识别和评估高质量的应用程序[5］．除了零售商网页上发布的星级评价外，关于应用程序质量的信息很少，应用程序评论本质上是主观的，可能来自可疑的来源。6］．根据受欢迎程度来选择应用程序，对于应用程序质量的有意义的信息很少或没有。7］．

许多已发表的文献侧重于网站的技术方面，主要以检查表的形式呈现，而不评估这些功能的质量[8-10］．网站质量可以描述为一个函数:(1)内容, (2)外观及多媒体, (3)导航(4)结构与设计，和(5)独特性［11］．Kim等人进行的网站评价标准的综合[12]入围的165项评估标准，分为13个组(例如，设计美观，使用方便)．然而，有33个标准无法分组，并被编码为”杂项”，凸显了任务的复杂性。虽然许多网站标准可能适用于移动应用程序，但有必要考虑应用程序是否需要特定的质量评级量表。

制定移动医疗(mHealth)评估标准的尝试往往过于笼统、复杂或针对特定的健康领域。汉德尔(13根据用户对35款健康和健康手机应用程序的评分(1)易用性, (2)可靠性, (3)质量(4)信息范围，和(5)美学。虽然这些标准可能涵盖质量的重要方面，但没有提供这些具体标准的基本原理。Khoja等[14]描述了评估标准矩阵的开发，根据应用生命周期的四个阶段分为七个主题:发展, (2)实现, (3)集成，和(4)持续经营．虽然这个矩阵提供了评价应用程序质量的综合标准，但评估方案的复杂性和耗时性很难应用于日常实践和研究。此外，矩阵省略了对视觉的任何评价美学作为应用程序的标准。

医疗保健信息和管理系统协会(HIMSS)还编制了评估移动医疗应用程序可用性的指南[15］．这些指南使用“非常同意”到“非常不同意”的李克特量表来评估每个标准，这并不提供其质量的指示。对满足某个标准的强烈认同(即，明确某个特征是否存在)并不一定等同于高度满足该标准。而HIMSS的标准是广泛的，并包括可用性的评级标准效率，有效性，用户满意度,平台优化，没有评级标准信息质量被包括在内。这是有问题的，因为未能评估移动健康应用程序中包含的健康信息的准确性和适当性可能会损害用户的健康和安全[16］．

需要一个可靠和客观的工具来评估移动健康应用程序满足质量标准的程度。该量表应该易于理解和使用，只需进行最少的培训。该量表最初将由研究人员使用，但稍后可能会提供给应用程序开发人员和健康专业人员，有待进一步研究。

目标

本研究的目的是开发一个可靠的多维尺度，用于分类和评估移动健康应用程序的质量。

方法

手机应用评价量表开发

进行了全面的文献检索，以确定包含明确的Web或应用程序相关质量评级标准的文章。2000年1月至2013年1月的英语论文检索自PsycINFO、ProQuest、EBSCOhost、IEEE Xplore、Web of Science和ScienceDirect。搜索词是“移动”和“应用程序*”或“网络*”，搭配“质量”或“标准”或“评估*”或“评估*”。

三个主要网站，包括欧盟的可用性科学[17]，尼尔森诺曼集团的用户体验(UX)标准，HIMSS搜索相关信息。检索文章的参考文献也是手工检索的。专业的研究手册、未出版的手稿和会议记录也被探讨为额外的质量标准。在对标题和摘要进行初步筛选后，只有报告了应用程序或Web内容质量评估标准的研究被纳入。

提取了之前研究中确定的网站和应用程序评估标准。与移动内容和重复内容无关的标准被删除。一个由心理学家、交互和界面设计师和开发人员组成的咨询团队，以及参与移动健康应用程序开发的专业人员共同努力，将评估标准分为类别和子类别，并开发了量表项目和描述符。附加的项目评估应用程序的描述在互联网商店和它的证据基础被添加。在所有小组成员达成一致意见之前，都进行了更正。

心理健康类手机应用评分量表测试

根据PRISMA系统文献综述指南，于2013年9月19日对Apple iTunes store进行系统搜索[18］．一份与心理健康相关的移动应用程序的详尽列表被创建出来。使用以下搜索词:“正念”或“抑郁”或“幸福”或“幸福”或“心理健康”或“愤怒”或“CBT”或“压力”或“痛苦”或“焦虑”。

应用程序入选标准为:(1)英语;(二)免费;(3)澳大利亚iTunes商店的可用性;(4)来自iTunes的类别为“健康与健身”、“生活方式”、“医疗”、“生产力”、“音乐”、“教育”和“公用事业”。类别纳入标准是基于对这些类别中应用的名称和类型的仔细审查。

我们通过一个随机网站随机选择了60款应用。19］．前十架用于训练和驾驶目的。有两名专家评分:(1)拥有心理学研究硕士学位和两年移动应用程序开发经验的研究人员，以及(2)拥有应用心理学硕士学位和超过9年信息技术经验的博士候选人，他们对前10个应用程序进行至少10分钟的试用，然后使用移动应用程序评分量表(MARS)独立评估它们的质量。评级人员开会比较评级和处理比额表内容中的歧义，直至达成协商一致意见。MARS根据这一经验进行了修订，其余50个心理健康和幸福相关的应用程序进行了试用和独立评级。最低样本量为41，以确定真正的评分者间可靠性是否在0.80的样本观测值的0.15范围内，并具有87%的保证(基于10,000次模拟运行)[20.］．因此，50的样本量为当前研究中评价者间信度的估计提供了实质性的可信度。数据采用SPSS 21版(SPSS Inc，芝加哥，伊利诺伊州，美国)进行分析。使用Cronbach alpha计算MARS质量分量表和总质量评分的内部一致性。这表明衡量相同总体结构的项目产生相似分数的程度(相关性)。MARS子量表和总分的评分者间信度由类内相关系数(ICC)决定[21］．这一统计数据允许适当计算评分者同意的加权值，并考虑到评分的接近性，而不是相等性。采用双向混合效应，具有绝对一致性的平均度量模型[22］．MARS总分的并发有效性与苹果iTunes应用商店中每个应用的平均星级(2013年9月19日从苹果iTunes应用商店收集)进行了对比。

结果

手机应用评价量表开发

该搜索策略产生了25篇出版物，包括同行评审的期刊文章(n=14)、会议论文集(n=8)和包含明确的移动或网络相关质量标准的互联网资源(n=3)。本文提供了所使用资源的完整列表(参见多媒体附件1、论文、出版物和用于MARS标准选择的材料)。总共提取了427个标准，56个作为重复删除，22个被认为与应用程序无关。剩下的349个标准被专家小组分为六个类别，其中一个与应用程序有关分类，客观应用程序质量分为四类(订婚，功能，美学,而且信息质量)，还有一个主观应用质量(见表1)，通过迭代方法。

分类类别

的分类Category收集了应用程序的描述性信息(如价格、平台、评级)及其技术方面(如登录、密码保护、共享功能)。其他部分收集有关应用程序目标年龄组的信息(如果相关)，以及应用程序针对哪些健康方面(包括身体健康、心理健康、福祉)的信息。这些域可以根据需要进行调整，以包括/排除特定的内容区域。

应用程序质量标准聚集在订婚，功能，美学，信息质量,而且主观质量类别，以开发23个子类别，从中开发23个单独的MARS项目。每个MARS项目使用5分制(1-不合格，2-差，3-可接受，4-良好，5-优秀)，并为每个项目编写这些评级锚的描述符。如果某个项目可能不适用于所有应用程序，则包含“不适用”选项。专家小组仔细审查了MARS项目和评级描述符术语，以确保在整个量表中使用适当和一致的语言。

计算e的平均分ngagement，功能，美学,信息质量目标子量表，以及MARS的总体平均应用质量总分。使用平均分而不是总分，因为一个项目可以被评为不适用。此外，平均分数被用来提供质量评级，对应于熟悉的星级评级格式。的主观质量项目可以作为单个项目单独得分，也可以作为平均值主观质量得分。火星应用分类节仅用于描述目的。

手机应用评估量表测试

从iTunes搜索中总共检索到1533个应用程序。所有重复的、非英语的和付费应用都被删除了。“游戏”类应用;“书”;“业务”;“目录”;“娱乐”;“融资”;“导航”;“新闻”; “social networking”; and “travel” were also removed. Remaining apps were screened by title. The app store descriptions of apps with unclear titles were reviewed prior to exclusion. App titles with the words “magazine”, “mother”, “mum”, “job”, “festival”, “massage”, “shop”, or “conference”, as well as company ads and Web apps were also excluded, as they were linked to irrelevant content. There were sixty of the remaining 405 apps that were randomly selected for rating with the MARS (图1显示了这一点)。

在尝试对最初的10个应用程序进行评级时，发现其中一个有问题，无法进行评级。其余9个应用程序的MARS评级表明该量表具有较高的内部一致性(Cronbach alpha = 0.78)和公平的评分者间可靠性(2-way混合ICC = 0.57, 95% CI 0.41-0.69)。属性中的项中删除了“不适用”选项订婚类别，因为这个功能被认为是所有高质量应用的重要和通用组件。的意义视觉信息澄清了该项目并重新措词。“年轻人”的年龄目标被定义为16-25岁的应用用户。的描述符目标被澄清为阅读;应用程序是否有具体的、可衡量的、可实现的目标(在应用商店描述或应用程序本身中指定)?；以帮助区分它和物品应用描述的准确性这通常与应用程序的目标有关。在信息在subscale中，评分者发现很难确定应用中信息的缺乏何时应该被评为不适用或缺陷;因此，这一条款被修改为要求对信息进行评级，除非应用程序纯粹是为了娱乐。本文提供了MARS的最终版本(参见多媒体附件2，手机应用评分量表)。

其余50个心理健康和幸福应用程序的MARS总分的独立评级显示了出色的评分者之间的可靠性(2-way混合ICC = 0.79, 95% CI 0.75-0.83)。MARS总分具有极好的内部一致性(Cronbach alpha = .90)，并与MARS星级项目高度相关(#23)，r(50) = 0.89，P<措施。MARS分量表的内部一致性也非常高(Cronbach alpha = 0.80 -。89，中位数。85)，他们的评分者间的可靠性是相当优秀(ICC = .50-。80，中位数。65)。详细的项目和分量表统计数据在表2．本文提供了一个完整的应用程序列表，这些应用程序使用MARS进行了测试和评级，以及它们的平均客观和主观应用程序质量得分多媒体，用于MARS评估的移动应用程序)。

在从iTunes App Store中抽取的50款心理健康和健康应用中，只有15款获得了显示星级所需的5个用户评分。这些应用程序在iTunes星级评分和MARS总分之间显示出适度的相关性(r(15) = .55，P< . 05)。

‎ 查看此图

讨论

主要结果

MARS是第一个移动健康应用质量评级工具，据我们所知，它提供了一个多维度衡量应用质量的指标粘性，功能性，美学,信息质量,以及应用程序主观质量．这些应用程序质量指标是从用户体验、技术、人机交互和移动健康文献中提取出来的，但之前没有在一个单一的框架中结合。以前开发移动应用评估标准的尝试过于技术化或针对特定的健康领域。它们也没有由卫生专业人员、设计人员和卫生网络和移动应用程序开发人员组成的专家小组系统地开发和试点。相比之下，MARS是一种易于使用(经过适当的培训)、简单、客观、可靠和广泛适用的应用程序质量测量方法，由多学科专家团队开发。尽管MARS的广泛性还有待测试，但该量表可以进行修改，以衡量与健康无关的应用程序的质量。MARS的总平均分描述了应用程序的整体质量，而平均值订婚，功能，美学,信息质量子量表得分可以用来描述其具体的优势和劣势。

使用客观MARS项目锚定和在当前研究中获得的高水平的评分者间可靠性应该允许健康从业者和研究人员有信心使用量表。应用程序质量总分和四个应用程序质量子量表都具有较高的内部一致性，这表明MARS为评分者提供了一个可靠的应用程序整体质量指标，以及应用程序质量订婚，功能，美学,信息质量．排除主观质量由于其主观性，MARS作为应用质量衡量指标的客观性得到了加强。然而，MARS质量总分与其整体星级之间的高相关性进一步表明，它正在捕捉感知的整体质量。值得注意的是，MARS的整体星级可能会受到之前完成19个MARS应用程序质量项目的影响。然而，在50款心理健康应用中，有15款在iTunes App Store上的星级评分与MARS的总分只有适度的相关性。这并不奇怪;考虑到不同评分者可能使用的不同标准，这些评分的主观性质，以及iTunes星级评级缺乏可靠性，这在之前的研究中已经强调过[6］．此外，MARS的整体星级评分与iTunes App Store的星级评分只有适度的相关性。MARS星评级可能会提供更可靠的整体应用质量衡量标准，因为它是在完成整个MARS星评级后进行评级的，因此会受到上述项目的影响。

建议MARS评分者在开始使用前完成训练练习。培训幻灯片可从通讯作者处获得。如果使用多个MARS评分员，建议评分员对应用程序的目标群体达成共识，澄清他们发现的任何MARS项目的含义，并确定所有MARS项目和子量表是否与特定的感兴趣的健康领域相关。应用质量评级应该进行试点和审查，直到达到适当的评级者之间的可靠性或共识评级。MARS还假设评分者已经对应用程序的内容和功能进行了详细的探索。

由于MARS中包含的移动健康应用程序质量指标的一般性性质，建议添加一些“特定于应用程序”的项目，以获得关于应用程序对用户与目标健康行为相关的知识、态度和意图的感知影响的信息应用程序特定的部分火星)。

为了方便起见，MARS是在iPhone而不是Android应用程序上进行操作的。然而，自最初的测试以来，该比例已经应用于多个Android应用程序，没有遇到兼容性问题。但是，未来的研究应该探索该量表在Android应用程序中的可靠性。

限制

虽然最初的搜索策略是使用系统评审的指南来确定应用程序质量评级标准，但很少有同行评审的期刊文章被识别出来。结果，搜索策略扩大到包括会议记录和互联网资源，这些资源可能没有得到广泛的同行评审。按照规模发展的建议准则进行[23]，通过对现有研究进行定性分析，提取应用程序质量标准，然后通过专题审查和专家小组评级，开发应用程序质量类别、子类别、MARS项目及其锚定评级。尽管做出了这些努力，并在试运行秤后进行了修正，两个MARS项目仍在功能次生氧化皮(易用性而且导航)仅达到中等水平的评分者间信度(ICC = .50)。这些项目已经修改并正在测试中。

研究人员尚未测试这项研究中包括的心理健康应用程序的影响。结果，MARS项目证据基础在目前的研究中，没有对任何应用程序进行评级，其性能也没有经过测试。希望随着健康应用程序的证据基础的发展，MARS项目的适用性将得到测试。

未来的研究

未来的研究需要确定MARS在多个健康和其他应用程序领域的适用性和可靠性，以及它在应用程序开发领域的适用性。应用程序质量总分和子量表得分与用户体验、体验质量和服务质量概念之间的关联需要进一步调查。随着移动应用程序功能的发展，未来可能需要对MARS术语和其他项目进行改进。希望当前版本的MARS为移动健康应用程序开发人员提供了一份确保高质量应用程序设计的标准清单。

MARS还可用于提供关于医疗应用程序质量的定量信息，作为最近医疗应用程序同行评审计划的一部分，例如JMIR mHealth和uHealth发起的计划[24］．

经过一些修改，MARS还可以为健康相关网站的开发和质量评级提供信息。虽然MARS量表是为移动健康领域的专家设计的，但在原始MARS量表的基础上，与青年机构和年轻人协商开发了一个更简单的“MARS-应用程序用户”量表，目的是获得用户对应用程序质量和满意度的反馈。火星应用程序用户版目前正在试验中。可根据通讯作者的要求提供。

未来的研究还需要确定如何最好地评估移动健康应用程序的安全性，包括应用程序中包含的健康信息的质量以及用户信息的隐私和安全[16，25］．苏(25他最近建议，对移动健康应用程序的安全性和完整性的评估应该包括探索开源开发者代码，以防范潜在的恶意功能。

结论

MARS为研究人员、开发人员和健康专业人员提供了一个多维、可靠、灵活的应用程序质量评级量表。目前的结果表明，MARS是健康应用程序质量的可靠衡量标准，前提是评分者接受了充分和适当的培训。