德文版移动应用评定量表(MARS-G):开发与验证研究

介绍

手机是现代生活中不可或缺的一部分。在欧洲，67%的人口拥有智能手机，而全球智能手机用户的数量也在不断增长。1]。据报道，30%的德国人在他们的智能手机上安装了11到20个应用程序[2]。使用移动应用程序来改善心理健康和幸福感正变得越来越普遍，大约29%的德国人目前至少使用一款健康应用程序[3.]。

在全球范围内，有9500万至1.3亿人讲德语，使其成为世界上第11大语言[4，5]。在德国，老年人和受过基础教育的人通常只说一种语言[6]。然而，这些人群在发展和维持健康行为方面非常需要帮助，并且可以从移动健康应用程序(MHAs)的使用中受益。德国MHA评级量表可以帮助研究人员和医疗服务提供者快速可靠地评估健康应用程序的质量。此外，用德国标准来评价一款德国应用也很容易。

MHAs为促进健康提供了独特和多样化的可能性。它们允许进行短暂的生态评估[7，8]和干预措施[8，9]。此外，它们可以不受地理、金融和社会条件的限制而使用;可以同时针对非临床和临床人群;并有能力在生态环境中提供多样化的健康管理战略[10]。此外，它们支持个人，包括来自高需要高费用人群的个人(例如患有慢性病或生活方式疾病的人)管理自己的健康[9];减少求助障碍;并提供广泛的参与选择[10]。

尽管最近mha数量激增[11]，没有普遍接受的标准来衡量和报告它们的质量[8，12]。因此，有必要支持研究人员、使用者和卫生保健提供者(如医生、心理治疗师和物理治疗师)选择高质量的mha。安全可靠地使用mha需要有效性和质量的证据、有关数据保护的信息、有关应急程序(例如自我伤害和不良影响)的信息，以及对相关风险的全面考虑[10]。

Boudreaux及其同事[13]提出了以下7种评价MHA质量的策略:(1)查阅科学文献;(2)搜索应用结算网站;(3)搜索应用商店;(4)审核应用描述、用户评分和用户评论;(5)在专业人士和(如果有的话)患者网络中进行社交媒体查询;(6)试点应用程序;(7)征求用户反馈。在做出治疗选择时，这一过程可能对卫生保健提供者和最终用户要求过高。标准化和可靠的质量评估工具可以促进这一进程。

迄今为止存在几种MHA评估量表。美国心理学会发布了一个应用评估模型，该模型包括以下五个方面的33个项目:背景信息、风险/隐私和安全、证据、易用性和互操作性[12]。该模型的主要目的是评估危害的可能性[9]。然而，该评级工具的效度和信度评估尚未见报道，对其应用尚无一致意见[14]。

Baumel和同事[15]根据对相关标准的全面系统审查，开发了移动和基于网络的电子卫生干预评估工具(ENLIGHT)。该工具允许从7个维度(可用性、视觉设计、用户参与度、内容、治疗说服力、治疗联盟和一般主观评价)对28个项目的应用质量进行评估。ENLIGHT还提供了评估可信度、证据基础、隐私解释和基本安全性的清单。

流动应用程序评分量表(MARS) [16是最常用的应用程序评估工具，允许电子健康专家对mha进行评级。它包括19个项目，包括4个客观MHA特征(参与度、功能、美学和信息质量)的子量表，以及另外10个项目，包括2个主观特征(主观应用质量和感知影响)的子量表。分量表和总分反映了mha的质量。MARS已被用于科学评估以下领域的应用质量:体重管理、身体活动、心力衰竭、儿童和青少年饮食、药物依从性、正念、背痛、慢性疼痛、戒烟和抑郁症[8，17-24]。因此，它是科学界使用最广泛的MHA质量评级工具。此外，许多促进MHA安全使用的国际努力(例如，移动健康应用程序数据库、心理指南或应用程序脚本、Reachout、各种帮助热线、健康导航员和Vic Health)都是基于MARS。

MARS的原始版本是英语的，但全球范围内需要根据文化和语言进行应用评级。西班牙语和意大利语版本的MARS已被开发出来[25，26]。考虑到德国不断增长和不受监管的MHA市场，德国MARS是必要的。因此，本研究旨在开发和验证德文版本的移动应用评定量表(MARS- g)，并利用与项目反应理论密切相关的莫肯量表分析方法来研究MARS总体评分的可扩展性。

方法

改编与翻译

MARS由两位独立的双语科学家(EMM和TP)从英语翻译成德语。在对两种正向翻译进行审查和讨论后，创建了火星- g的试点版本。该试点版本由两名不同背景的双语人士(一名博士后心理学家[AB]和一名非学术人士[LMZ])进行盲回翻译。此后，由双语科学家(EMM和TP)将回译与原英文版本进行比较，并创建了第二个版本的MARS-G。该版本的可理解性由三名研究人员和三名非学者进行了评估。在解决了他们的意见后，MARS-G的最终版本被创建并用于本研究。MARS-G可以从补充资料中下载，也可以根据要求向作者索取。

查册及程序

MARS-G在一项针对焦虑的应用程序质量的研究框架内得到了验证(E M Messner等人，未发表的数据，2020年)。使用以下搜索词识别应用程序:焦虑、恐惧、焦虑发作、焦虑、焦虑、焦虑症、恐惧、恐惧、恐慌、恐慌发作、担心和担忧。每个搜索词都是单独提供的，因为在Google Play Store和iOS Store中不可能截断或使用逻辑运算符(AND, or和NOT)。

纳入过程分为三个步骤(搜索、筛选和确定合格性)。(1)使用上述搜索词，确定初始应用池。(2)筛选商店网站上的应用程序详细信息，下载和审查应用程序，如果它们是为焦虑开发的，有德语或英语，可以通过官方Google Play store或iOS store下载，并且不符合相关的排除标准(应用程序捆绑[许多应用程序只能作为一个组提供])。(3)所有下载的应用程序，如果没有解决焦虑，不是德语或英语，有故障，或符合相关的排除标准(设备不兼容和开发/测试阶段)，将被评估和排除。我们从应用商店中发现了3562个mha。然而，我们排除了810个重复的应用程序，2577个应用程序被认为不适合筛选，71个应用程序被认为不合格。剩下的104个应用程序由两位独立的训练有素的评分员使用MARS和MARS- g进行评分。评分者对所有mha进行了15分钟的测试。在两种语言的测试期结束后立即对质量进行评估。MARS-G的评估出现在一篇评估焦虑可用mha质量的综述中(E M Messner等人，未发表的数据，2020年)。

评定等级的培训

我们遵循Stoyanov及其同事的原始研究中的评级方法[16]。我们在YouTube上制作了一个视频，介绍了MARS-G评级，并练习了如何将一个应用程序评为典型的健康应用程序(TrackYourTinnitus) [27]。这段视频可以向通讯作者索取。每个评分员都使用这个视频进行训练，然后对五个预定义的应用程序进行评分，以确保每个评分员都得到了适当的训练。如果个人评价分数与我们的标准评价分数相差至少2分，则讨论差异直至达成一致。所有评价者至少拥有心理学学士学位，以确保达到必要的最低心理诊断能力标准。

德文版本的移动应用评定量表

我们在MARS-G的应用程序描述部分添加了以下项目:理论背景(认知行为、治疗、系统治疗等)、方法(眼动脱敏与再处理、追踪、反馈等)、应用商店类别(生活方式、医学等)、嵌入日常护理(与治疗师沟通等)、使用类型(预防、治疗、康复等)、指导(独立、混合护理等)、认证(医疗器械法等)、数据安全(登录、知情同意等)。原始MARS的四个部分进行了扩展，增加了一个部分，重点关注与应用程序相关的治疗收益。衍生项目如下:患者的收益;治疗师的收获;风险和不良影响;以及在日常医疗保健中易于实施。

分析

组内相关

纳入的mha由两名训练有素的评分员独立评定。计算类内相关系数(ICC)来评估评分者之间的一致程度。ICC <0.50为相关性差，0.51 ~ 0.75为相关性中等，0.76 ~ 0.89为相关性好，>0.90为相关性极好[28]。根据以往的研究结果，ICC >0.75被认为是有足够的相关性[8，29，30.]。

内部一致性

评估MARS- g及其子量表的内部一致性，作为量表可靠性的衡量标准，类似于原始MARS [16]。Omega被用来代替广泛采用的Cronbach alpha来评估可靠性，因为它提供了一个更无偏的可靠性估计[31-33]。对于估算，Zhang和Yuan介绍的程序[34]用于获得稳健系数和自适应偏差校正置信区间。ω <0.50表示内部一致性不可接受，0.51-0.59表示一致性差，0.60-0.69表示一致性有问题，0.70-0.79表示一致性可接受，0.80-0.89表示一致性良好，>0.90表示一致性极好[35]。

有效性

我们评估了MARS与MARS- g对应子量表之间的相关性，以及MARS总分与MARS- g总分之间的总体相关性。一个r值>0.8被作者组先验地认为是MARS和MARS- g之间存在强烈和充分关联的指标。此外，使用双面法对MARS- g和MARS- g的维度进行了平均比较t测试。对于所有的比较，aP值<。0.05被认为是显著的。

莫肯量表分析

Mokken量表分析(MSA)是一种与非参数项目反应理论密切相关的量表分析方法[36]。使用MSA的前提条件是单调性和非相交性。MSA中的关键参数是Loevinger H. H_我为项目i的缩放参数，所有项目聚到规模k上的整体可扩展性为H_k．H_我表示潜在变量(应用质量)与项目i之间关系的强度。高可扩展性分数表明，项目i的增加很可能伴随着潜在变量的增加。H <0.4为弱量表，H≥0.4但<0.49为中等量表，H >0.5为强量表[36]。此方法已在上文[36-39]。对于MARS和MARS- g，进行了MSA来评估平均得分的可扩展性。根据van der Ark的建议[36]，另外使用Molenaar-Sijtsma方法(MS)评估量表的信度[40，41]， lambda-2 [42]、潜在类信度系数(LCRC) [43]。MSA已于前文作了介绍[36]。

分析软件

R软件(R Foundation for Statistical Computing, Vienna, Austria) [44除类内相关性外，所有分析均使用]。MSA使用R包进行mokken(36，38]。计算相关性和内部一致性心理(版本1.8.12)[45),coefficientalpha软件包(0.5版本)[34]。的coefficientalpha包包括欧米茄与缺失和非正常数据的计算。ICC的计算使用IBM SPSS 24 (IBM Corp, Armonk, New York) [46]。

结果

描述性数据和平均值比较

MARS和MARS- g的ICC很高(ICC)_火星: 0.84, 95% ci 0.82-0.85;国际刑事法庭_MARS-G: 0.83, 95% ci 0.82-0.85)。MARS-G项目的平均和标准差得分见表1．MARS中项目的平均和标准差得分在其他地方报告(E M Messner等人，未发表的数据，2020)。维度的平均得分订婚（t₂₀₆= 0.12;P=点),功能（t₂₀₅= 0.39;P= 2),美学（t₂₀₆=−0.012;P= 0)信息质量（t₂₀₄= 0.45;P= 0.66)及整体评分(t₂₀₆= 0.27;P=.80)在MARS和MARS- g之间是相等的。

内部一致性

MARS维度的内部一致性订婚预后良好(ω=0.84, 95% CI 0.77-0.88)。的内部一致性功能(ω=0.90, 95% CI 0.85-0.94)美学(ω=0.91, 95% CI 0.92-0.96)。的内部一致性信息质量可接受(ω=0.74, 95% CI 0.14-0.99;α=。75，95% CI 0.67-0.83). The internal consistency of the overall MARS score was good (ω=0.81, 95% CI 0.74-0.86).

MARS- g维度的内部一致性与原始MARS几乎相同(engagement: ω=0.85, 95% CI 0.78-0.89;功能性:ω=0.91, 95% CI 0.87-0.94;美学:ω=0.93, 95% CI 0.90-0.95;信息质量:ω=0.72, 95% CI 0.33-0.81)。总体评分的内部一致性较好(ω=0.82, 95% CI 0.76-0.86)。

有效性

MARS与MARS- g对应维度的相关系数在0.93 ~ 0.98之间P根据Holmes方法调整数值进行多重检验[47) (表2）.各项目之间的相关性见多媒体附录1．用户评分与质量评分之间没有关联(表1）.

莫肯量表分析

MARS的MSA显示出较强的可扩展性(H=0.50;0.062 SE)。没有违反单调性和非相交性。该量表的内部一致性可接受(MS=0.74;λ2 = 0.73;LCRC = 0.72)。MARS-G的MSA具有良好的可扩展性(H=0.48;0.060 SE)。该量表的内部一致性可接受(MS=0.74;λ2 = 0.72; LCRC=0.74). The scalability results of the MARS and MARS-G are presented in表3．

讨论

主要研究结果

本研究开发并评估了mha的MARS-G。结果表明，MARS-G是专家评估MHAs质量的可靠有效工具。MARS- g的有效性和可靠性与原始MARS相当。关于尺寸的可靠性信息质量， ω的置信区间由于计划缺失而被高估。计划缺失源于响应选项不适用，如果应用程序没有任何健康信息(例如，日记应用程序和益智游戏)，评分者可以跳过某个项目。MARS- g和原始MARS之间的可靠性没有差异。

MSA透露，使用MARS-G总分是合适的。此外，MARS- g与原始MARS具有良好的对应关系，表明有效性良好。我们的结果与一项研究的结果一致，该研究介绍并测试了一种意大利版的MARS [25]。

MARS-G已在多媒体附录2并可按要求向作者索取。它可以免费用于研究和非商业mha评估项目。为了达到令人满意的翻译可靠性，强烈建议完成通讯作者提供的在线培训练习。此外，还可以根据要求从通讯作者处获得五个应用程序的训练数据集。应修订MARS-G评级，直到达到一个适当的水平(即ICC >0.75)。

为了协助选择MHA，德语国家需要对MHA进行标准化的高质量评级。总的来说，一个公开可用的数据库提供可靠、有效和标准化的专家评级，比如MARS-G评级，可以帮助医疗保健部门做出明智的决定，决定使用哪个应用程序来治疗特定的疾病或目的。移动健康应用数据库[48]就是这样一个工具的一个例子，它可以帮助用户和医疗保健提供者根据不同的健康相关目的选择合适的应用程序。

限制

这项研究有几个局限性。首先，仅通过比较MARS和MARS- g来评估收敛效度。与其他应用评级量表(如ENLIGHT)的比较[15]和美国心理协会应用评估模型[12]，在未来的研究中是必要的。其次，对焦虑应用的关注限制了概括。需要进一步的研究来证实这些发现可以推广到其他流动卫生领域。这样的研究需要熟悉特定领域的专家评分员。最后，在未来更大样本的研究中，应对MARS和MARS- g进行验证性因子分析，以确保MARS和MARS- g的预定义子量表能够得到确认。

未来的研究

这项对火星的翻译研究发现了几个研究空白。未来的研究应侧重于改进应用程序质量评估，从而扩大MHA的安全使用范围。这项研究面临的一个挑战是，应用程序在应用商店中呈现的顺序是难以理解的，并且根据搜索使用的帐户而有所不同。在未来的研究中，可以使用网络爬虫来搜索欧洲应用商店的关键字，以建立一个公正的可用mha数据库。这样的数据库在中国已经存在，它包含了美国、中国、日本、巴西和俄罗斯所有可用的mha [49]。

未来的研究还应该阐明现实生活中的用户行为与MARS或MARS- g评级之间的关系。由于MARS和MARS- g捕捉应用质量，它们可以帮助预测用户下载和使用数字资源的能力。这样的研究已经在ENLIGHT和现实生活中的用户参与中进行了[50]。mha的疗效与使用者依从性密切相关[50-52];因此，高质量的应用程序可能需要包括依从性促进策略，以发挥其潜力。

此外，还应考虑到患者的参与。MARS (uMARS)的用户版本[53]也应翻译并测试其可靠性和有效性，以便能与德语国家的uMARS-G的用户评分相补充。此外，未来还需要进一步的研究来调查MARS-G和uMARS-G与特定健康问题相关的应用程序。

总之，MARS-G可由公共卫生当局、患者组织、研究人员、卫生保健提供者(如医生和心理治疗师)以及感兴趣的第三方等各利益攸关方用于评估卫生部的质量。此外，应用程序开发人员可以使用MARS-G作为提高应用程序质量的工具。