发表在第十七卷第八期(2015):八月

应用使用因子:比较移动医疗应用对人群影响的简单指标

应用使用因子:比较移动医疗应用对人群影响的简单指标

应用使用因子:比较移动医疗应用对人群影响的简单指标

原始论文

1联合王国伦敦金斯顿医院国民保健服务信托基金

2联合王国利兹大学利兹健康科学研究所

通讯作者:

Thomas Lorchan Lewis,理学学士(荣誉),工商管理学士

金斯顿医院国民保健服务信托基金

高尔斯华绥路

Kingston-Upon-Thames

伦敦,KT2 7 qb

联合王国

电话:44 7876453511

电子邮件:tlewis@doctors.org.uk


背景:评估手机应用质量的一个因素是量化特定应用对人群的影响。目前还没有一种指标可以用来比较移动应用程序在不同医疗保健学科中的人群影响。

摘要目的:这项研究的目的是创建一个新的指标来描述移动应用程序对人群的影响。

方法:我们开发了一个简单的新指标,应用使用因子(AUF),定义为移动应用的活跃用户数量与应用每日使用中位数的乘积的对数。该指标的行为是使用通用编程语言Python中的模拟建模来建模的。我们进行了三次模拟,以探索我们的指标和模拟应用生态系统模型的时间和数值稳定性,模拟数据集包含2万个应用。

结果:模拟证实了该指标在预测的使用限制之间是稳定的,并且在这些限制的极端情况下保持稳定。通过对2万个应用的模拟数据集的分析,得出应用使用率的平均值为4.90 (SD 0.78)。时间模拟表明,该度量随着时间的推移保持稳定,并确定了其使用的适当限制。

结论:评估应用风险和潜在危害的一个关键组成部分是了解每个移动应用的潜在人群影响。我们的指标对应用生态系统中的广泛利益相关者有许多潜在用途,包括用户、监管机构、开发人员和医疗保健专业人员。此外,这一指标构成了对移动医疗应用程序带来的风险和潜在危害或好处的整体估计的一部分。我们确定了这一指标的优点和局限性,以及未来验证和研究的潜在途径。

中国医学网络学报2015;17(8):e200

doi: 10.2196 / jmir.4284

关键字



概述

卫生保健专业人员和患者的健康和医疗应用程序越来越受欢迎,这是得到广泛认可的,因为它们在一些卫生保健领域中获得了大量成功应用,包括临床卫生保健提供、教育和健康促进[1-4].然而,对应用程序的可靠性和准确性的一些担忧已经出现,导致要求进行某种形式的质量评估[5-7].

评估手机应用的质量是一个非常困难的问题,目前还没有标准的解决方案。理想情况下,每个医疗应用程序都应该由一系列专家进行评估和测试,以确保其适合和适用于医学。在实践中,考虑到应用市场的指数级增长、低准入门槛、有限的资源和快速的开发节奏,这是不可能实现的。6].人们提出了许多模型来帮助临床医生、应用程序开发者、监管机构和委托机构评估移动应用程序的质量,尽管哪种模型在实际应用中最有效用还有待观察[589].

先前一篇提出移动医疗应用程序风险评估框架的论文指出了许多增加潜在危害的成分[5].这些组件包括应用程序的固有因素,如功能、内容、复杂性和缺乏故障保险。外部因素包括应用程序用户、不恰当的使用、培训不足以及检测到错误的可能性。此外,本文认为,医疗应用程序造成的潜在危害的一个重要组成部分是移动应用程序对特定人群的总体影响[5].Lewis等人指出,“风险与受影响的患者数量成正比,因此需要考虑疾病流行率或可能受错误影响的人数的类似指数。”

由此可见,一款由大量人群使用的危害较小的应用,可能会比一款由少量人群使用的危害较大的应用带来更大的总体人群安全风险。因此,很明显,有必要开发一种度量标准来评估移动医疗应用程序对人群的影响,并允许后续在不同学科之间进行比较。

问题:评估特定应用的影响

目前可供评估移动医疗应用程序对任何给定人口的影响的选择数量有限;这些在表1并按准确性排序。

对于不同的利益相关方来说,评估和比较特定应用可能对人群的影响是非常重要的表2

能够评估在任何给定时间因不安全应用而面临风险的人数是至关重要的,目前还没有明确的评估方法。我们的目标是提出、开发和建模一个简单的指标,可以用来评估和比较特定应用对人群的可能影响。

表1。目前用于评估手机应用对特定人群影响的模型。
评估工具一个 例子 优势 缺点
详细的应用分析 诸如活跃用户、花在应用上的时间、民族志和流行病学数据等高级指标 数据细节方面的黄金标准
能否精确测量对人口的影响
海量数据
目前没有实际
依赖于应用程序开发者发布关键的商业信息
开发人员的偏见
移动健康研究(10 许多移动健康研究测试了移动应用程序在医疗保健方面的有效性 严格的独立试验
通常有详细的可用指标
经常注意应用的质量
通常专注于一个特定的应用程序
可供研究的研究不多
比较不同学科的应用并不容易
应用下载数量 基本指标可从许多来源 能否轻松比较不同学科的应用程序 不容易获取的资料
许多用户下载应用只是为了试用
没有应用程序使用频率的信息
没有关于目标受众的信息
经常没有准确报道
猜测 N/Ab 提供估计所需的最少知识 不准确或不精确
宽观察者偏见

一个评估工具按准确性排序。

b不适用(N / A)。

表2。利益相关者使用手机应用的人口影响的主要原因。
利益相关者 估计应用程序对人口影响的原因
监管机构 评估和比较应用程序不安全时的整体风险,并决定适当的监管措施
指南开发者(如NICE)一个 了解有效的应用程序为人群带来的潜在利益
从公共健康的角度帮助理解应用程序的影响
应用程序开发人员 为投资决策辩护
指导更新策略
应用程序用户 可以使用人口影响作为质量的替代指标吗
临床医生建议用户使用该应用程序 可以使用人口影响作为质量的替代指标吗
健康保险和供资计划 了解批准报销应用程序成本可能带来的回报
健康经济学家 作为应用程序成本效益评估的一部分
应用程序商店 可以利用改b作为他们排名算法的一部分
质量替代标志

一个国家健康和优质护理研究所(NICE)。

bApp使用率(AUF)。


识别一个简单的指标:应用使用因子

对现有的公制系统进行了广泛的文献搜索。本文的两位作者(TLL, JCW)搜索了有关它们在应用于医疗应用程序时是否适合使用的相关论文,然而,没有找到。研究还扩展到技术的其他方面。我们觉得在医疗保健之外还有一些有用的类比;这些措施包括乘客英里比较有限公司2替代交通方式产生的排放读者报纸和杂志的数量(每份报纸的销售量×读者数量)网站指标,它捕捉的是独立访客数量×每次访问所花费的时间。

我们还对有用的度量标准进行了头脑风暴。在我们看来,一个好的指标应该体现以下特点:

1.很容易从现成的信息中计算出来

2.反映用户数量和使用频率

3.在0到10的范围内生成一个简单易懂的数字,尽管每个应用的用户数量差异巨大(至少是100万比1)

4.每款应用都相对稳定

5.能否作为不良事件报告的分母

6.例如,它对用户的直观意义与里氏震级相同。

7.具有良好的观察者间一致性和可靠性。

我们提出的指标,应用使用因子(AUF),定义为移动应用的活跃用户总数(一个U)与上述应用程式每日使用次数中位数(DU).度规的计算公式如式1所示:

AUF =日志10一个U×DU) (1)

有许多点值得考虑,以使该指标满足所有所需的特征。测量的一些注意事项一个U而且DU包括地理边界(例如,AUF可以是全球或特定国家的),操作系统版本(例如,AUF可能因iPhone和Android平台而不同),以及应用程序版本号,这些都需要指定或标准化,以便对AUF进行有意义的评估。

在计算时也有特定的时间考虑一个UDu, AUF,特别是:

1.每个变量的数字应该被评估为“稳定”,例如,在过去30天内没有显著变化。这是因为用户对应用的使用可能会迅速改变,例如,由于媒体对新应用的宣传。

2.特定应用的AUF会随着应用生态系统的发展而改变。可能会遇到的具体问题包括应用程序或操作系统更新,这可能会显著影响应用程序的功能。

基于上述考虑,我们可以根据一个特定应用的季度(至少是主要应用更新后30天)来计算AUF。考虑到应用更新的速度,这可能需要进一步完善。11].

根据建议的标准验证应用使用因子指标

概述

任何新的度量标准都需要适当的验证,以确保其对所提议的任务的适用性和准确性。我们构建了一系列计算机模拟模型,以探索特定的应用程序使用场景。目的是根据理想的度量标准验证AUF度量,从而确认其实际使用的适用性和适用性。使用Python建模了三个特定场景[12],是一种高级通用编程语言,具体如下:

1.的函数来探讨AUF的稳定性一个u而且Du,包括确定公制限值

2.模拟应用生态系统模型

3.AUF的时间稳定性

探索应用程序使用因子作为Auand Du函数的稳定性,包括度量极限的确定

用Python构建了200×200线性间隔网格,以模拟基于0<的AUF计算值的度量行为。一个U< 100000和0 <DU< 50岁。二次迭代过程被用来探索AUF的极限,同时仍然返回可用的结果。确定了具体的阳性和阴性限度。

模拟应用生态系统模型

最近一项研究的数据显示,目前有2万个健康和医疗应用程序可从主要在线应用商店下载[7].为了验证新的度量,使用Python构建了一个包含20,000个“应用程序”的模拟数据集,每个应用程序都有随机的每日“使用量”和随机的活跃“用户”。的值一个U而且DU采用负指数概率分布随机分布;这是一个连续概率分布,描述了泊松过程(即事件以恒定的平均速率连续独立发生的过程)中事件之间的时间间隔。13])。选择这个概率函数来反映应用程序存在的概率递减这两个广泛使用的(一个U而且每天使用多次(DU).指数分布的概率分布函数如式2所示。

Px) =λe-λx(2)

使用迭代过程确定lambda的值,以确定每日活动的最大数量和最大活跃用户数量的合适限制[14].这被确定为0.00001和0.4一个U而且DU,分别规定最多可使用100万人次和每天使用30次。

应用程序使用因子的时间稳定性

为了评估AUF的时间稳定性,我们将单个应用程序的行为建模为时间的函数。AUF的对数分量的强度是它作为外部生态系统因素(如媒体炒作)的阻尼系统的能力。目的是表明AUF不会因这些因素而发生显著变化。为了验证这一点,我们将在模拟中应用一系列外部生态系统因素来观察AUF的变化。模拟的关键标准如下:

1.DU的最小值和最大值之间的随机浮点值DUDU MIN而且D你最大,分别)根据每天的均匀概率分布

2.一个U计算每天增加/减少x个用户,其中x是一个浮点值,由最小值和最大值之间的均匀概率分布决定一个U一个U MIN而且一个你最大分别)

3.的值计算AUF一个U而且DU用度量来描述,并将其建模为2年时间的函数。

该模型应用了特定的功能,旨在模拟以下外部应用生态系统事件:初始市场发布、媒体正面宣传、媒体负面宣传和应用/操作系统更新。然后将模拟应用程序的AUF绘制为时间的函数,以分析时间行为。initial的值一个U一个U最初的),一个U MIN一个你最大DU MIN,而且D你最大每个外部生态系统事件如下所示表3

表3。初始数据用于建模AUF特征作为单一移动应用程序的时间函数。
外部生态系统事件 一天多 一个U MIN一个 一个你最大b DU MINc-D你最大d
最初的市场推出 1e(没有。初始设置为50) -50年 50 10 - 20
每日市场波动 所有的日子,除了下面的日子 -50年 50 10 - 20
积极的媒体宣传 100 - 110 50 500 10 - 20
负面的媒体宣传 350 - 360 -500年 50 10 - 20
应用版本/操作系统更新 501f(没有。的用户重置为500) -50年 50 10 - 20
用户升级到最新版本 500 - 650 -20年 250 10 - 20

一个移动应用程序的最低活跃用户数范围(一个U MIN).

b移动应用程序的最大活跃用户数范围(一个你最大).

c一款应用的最低每日使用量中位数范围(DU MIN).

d一个应用程序的最大每日使用量中位数范围(D你最大).

e移动应用程式的初始活跃用户量(一个U最初的)在第一天(首次上市)=50。

f在第501天,活跃用户的数量被重置为500,以模拟应用版本/操作系统的更新。


应用程序使用因子作为AUand DU函数的稳定性

我们的模型的结果显示在图1强调AUF(等高线)作为函数的价值一个U而且DU.提供的度量保持稳定(即AUF > 0)一个U×DU大于1。我们有理由假设如果一个U×DU如果小于1,那么该应用将很少被使用。在实践中,这与一个应用每月被50人或更少的人定期使用的情况有关,这被认为是可接受的最低标准。

图1。等高线图,说明作为Au和Du函数的应用程序使用因子的稳定性,包括度量极限的确定。
把这个图

模拟应用生态系统模型

输入的数据可以在左边看到图2,以两者的相对频率一个U而且DU在右边画成直方图。每个数据点代表一个独立的、随机分配的移动应用程序一个U而且DU.然后计算AUF,并绘制为针对频率的直方图,如图所示图3.由于采用了对数比例因子,AUF每增加一个单位,对种群的影响就增加10倍,类似于里氏震级。

AUF相似的应用程序可以被认为彼此具有相当的人口影响,同时提供了受影响用户规模的有用指示表4).样本结果的分布可以在图3.AUF的四分位区间计算为4.45至5.45。AUF均值为4.90,计算标准差为0.78。

图2。一个组合散点图(输入数据,左)和直方图(Au和Du的相对频率,右)显示了包含2万个移动医疗应用程序的初始样本数据集。
把这个图
图3。一个直方图,显示20,000个模拟移动医疗应用程序的样本数据集的应用程序使用因子的频率分布,包括数据的平均值和标准差。
把这个图

应用程序使用因子的时间稳定性

所示的时间模拟图4表明,尽管市场动荡,AUF仍将趋于相对稳定的状态。每日轻微波动一个U而且DU可以通过加入对数因子有效地抑制。在没有对数因子的情况下进行的时间模拟显示了对小变化的灵敏度的增加一个U而且DU,这会导致稳定性随着时间的推移而整体下降。我们的模拟表明,在一个主要的应用生态系统扰动和相应的AUF变化之间存在滞后时间。这很可能代表信息到达受影响用户群所需的时间,因此取决于用户数量和市场扰动的程度。由此可见,影响少量用户的小规模市场扰动不太可能显著影响AUF在此模拟的基础上,在任何较小的市场扰动后,将AUF的测量延迟30天,在一个较大的市场扰动(如应用发布、操作系统更新)后的80到100天是合适的。

图4。这张图表显示了单个手机应用的应用使用率随时间的变化,该应用受多个模拟应用生态系统事件的影响。
把这个图

应用使用因子指标的优缺点

使用AUF作为评估移动医疗应用程序对人群影响的指标,对医疗保健专业人员、开发人员和监管机构都有许多潜在的好处。使用这一指标的人应该能够将AUF与特定应用的实际使用情况进行比较表4

该指标的最大限制在于获取两个关键信息:有多少活跃用户(一个U)以及每天使用这款应用的次数(DU).如果没有这些变量的近似数字,就不可能准确计算AUF。的识别一个U而且DU可通过下列方式加以促进:

1.在可能的情况下,应用开发者/应用商店公司自愿向独立机构发布应用,这可能是自我认证过程的一部分。AUF可以由开发人员计算,发布该数据本身并不会发布机密信息。

2.强制释放是正式监管过程的一部分,例如,为了获得食品和药物管理局(FDA)的监管批准。

3.对目标人群进行调查,随后提取数据并推断与应用使用相关的日志文件。

在评估手机应用程序的风险时,还有许多应用程序使用因素的进一步考虑因素,特别是在利用AUF来估计应用程序对人群的影响时。

基于风险的监管模式,例如食品及药物管理局所采用的模式[15]和药品及保健产品监管局(MHRA) [16)可能只基于对人群的潜在负面影响而瞄准具有较高AUF(即较大的人群影响)的应用,就像文中红色突出的区域所暗示的那样图3.之前的手机应用风险评估分析表明,大约0.5%的应用需要这种正式的监管评估。在我们看来,因此有理由确定那些对人群影响最大的应用程序,并在个案基础上评估它们的安全性。对这些应用程序的识别是通过识别所有与AUF均值相差超过2个标准差的应用程序来完成的。在我们的样本数据中,这相当于2万个模拟应用中的82个,即0.41%的应用可能需要在正式监管前进行评估;这些用红色标出图3.在我们的模拟中,这等同于AUF大于6.46的应用。

AUF在评估手机应用的潜在风险时存在一个局限性,即当活跃用户数量很高而潜在的用户基数很小时。下面的思想实验说明了这一点。在800名用户中,有600名用户每天定期使用一款潜在有害的应用,其对该用户群体造成伤害的几率要高于该场景的AUF 2.8。这个思想实验证实AUF是一种度量人口影响,医疗应用程序构成的总体风险有几个相关因素和其他因素[2].

表4。基于相应AUF的应用程序的等效人口影响。
应用使用因子(AUF) 相当于活跃用户每日活动次数(一个U一个×DUb
6 1000000年
5 100000年
4 10000年
3. 1000
2 One hundred.

一个移动应用程式的活跃用户量(一个U).

b一款应用的日使用量中位数(DU).

结论

评估应用程序风险和潜在危害的一个关键因素是了解每个移动应用程序对人群的潜在影响。我们的新指标将对应用程序生态系统中的广泛利益相关者有许多潜在用途,包括用户、监管机构、开发人员和医疗保健专业人员。此外,这一指标构成对移动医疗应用程序造成的风险和潜在危害或利益的总体估计的一部分[2].我们开发并探索了一种新颖但简单、易于计算的度量指标的特征,以评估一款医疗应用程序可能对人群产生的影响,该指标使用计算机模拟的20,000个应用程序的样本数据库。该模型表明,我们提出的度量AUF随着时间的推移以及在用户数量和每日使用率的极端情况下保持稳定,从而证实了其在医疗保健环境中进一步测试的适用性。我们相信,使用这一指标将有助于评估特定应用的用户影响,并将其与类似应用进行比较。值得注意的是,AUF只是特定应用程序所构成的整体风险和潜在危害的一个组成部分。用户在决定是否在临床实践中使用应用程序时,应将AUF与内在和外部风险因素一并考虑。目前,验证过程的下一阶段是根据实际使用情况和人口数据计算一些健康和医疗应用的应用使用率。

致谢

作者们感谢利兹大学支持Jeremy Wyatt教授成为利兹医学研究理事会(MRC)医学生物信息中心的联合获奖者(资助号为MR/L01629X/1),并支持支付本文的稿费。

的利益冲突

TLL是iMedicalApps.com网站的作者和编辑,iMedicalApps.com网站致力于提供移动技术与医疗保健的融合方面的新闻,以及对移动设备上的医疗应用程序的评论。他既不咨询应用程序开发人员或创作者,也不从他们那里获得补偿。JW没有需要申报的竞争利益。

  1. 应用程序作为人工制品:对移动健康和医疗应用程序的批判性视角。2014年10月29日;4(4):606-622。[CrossRef
  2. 李文华,李文华,李文华,李文华,等。移动医疗技术改善医疗保健服务提供过程的有效性:系统回顾和元分析。PLoS Med 2013 1月10日(1):e1001363 [免费的全文] [CrossRef] [Medline
  3. Ozdalga E, Ozdalga A, Ahuja N.医学中的智能手机:在医生和学生中当前和潜在的使用综述。J medical Internet Res 2012;14(5):e128 [免费的全文] [CrossRef] [Medline
  4. Lewis TL, Vohra RS.智能手机让外科医生更聪明。中华外科杂志2014年3月101(4):296-297。[CrossRef] [Medline
  5. Lewis TL, Wyatt JC。移动健康和移动医疗应用程序:一个评估风险和促进更安全使用的框架。J Med Internet Res 2014;16(9):e210 [免费的全文] [CrossRef] [Medline
  6. Misra S, Lewis TL, august TD。医疗应用的使用以及对临床实践的进一步研究和评估的需要:创建和整合最佳实践标准,以减轻糟糕的应用设计。JAMA Dermatol 2013年6月;149(6):661-662。[CrossRef] [Medline
  7. 奥斯特TD, Clauson KA, Misra S, Lewis TL, Husain I.如何在临床实践中识别、评估和利用移动医疗应用。国际临床杂志2014 Feb;68(2):155-162。[CrossRef] [Medline
  8. 移动医疗应用的系统自我认证模型。J medical Internet Res 2013;15(4):e89 [免费的全文] [CrossRef] [Medline
  9. 健康应用程序的透明度对信任和决策。J medical Internet Res 2013;15(12):e277 [免费的全文] [CrossRef] [Medline
  10. 飞盘K.国王基金2014年10月02日评估移动健康应用程序的影响http://www.kingsfund.org.uk/audio-video/kathleen-frisbee-assessing-impact-mobile-health-apps访问[2015-08-10][WebCite缓存
  11. van Velsen L, Beaujean DJ, van Gemert-Pijnen JE。为什么移动健康应用程序过载让我们发疯,以及如何恢复理智。BMC Med Inform Decis Mak 2013;13:23 [免费的全文] [CrossRef] [Medline
  12. Python。: Python软件基础网址:https://www.python.org/访问[2015-08-10][WebCite缓存
  13. Weisstein电子战。Wolfram MathWorld。指数分布的网址:http://mathworld.wolfram.com/ExponentialDistribution.html访问[2015-08-11][WebCite缓存
  14. 英国医科学生和初级医生中智能手机和医疗相关应用程序的使用:一项区域性调查。BMC Med Inform Decis Mak 2012; 12:21 [免费的全文] [CrossRef] [Medline
  15. 美国食品和药物管理局。移动医疗应用:工业和食品药品监督管理人员指南。银泉,马里兰州:美国卫生与公众服务部,食品和药物管理局;2015年2月09年。URL:http://www.fda.gov/downloads/MedicalDevices/DeviceRegulationandGuidance/GuidanceDocuments/UCM263366.pdf访问[2014-12-10][WebCite缓存
  16. 药品和保健产品管理局(MHRA)。2010年5月12日。医疗器械技术论坛-使用软件作为医疗器械网址:http://webarchive.nationalarchives.gov.uk/20141205150130/http://www.mhra.gov.uk/Howweregulate/NewTechnologiesForums/DevicesNewTechnologyForum/Forums/CON084987访问[2015-08-11][WebCite缓存


盟:移动应用程序的活跃用户数
AUINITIAL:最初的盟
非盟马克斯:AU最大值
非盟分钟:AU最小值
:汪汪汪应用程序使用的因素
杜:一款应用的日使用量中位数
杜马克斯:DU最大值
杜分钟:DU最小值
食品药品监督管理局:食品和药物管理局
MHRA:药品和保健产品管理局
MRC:医学研究委员会
N / A:不适用
好:国家健康和卓越护理研究所


G·埃森巴赫编辑;提交24.01.15;K Payne同行评议;对作者07.04.15的评论;修订版收到了30.04.15;接受11.05.15;发表19.08.15

版权

©Thomas Lorchan Lewis, Jeremy C Wyatt。最初发表于《医学互联网研究杂志》(//www.mybigtv.com), 2015年8月19日。

这是一篇开放获取的文章,根据创作共用署名许可协议(http://creativecommons.org/licenses/by/2.0/)发布,该协议允许在任何媒体上不受限制地使用、分发和复制,前提是要正确引用最初发表在《医学互联网研究杂志》上的原始作品。必须包括完整的书目信息,//www.mybigtv.com/上的原始出版物链接,以及版权和许可信息。


Baidu
map