评估eHealth应用程序临床质量和相关性简化评估的新筛选评分:仪器验证研究

简介

随着远程医疗、连接对象、人工智能、电子患者报告结果、沉浸式技术和其他领域创新的加速，电子健康工具的数量一直在增加。

COVID-19大流行进一步加速了新的电子健康应用程序的出现[1-3.］．2020年，Android和iOS App Store上有32.7万个健康应用程序，每天有250多个电子健康解决方案添加到应用商店，全年增加9万个[4］．自2013年以来，健康应用的数量翻了一番。5］．

然而，这些解决方案在质量、相关性和临床表现方面存在很大的异质性。用户很难根据这3个主要标准来区分应用程序。对于电子健康应用程序的提供者来说，遵守良好的临床实践也是一项挑战。技术开发人员可能没有医学背景，也没有接触执业临床医生的机会。大多数应用程序提出的临床效益并不精确，而且由于它们没有经过任何监管程序，其质量是不确定和可变的。

尽管现有的评估分数往往复杂且难以部署，但卫生保健机构和这些电子健康解决方案的处方者需要一个简单、快速的预筛选工具。然而，在临床活动的背景下评估它们的基准没有共识。

这些预先筛选工具必须基于良好的临床实践指南和建议。许多标准和评分方法已经存在，目前已有第一批肿瘤学远程监测的国际建议[6］．

最近对相关医学文献的回顾分析了评价保健方案的质量标准。其他标准由法国国家卫生局(Haute Autorité de Santé;)，该机构亦负责评估药物及医疗仪器[7，8］．各种其他分数也被识别出来[9]，例如流动健康证据报告和评估[10]，数码科技评估准则[11， ORCHA复习分数[4]和MyHealthApps [12］．

然而，这些评分工具可能包括150多个问题，使用起来很费力，其效果尚不清楚。此外，他们很少评估所有4个关键特征:临床相关性、使用潜力、提供者的质量和解决方案的特殊性。

因此，我们开始提出一个快速预筛选评估评分。尽管任何医疗保健利益相关者都可以使用它，但我们确定了3个优先目标用户:eHealth解决方案设计者、潜在投资者和希望评估现有或潜在未来解决方案的医院决策者。我们开发了评分工具，以评估电子卫生良好临床实践的所有方面，并评估68个数字电子卫生解决方案的关键类别。

方法

医疗数字解决方案评分工具

我们构建并提供了医疗数字解决方案(MDS)评分工具，这是一个基于26个问题的新筛选评分工具。然后，我们使用该工具评估了一组电子健康解决方案[13］．

解决方案前端用ReactJS语言编写。应用程序驻留在由SSL协议保护的Hostinger服务器上。后端基于NoSQL Firebase解决方案。电子问卷的技术功能在填写问卷前由10名编辑进行了测试。没有使用cookie，也没有进行IP检查。

MDS评分工具的设计基于2021年HAS解决方案评估准则[7]， 2016年《关于卫生领域解决方案和连接对象(电子卫生或移动卫生)的HAS良好做法框架》[14]，以及2022年欧洲医学肿瘤学会(ESMO)的建议[6］．

从2022年1月18日到2022年1月30日，该评估分数通过LinkedIn(专业社交网络)上的活动呈现给电子健康解决方案的提供商。调查公告详见多媒体附录1，以下为英文摘录:

我们如何快速评估医疗数字解决方案的相关性和潜力?我们创建了MDS信任评分，旨在为软件出版商、患者协会、电子健康领域的投资者和机构提供数字医疗解决方案工具的快速评估。它适用于初创公司/解决方案出版商、协会、机构和投资者……如果您有兴趣使用它，请联系我们。

电子健康解决方案的评估是通过一个封闭访问的web解决方案网址[13］．保留用于评估的溶液必须具有临床目的。健康解决方案被排除在外，我们只保留第一个评估，以限制虚假评分优化偏差。只对完成的问卷进行分析。

根据评估标准对解决方案提供者进行了检查，并在4个类别中分别给出了一个分数，以及一个总分。这些类别包括解决方案的特异性、解决方案的目标人群规模和使用潜力、解决方案的临床评估信息和提供者信息。

第1部分解决方案的特性——评估解决方案的范围、解决方案所涉及的专业、所使用的解决方案类型、其是否符合HAS(向法国卫生部报告的公共机构)制定的数字原则、解决方案所使用的算法类型以及其与用户交互的能力[15］．

第2部分基于年龄、法国的用户数量、在法国以外使用该工具的可能性、与患者或患者协会的合作开发程度以及该解决方案对医院组织的影响来评估解决方案的目标用户。

第3部分侧重于解决方案的临床评价、用于评估解决方案临床效益的结果、纳入医学专家关于解决方案临床相关性的反馈、来自科学协会的支持或与科学协会的伙伴关系，以及解决方案目前的临床证据水平。

第4部分侧重于对提供者的评价，包括筹资情况、总部所在国家、董事会中创始医生的出席情况、由医生领导的医疗部门的出席情况、医疗和科学委员会的出席情况和组成情况、解决方案在互联网上的媒体知名度、提供者以前开发的电子保健解决方案的情况，以及法国国家药品安全管理局是否发布了严重的安全警报。此外，还评估了法国社会保险的商业模式和报销的实力和目标。在寻求补偿的提供者中，我们根据解决方案的临床评估计算了一个补偿概率评分。结果以半定量形式表示(低、中、高概率偿还)。

4个类别的每一个都被分配了500分的分数，从而得到了2000分的总分，然后降低到20分。MDS工具示例见多媒体附录2．

26个问题的问题和不同答案的权重由16名医疗专家、电子健康专家、制造商和电子健康解决方案提供商的代表、方法学家、机构评估人员、电子健康研究人员和患者协会的代表组成的小组设计。

web平台中的一个工具还允许供应商将他们的解决方案与其他经过测试的解决方案进行排名。

道德的考虑

由于缺乏患者数据分析和干预，本研究不需要伦理审查委员会的评估。没有人口统计数据，收集这些数据也不合适，因为我们只评估解决方案的特征，而不评估解决方案将收集的健康数据。

统计分析

我们对解决方案的特征进行了描述性研究，并通过计算解决方案的平均值、中位数以及第一和第三四分位数分布来评估每个解决方案的得分。进行夏皮罗-威尔克检验，以确定评分的分布是否服从正态分布。对于选择的alpha水平为。05，如果P值> . 05。

结果

MDS评估评分用于135个通过web解决方案的eHealth解决方案，其中68个解决方案可用于我们的分析。对于其他解，数据要么不完整(n=17)，要么重复(n=50)。不完整的表格被排除在分析之外。

68个可评估溶液与102个临床指征相关。102个临床指征中，31个(30%)与服药支持、服药依从性和治疗毒性降低有关;23(23%)涉及疾病的早期发现;16例(16%)与决策支持相关;12(12%)关注预防;直接治疗指征6例(6%);2例(2%)与患者分诊有关;2个(2%)旨在缓解急诊科的超负荷。

在68个解决方案中，22个(32%)针对几个医学专业。在这90个专业中，最常见的专业是肿瘤学，有20个(22%)解决方案，以及21个(23%)跨领域解决方案，如疼痛管理。

在68个可评估解决方案中，有29个(43%)是根据欧盟医疗器械指令93/42/EEC所订第I类医疗器械[16) (表1)．

分数的第一部分是关于解决方案的一般信息的研究(表2)．在68个可评估的解决方案中，28个(41%)基于非人工智能算法，22个(32%)基于使用人工智能的算法，其中6个(9%)包含不可理解的人工智能算法。我们注意到，几乎所有算法(n= 67,99%)的诞生时间都不到5年，或者在其专业范围内是最新的临床标准。在研究的68个解决方案中，65个(96%)具有用户交互系统，32个(47%)与医疗保健专业人员的远程监控相关。

分数的第二部分是关于解决方案的目标人群的研究(表3)．在评估的68个解决方案中，42个(62%)涵盖了几个人口年龄组。目标人群主要年龄组为18-64岁成人(58/110，占年龄组53%)和≥65岁人群(42/110，占年龄组38%)。在法国，这些解决方案可能达到的人口中位数是10万人。在68个可评价的解决方案中，59个(87%)可能适用于世界其他地区。患者参与了59个(87%)溶液的溶液开发过程。测试的解决方案通常有助于简化医院组织(59%，n=40)。

评分的第三部分评估了证据水平和临床相关性的解决方案(表4)．由提供者评估的临床结果是不同的，通常是多重的。在我们的研究中，我们没有找到一个单一的、共同的标准。在169个验证结果中，用户满意度被引用29次(17%)，生活质量被引用24次(14%)，医疗-经济效益被引用20次(12%)，早期诊断获益19次(11%)，改善治疗依从性19次(11%)，总生存率被引用9次(5%)。在68个解决方案中，47个(69%)被专家评估为具有重大相关性，38个(56%)提供者受益于科学协会的支持或与之建立伙伴关系。关于解决方案的证据水平，对这些解决方案进行了110次临床评估;23例(21%)为随机研究，17例(15%)为前瞻性非随机研究，18例(16%)为回顾性研究，28例(26%)基于专家同意，8例(7%)不基于任何研究或专家意见。

第四部分的分数涉及提供者的特征(表5)．关于提供者筹资问题，68家提供者中有60家(88%)给出了答案。在这60个提供者中，30个(50%)尚未筹集到资金，11个(18%)已筹集到150万欧元(159万美元)至500万欧元(528万美元)，11个(18%)已筹集到500万欧元(528万美元)。68个提供者中，55个(81%)位于法国，10个(15%)位于其他欧洲国家，1个(2%)位于美国，2个(3%)位于欧洲和美国以外;51家(75%)的医疗部门至少有一名医生，其中41家(60%)至少有一名解决方案领域的专家;60家公司(96%)的科学委员会至少有一名医生。

对过去12个月媒体对该解决方案的认识进行了评估。平均而言，供应商或他们的解决方案出现在12个谷歌新闻搜索结果中，中位数为7个。在68个供应商中，37个(54%)正在开发他们的第一个电子健康应用程序。关于解决方案的安全性，9个(13%)供应商收到了法国国家药品安全机构的安全警报。在68个提供者中，38个(56%)打算为其解决方案获得社会保障补偿。在这38个解决方案中，26个(68%)的补偿概率较低，7个(18%)的补偿概率较高。

计算每个电子健康解决方案的总分是将前面4项标准的分数相加(图1)．平均得分为11.25(4.7-17.4)分(满分20分)，中位数为11.2分(满分20分)，分布服从正态分布(夏皮罗-威尔克检验:P= .33)。排名前25%的应用得分低于9.4，而排名前25%的应用得分高于13.4(总分20)。

‎ 把这个图

讨论

主要研究结果

我们开发了第一个多领域预筛选评分工具，以启动临床相关性和临床电子健康应用程序的质量评估。

我们对法国68个可用的电子健康解决方案的相关性、质量和证据水平进行了第一次评估，并报告了在不同评估领域的解决方案的特点。

最具代表性的医学领域是肿瘤学(22%)和涵盖多个专业的跨领域解决方案(23%)。这一点得到了文献的证实;就生活质量或生存率而言，拥有最多经临床验证的电子健康解决方案的专业领域是肿瘤学和心脏病学[17，18］．

在我们的研究中，几乎一半(47%)的评估解决方案是基于部署有卫生专业人员的远程监测系统。这种类型的解决方案在电子保健中占有重要地位，经常用于心脏病学和肿瘤学。卫生部在其评估卫生部门解决方案的2021年报告中将此作为最常见的配置之一[7］．第一批国际建议进一步促进了这类文书的发展。这些建议包括选择这些工具时要考虑的质量标准:临床证据的水平、算法的类型、Conformitè Europëenne标记和算法的特征。

对一种解决方案的临床证据水平进行评估是加速其在医学界的使用和卫生当局可能的偿还的一个重要步骤。在2022年，这一评估是获得ESMO有利推荐使用的主要标准[6］．我们注意到溶液的临床评价标准有很大的异质性。只有5%的解决方案使用总生存率作为终点。这是科学界最难获得的结果之一，也是最相关的标准。几种远程监测解决方案可降低肿瘤或心脏病变患者的死亡率[19，20.］．对于大多数电子医疗器械来说，存活不是一个适用的结果。我们研究中最常报道的标准是生活质量、早期诊断的获益、更好的医疗-经济效益或治疗依从性的改善。这些标准在患者的许多解决方案中仍然具有重要意义。

此外，在我们的研究中，21%的解决方案是随机研究的主题。这种类型的研究被认为是证据的最高程度，是在法国进行时获得补偿的主要标准。我们还观察到15%的溶液进行了前瞻性非随机研究。不同类型的研究在我们的得分中所占的权重不同。例如，开展一项≥200例患者的随机临床研究，其临床评价得分为190分(500分)，而回顾性研究仅提供30分。

大约一半(56%)的提供者宣布，其目标是从法国国家公共保险公司获得补偿，在法国，该保险公司依法覆盖全体人口。自2018年以来，这种可能性已经在法国实现。它为解决方案的开发添加了新的业务模型模式。我们使用评估工具来确定有很大概率从法国国家社会保障机构获得补偿的解决方案。该评估基于所进行的研究类型以及所测量的临床终点类型。在我们的研究中，在寻求补偿的患者中，18%的解决方案被评估为具有很高的补偿概率。

总体而言，68个电子健康解决方案的评估结果似乎接近文献中的已知元素。评估方案的平均预筛选得分为11.25分(满分20分)。得分从4.7到17.4不等。分数的分布服从正态分布。

与之前工作的比较

文献中出现的对电子保健解决方案的初步评价主要基于用户或专家意见[21］．HAS列出了这方面的7个分数(MyHealthApps [12]， GGD Appstore [22]、“健康导航”[23，一心一意[24， Osservatorio APP sanitarie [25], HealthOn [26]，以及移动应用程序评分量表[27])。这种类型的评估在解决方案的开发中非常重要。在我们的研究中，87%的解决方案在开发过程中涉及患者，75%的医疗部门至少由一名医生组成，96%的科学委员会至少有一名医生。这些因素对于优化医疗质量，进而提高患者对电子健康解决方案的信任和接受度非常重要。

其他评分的评价框架通常是描述性的、耗时的和定性的工具，用于评估临床质量。由英国国家卫生服务体系设计的数字技术评估准则就是这种评估框架的一个例子[11］．

优势和局限性

我们提出了基于26个评估标准的评分计算方法，这些标准由专家小组选择并在文献中推荐。这个分数同时评估关于解决方案、解决方案的目标、解决方案的临床评价和提供者的信息。这种预先筛选分数的优点是可以快速实现，并具有广泛的评估标准。文献中提出的简单评价分数往往不允许像我们的分数那样广泛的评价[7］．我们的问题很容易理解和核实。因此，该评分可由卫生保健专业人员使用，包括医生处方、药剂师和护士;患者协会;投资者;和供应商比较他们的解决方案与竞争对手，并跟踪他们的解决方案的改进。该分数的快速实现允许对相同的解决方案定期实时重新计算，以提高解决方案的质量。

我们的评分在68个电子健康解决方案中进行了评估和验证，不像文献中提出的许多其他评分没有在现实生活中进行评估[7］．值得注意的是，目前使用最多的评分之一是E-Solution Rating Scale [11］．

我们的预筛选评分是根据最近更新的建议制定的。除其他外，它是根据《民政事务总署指南》的建议制订的[7]，以及2022年发布的ESMO的建议[6］．然而，不同参数的值将根据新的标准、建议和文献数据而变化。

这个分数的限制也必须考虑在内。首先，该评分不允许对所有技术和临床标准进行详尽和详细的评估。例如，可以使用更详细的分数来完成评估，如ORCHA审查分数[28]，评估260至350个标准;光线影业(29，评估了476项标准;以及汉森等人的框架[30.，评估了357项标准。其次，每个答案的权重由专家讨论，但在缺乏可适用的量化基准的情况下以经验固定。第三，数据的填充是由解决方案的提供者以一种自主和声明的方式直接完成的。这一信息未经核实。然而，我们将没有完整填写完整问卷的提供者排除在研究之外，并在为同一解决方案填写多份问卷时将提供者重复排除在外——始终只保留第一次评估，以限制虚假评分优化偏差。第四，我们的工具没有对已报道研究的方法学质量进行深入评估。电子健康解决方案的其他重要特征不在该评分范围内，包括互操作性、安全性、可移植性、隐私、监管、伦理和环境。第五，解决方案提供者样本的短期招募和使用LinkedIn作为来源可能会引入参与者的选择偏差。例如，更多的睡眠或心理健康应用程序可以在更广泛的招聘范围内进行评估。此外，这种招聘导致只评估法国的解决方案。 Sixth, reimbursement processes are country-dependent, and the only geographical scope considered in our paper is France. The development of an international version of the score is in progress.

结论

我们提出了一种多领域预筛选工具，它使用简单、快速，可大规模使用，任何医疗保健利益相关方都可启动对临床数字解决方案的评估。我们相信三个目标群体(eHealth解决方案设计者、投资者和医院决策者)将是主要的初始用户。该工具可以帮助提高解决方案的质量，并确定工具中可能需要进一步分析和改进的方面。该评分可在法国国家电子卫生研究所的网站上查阅。31]。