评估用于简化临床质量评估和电子健康应用相关性的新预筛选评分:仪器验证研究

简介

随着远程医疗、联网对象、人工智能、电子患者报告结果、沉浸式技术和其他领域的创新加速，电子医疗工具的数量也在不断扩大。

COVID-19大流行进一步加速了新的电子健康应用程序的出现[1-3.］．2020年，Android和iOS应用商店上有32.7万个健康应用程序，每天有250多个电子健康解决方案添加到应用商店，全年增加9万个[4］．自2013年以来，健康应用程序的数量翻了一番。5］．

然而，这些解决方案的质量、相关性和临床表现存在很大的异质性。用户很难根据这3个主要标准来区分应用程序。对于电子健康应用程序的提供者来说，遵守良好的临床实践也是一个挑战。技术开发人员可能没有医学背景，也没有接触执业临床医生的机会。大多数应用程序提出的临床疗效并不精确，由于它们没有经过任何监管流程，其质量是不确定和可变的。

虽然现有的评估评分往往复杂且难以部署，但卫生保健机构和这些电子卫生解决方案的处方者需要一个简单、快速的预筛选工具。然而，在临床活动的背景下评估它们的基准没有共识。

这些预筛选工具必须基于良好的临床实践指南和建议。许多标准和评分方法已经存在，第一个肿瘤学远程监测的国际建议现已可用[6］．

最近对相关医学文献的回顾分析了评估健康解决方案的质量标准。其他标准由法国国家卫生局提供(Haute Autorité de Santé;)，亦负责药物及医疗仪器的评估工作[7，8］．各种其他分数也被确定[9]，例如流动健康证据报告和评估[10]、数码科技评估准则[11， ORCHA评分[4]，以及MyHealthApps [12］．

然而，这些评分工具可能包括超过150个问题，使用起来很费力，其有效性尚不清楚。此外，他们很少评估所有4个关键特征:临床相关性、使用潜力、提供者的质量和解决方案的特殊性。

因此，我们开始提出一个快速预筛选评估评分。尽管任何医疗保健利益相关者都可以使用它，但我们确定了3个优先目标用户:电子健康解决方案设计人员、潜在投资者和希望评估现有或潜在未来解决方案的医院决策者。我们开发了评分工具来评估电子卫生良好临床实践的各个方面，并评估68个数字电子卫生解决方案的关键类别。

方法

医疗数字解决方案评分工具

我们构建并提供了医疗数字解决方案(MDS)评分工具，这是一种基于26个问题的新的预筛选评分工具。然后，我们使用该工具评估了一组电子健康解决方案[13］．

解决方案前端是用ReactJS语言编程的。应用程序托管在由SSL协议保护的Hostinger服务器上。后端基于NoSQL Firebase解决方案。电子问卷的技术功能在填写问卷前由10位编辑进行了测试。没有使用cookie，也没有进行IP检查。

MDS评分工具的设计基于2021 HAS解决方案评估标准[7]， 2016年HAS健康领域解决方案和连接对象(电子健康或移动健康)良好实践框架[14]，以及欧洲医学肿瘤学会(ESMO) 2022年的建议[6］．

该评估评分于2022年1月18日至2022年1月30日期间通过LinkedIn(专业社交网络)上的活动提供给电子健康解决方案的提供商。调查公告详见多媒体附件1，以下是英文翻译节选:

我们如何快速评估医疗数字解决方案的相关性和潜力?我们创建了MDS信任评分，旨在为软件出版商、患者协会、电子健康领域的投资者和机构提供数字医疗解决方案工具的快速评估。它适用于初创公司/解决方案出版商、协会、机构和投资者……如果您有兴趣使用它，请与我们联系。

电子卫生保健解决方案的评估是通过一个封闭访问的web解决方案URL [13］．保留用于评估的溶液必须具有临床目的。健康解决方案被排除在外，我们只保留了第一个评估，以限制错误的分数优化偏差。只分析了完成的问卷。

根据评估标准对解决方案提供商进行了审查，并在4个类别中分别给出了分数，以及总分。这些类别包括解决方案的特异性、解决方案的目标人群规模和使用潜力、解决方案的临床评估信息和提供商信息。

第1部分解决方案规格——评估解决方案的范围、解决方案所涉及的专业、所使用的解决方案类型、其与HAS(向法国卫生部报告的公共机构)建立的数字原则的符合性、解决方案所使用的算法类型，以及与用户交互的能力[15］．

第2部分根据年龄、法国用户数量、在法国以外地区使用该工具的可能性、与患者或患者协会共同开发的程度以及解决方案对医院组织的影响评估了解决方案的目标用户。

第3部分侧重于解决方案的临床评价、用于评估解决方案临床效益的结果、是否纳入医学专家关于解决方案临床相关性的反馈、是否得到科学学会的支持或与之建立伙伴关系，以及解决方案目前的临床证据水平。

第4部分侧重于对提供者的评价，包括筹资情况、总部所在国家、董事会中是否有创始医生、是否有医生领导的医疗部门、是否有医学和科学委员会及其组成、解决方案在互联网上的媒体知名度、提供者以前开发的电子保健解决方案。以及法国国家药品安全机构是否发出了关键的安全警报。商业模式的实力和目标以及法国社会保障的报销也进行了评估。在寻求报销的提供者中，我们根据解决方案的临床评估计算了报销概率评分。结果以半定量形式表示(低、中、高概率报销)。

4个类别分别以500为满分，得出2000分的总分，然后将总分降低到20分。中显示了MDS工具的示例多媒体附件2．

26个问题的问题和不同答案的权重是由16名医学专家、电子健康专家、制造商和电子健康解决方案提供商的代表、方法学家、机构评估人员、电子健康研究人员和患者协会的代表设计的。

web平台中的一个工具还允许提供商将他们的解决方案与其他测试的解决方案进行排序。

道德的考虑

由于缺乏患者数据分析和干预，本研究不需要伦理审查委员会评估解决方案的特征。没有可用的人口统计数据，收集这些数据也不合适，因为我们只评估了解决方案的特征，而没有评估解决方案将收集的健康数据。

统计分析

我们对解决方案的特征进行了描述性研究，并通过计算解决方案的平均值、中位数以及第一和第三四分位数分布来评估每个解决方案的分数。进行夏皮罗-威尔克检验以确定评分的分布是否服从正态分布。对于选择的alpha水平为。05，分数被认为是正态分布，如果P值为>.05。

结果

MDS评估评分用于135个通过web解决方案的电子健康解决方案，其中68个解决方案可用于我们的分析。对于其他解，数据要么不完整(n=17)，要么重复(n=50)。不完整的表格被排除在分析之外。

68个可评估的解决方案与102个临床指征相关。在102个临床指征中，31个(30%)与支持服药、服药依从性和治疗毒性降低有关;23例(23%)涉及疾病的早期发现;16例(16%)与决策支持相关;12(12%)涉及预防;6例(6%)涉及直接治疗指征;2例(2%)与患者分诊有关;2个(2%)旨在缓解急诊科的超负荷。

在68个解决方案中，22个(32%)针对多个医学专业。在这90个专科中，目前最多的专科是肿瘤学，有20个(22%)解决方案，而疼痛管理等跨领域解决方案有21个(23%)解决方案。

在68个可评估方案中，根据欧盟医疗器械指令93/42/EEC, 29个(43%)为第I类医疗器械[16) (表1)．

分数的第一部分是关于解决方案的一般信息的研究(表2)．在68个可评估的解决方案中，28个(41%)基于非人工智能算法，22个(32%)基于使用人工智能的算法，其中6个(9%)包含不可理解的人工智能算法。我们注意到，几乎所有的算法(n= 67,99%)都少于5年，或者就其专业范围内的临床标准而言是最新的。在研究的68个解决方案中，65个(96%)具有用户交互系统，32个(47%)与医疗保健专业人员的远程监控相关。

分数的第二部分涉及解决方案目标人群的研究(表3)．在评估的68个解决方案中，42个(62%)覆盖了多个人口年龄组。目标人群的主要年龄组为18-64岁的成年人(58/110，占年龄组53%)和≥65岁的人群(42/110，占年龄组38%)。在法国，这些解决方案可能达到的人口中位数是10万人。在68个可评估的解决方案中，59个(87%)可能适用于世界其他地区。患者参与了59种(87%)溶液的溶液开发过程。所测试的解决方案通常有助于简化医院组织(59%，n=40)。

评分的第三部分评估了解决方案的证据水平和临床相关性(表4)．由提供者评估的临床结果是异质的，通常是多重的。在我们的研究中，我们没有找到一个单一的、共同的标准。在169个验证结果中，用户满意度被引用29次(17%)，生活质量被引用24次(14%)，医学-经济效益被引用20次(12%)，早期诊断增加19次(11%)，改善治疗依从性19次(11%)，总生存9次(5%)。在68个解决方案中，47个(69%)被专家评估为具有重大相关性，38个(56%)提供商受益于科学学会的支持或合作关系。针对溶液的证据水平，对这些溶液进行了110次临床评价;23项(21%)为随机研究，17项(15%)为前瞻性非随机研究，18项(16%)为回顾性研究，28项(26%)基于专家共识，8项(7%)不基于任何研究或专家意见。

第四部分是关于提供者特征的评分(表5)．在供应商筹资方面，68家提供商中有60家(88%)提供了答案。在这60家供应商中，30家(50%)尚未筹集到资金，11家(18%)筹集了150万欧元(159万美元)至500万欧元(528万美元)之间的资金，11家(18%)筹集了>万欧元(> 528万美元)。在68家供应商中，55家(81%)位于法国，10家(15%)位于其他欧洲国家，1家(2%)位于美国，2家(3%)位于欧洲和美国以外;51家(75%)的医疗部门至少有一名医生，其中41家(60%)至少有一名解决方案领域的专家;60家(96%)公司的科学委员会至少有一名医生。

对过去12个月媒体对该解决方案的认识进行了评估。平均而言，提供商或他们的解决方案出现在12个谷歌新闻搜索结果中，中位数为7个。在68家提供商中，37家(54%)正在开发他们的第一个电子健康应用程序。关于解决方案的安全性，9家(13%)提供商收到了法国国家药品安全局的安全警报。在68家提供商中，有38家(56%)打算为其解决方案获得社会保障报销。在这38种方案中，26种(68%)报销概率较低，7种(18%)报销概率较高。

每个电子健康解决方案的总分计算是通过将前面4项标准(图1)．平均得分为11.25(范围4.7-17.4)分(满分20分)，中位数得分为11.2分(满分20分)，分布符合正态分布(Shapiro-Wilk检验:P= .33)。排名前25%的应用得分低于9.4分(满分20分)，而排名前25%的应用得分高于13.4分(满分20分)。

‎ 查看此图

讨论

主要研究结果

我们开发了第一个多域预筛选评分工具，以启动临床相关性和临床电子健康应用程序的质量评估。

我们对法国68个电子健康解决方案的相关性、质量和证据水平进行了首次评估，并报告了不同评估领域的解决方案的特征。

最具代表性的医学领域是肿瘤学(22%)和涵盖多个专业的跨领域解决方案(23%)。这是文献所证实的;就生活质量或生存质量而言，拥有最多临床验证的电子健康解决方案的专业领域是肿瘤学和心脏病学[17，18］．

在我们的研究中，几乎一半(47%)的评估解决方案是基于由卫生专业人员部署的远程监测系统。这种类型的解决方案在电子健康中占有重要地位，并经常用于心脏病学和肿瘤学。卫生部在其2021年评估卫生部门解决方案的报告中将这列为最常见的配置之一[7］．第一批国际建议进一步促进了这类文书的发展。这些建议包括选择这些工具时要考虑的质量标准:临床证据水平、算法类型、Conformitè Europëenne标记和算法的特征。

评估一种溶液的临床证据水平是加快其在医学界的使用和卫生当局可能报销的一个重要步骤。在2022年，该评估是获得ESMO有利建议的主要标准[6］．我们注意到溶液的临床评价标准存在很大的异质性。只有5%的解决方案将总生存期作为终点。对于科学界来说，这既是最难获得的结果之一，也是最相关的标准。几种远程监测解决方案可降低肿瘤或心脏疾病患者的死亡率[19，20.］．对于大多数电子健康工具来说，生存不是一个适用的结果。在我们的研究中，最常报道的标准是生活质量、早期诊断的提高、更好的医学-经济效益或治疗依从性的提高。这些标准仍然是有关患者的许多解决方案的兴趣。

此外，在我们的研究中，21%的溶液是随机研究的对象。这种类型的研究被认为是最高程度的证据，并在法国进行时获得补偿的主要标准。我们还观察到15%的溶液进行了前瞻性非随机研究。不同类型的研究在我们的得分中权重不同。例如，开展一项≥200例患者的随机临床研究，其临床评价得分为190分(总分为500)，而回顾性研究仅为30分。

大约一半(56%)的提供者宣称，他们的目标是获得法国国家公共保险的报销，在法国，法律规定该保险覆盖全国人口。自2018年以来，这种可能性已经在法国实现。它为解决方案的开发添加了一种新的业务模型。我们使用评估工具来确定有高概率从法国国家社会保障报销的解决方案。该评估基于所进行的研究类型以及所测量的临床终点类型。在我们的研究中，18%的寻求报销的解决方案被评估为有很高的报销概率。

总体而言，68个电子卫生解决方案的评估结果似乎接近文献中的已知元素。评估方案的平均预筛选得分为11.25分(满分为20分)。得分从4.7到17.4不等。分数的分布服从正态分布。

与之前工作的比较

评估文献中出现的电子健康解决方案的最初得分主要基于用户或专家意见[21］．HAS列出了7个专注于这一范围的分数(MyHealthApps [12]， GGD Appstore [22]，健康导航器[23]、同心协力[24]、Osservatorio APP厕所[25]、HealthOn [26]，以及手机应用程序评分量表[27])。这种类型的评估在解决方案的开发中非常重要。在我们的研究中，87%的解决方案在开发过程中涉及患者，75%的解决方案的医疗部门至少由一名医生组成，96%的解决方案的科学委员会至少由一名医生组成。这些因素对于优化医疗质量，从而提高患者对电子医疗解决方案的信任和接受度非常重要。

其他评分的评估框架通常是描述性的，耗时的，定性的工具来评估临床质量。英国国民医疗服务体系设计的数字技术评估标准就是这种评估框架的一个例子[11］．

优势与局限

我们建议根据我们的26个评估标准来计算分数，这些标准是由专家小组选择的，并在文献中推荐。这个分数同时评估解决方案的信息、解决方案的目标、解决方案的临床评估和提供者。这种预筛选评分的优点是可以快速获得，并具有广泛的评估标准。文献中提出的简单评价分数通常不允许像我们的分数那样广泛的评价[7］．我们的问题很容易理解和核实。因此，卫生保健专业人员可以使用这个评分，包括医生处方，药剂师和护士;患者协会;投资者;和供应商比较他们的解决方案与竞争对手，并跟踪他们的解决方案的改进。该分数的快速实现允许对同一解决方案定期实时重新计算，以提高解决方案的质量。

我们的评分在68个电子健康解决方案中进行了评估和验证，与文献中提出的许多其他评分不同，这些评分没有在现实生活中进行评估[7］．值得注意的是，今天最常用的评分之一是E-Solution Rating Scale [11］．

我们的预筛选评分是根据最近更新的建议制定的。除其他事项外，它是根据民政事务总署指南的建议而制订的[7]，以及ESMO于2022年公布的建议[6］．然而，不同参数的值将根据新的标准、建议和文献数据而变化。

这个分数的限制也必须考虑在内。首先，评分不允许对所有技术和临床标准进行详尽和详细的评估。例如，可以使用更详细的评分来完成评估，如ORCHA Review评分[28]，评估260至350项标准;光线影业(29]，评估476项标准;以及Henson等人的框架[30.，评估357项标准。其次，每个答案的权重由专家讨论，但在缺乏适用的定量基准的情况下，经验是固定的。第三，数据的填充由解决方案的提供者以一种自主和声明的方式直接完成。这一信息尚未得到证实。然而，我们排除了那些没有完整填写整个问卷的研究提供者，以及当对同一解决方案完成几份问卷时重复的提供者，始终只保留第一个评估，以限制错误的分数优化偏差。第四，我们的工具没有对所报道研究的方法学质量进行深入评估。eHealth解决方案的其他重要特征不在本评分范围内，包括互操作性、安全性、可移植性、隐私性、法规、道德规范和环境。第五，解决方案提供商样本的短期招聘和使用LinkedIn作为来源可能会引入参与者的选择偏差。例如，更多的睡眠或心理健康应用程序本可以在更大范围的招聘中进行评估。此外，这次招聘只评估了法国的解决方案。 Sixth, reimbursement processes are country-dependent, and the only geographical scope considered in our paper is France. The development of an international version of the score is in progress.

结论

我们提出了一种多领域预筛选工具，该工具使用简单快速，可大规模使用，可由任何卫生保健利益相关者启动临床数字解决方案的评估。我们相信三个目标群体(电子健康解决方案设计者、投资者和医院决策者)将是主要的初始用户。该工具可以帮助提高解决方案的质量，并确定可能需要进一步分析和改进的工具方面。该评分可在法国国家电子健康研究所的网站上查阅。31]，供解决方案提供者参考。